LTX2VideoDiffusionDecoderModel

Lightricks tarafından LTX-2.5'te tanıtılan difüzyon video kodlayıcısı. Mahalle-dikkat (neighborhood-attention) aşamaları, gizli değişkeni (latent) bir bağlam hacmine (context volume) yukarı örnekler (upsample) ve son aşama, bu bağlama koşullu olarak pikselleri gürültüden arındırır (denoise).

Bu bir çözücü (decoder), oto-çözücü (autoencoder) değildir: kodlama (encoding) AutoencoderKLLTX2Video ile kalır ve bu model, onun gizli uzayını (latent space) değiştirmeden kullanır; bu nedenle gizli temsiller (latents), konvolüsyonel çözücü ile bu model arasında değiştirilebilir. Kendi başına bir difüzyon modeli olduğu için, bir hattın (pipeline) vae parametresi olarak geçirilmek yerine LTX2VideoDiffusionDecodePipeline tarafından sürülür: herhangi bir LTX-2 hattını output_type="latent" ile çalıştırın, ardından çözün.

import torch
from diffusers import LTX2Pipeline, LTX2VideoDiffusionDecodePipeline, LTX2VideoDiffusionDecoderModel

pipe = LTX2Pipeline.from_pretrained("Lightricks/LTX-2.5-Diffusers", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"
latents = pipe(prompt="a potter shaping a clay vase", output_type="latent").frames

decoder = LTX2VideoDiffusionDecoderModel.from_pretrained(
    "Lightricks/LTX-2.5-Diffusers", subfolder="diffusion_decoder", dtype=torch.bfloat16
).to("cuda")
decode_pipe = LTX2VideoDiffusionDecodePipeline(diffusion_decoder=decoder, scheduler=pipe.scheduler)

# `denormalize=False`: `output_type="latent"` already applied the latent statistics, so applying them
# again here would scale every channel by its std a second time.
# The decoder also draws the noise it denoises, so decoding is only reproducible with a generator.
video = decode_pipe(
    latents, generator=torch.Generator("cuda").manual_seed(0), denormalize=False
).frames[0]

vae, çözümleme hattında isteğe bağlı bir bileşendir: yalnızca denormalize=True olduğunda gizli istatistikler için başvurulan bu bileşen, çözücü kendi istatistiklerini taşıdığından, yalnızca çözümleme içeren bir iş akışı ikinci bir oto-kodlayıcı yüklemek zorunda değildir.

Dikkat arka uçları

Mahalle-dikkat penceresi bir BlockMask olarak ifade edilir, bu nedenle decoder varsayılan olarak flex dikkat arkasında çalışır ve ek bir bağımlılık gerektirmez. PyTorch, siz istemedikçe flex_attention derlemesini yapmaz ve derlenmemiş hali tam puan matrisini somutlaştırır — bu da tam çözünürlüklü dizi uzunluklarında uygulanabilir değildir. Bunlar için ya decoder'ı derleyin ya da orijinal uygulamanın da kullandığı NATTEN çekirdeklerine geçin. İşleyici, NATTEN'i Hub'dan (shi-labs/natten) kernels paketi üzerinden alır, bu yüzden yerel bir NATTEN derlemesi yerine pip install kernels gerekir:

from diffusers.models.autoencoders.ltx2_diffusion_decoder import LTX2VideoVaeNeighborhoodNattenProcessor

decoder.set_attn_processor(LTX2VideoVaeNeighborhoodNattenProcessor())

Hub'dan çekirdek indirme kodunu alır, bu nedenle uzaktan kod küresel olarak DIFFUSERS_DISABLE_REMOTE_CODE=true ile devre dışı bırakıldığında işlemci hata fırlatır.

Decoder'daki her dikkat modülü aynı komşuluk dikkatidir (çekirdek boyutu gibi aşama bazlı farklar işlemcide değil, modülde bulunur), bu nedenle set_attn_processor hepsini tek bir paylaşılan örnekle değiştirir.

backend'in (decoder.set_attention_backend(...)) flex dışında herhangi bir değere değiştirilmesi şu hatayı verir: başka hiçbir backend BlockMask'i kabul etmez. Bunun yerine yukarıdaki NATTEN işleyicisini kullanın.

Dolgu

decoder.enable_tiling(), tepe bellek kullanımını video boyutu yerine karoların boyutuyla sınırlamak için üst üste binen karolar halinde çözer ve bu karoları birleştirir. Ucuz erken aşama büyütme (upsampling) aşamaları hâlâ tam latent alanı görür; yalnızca çözüme bellek açısından baskın olan son büyütme aşaması ve difüzyon aşaması karolara göre çalışır — bu nedenle karolama, çıktıyı yalnızca karo sınırlarına yakın bölgelerde değiştirir. Difüzyon aşaması her karoyu ayrı ayrı gürültüden arındırdığı için, karolu bir çözüm, karosuz sonucu tam olarak yeniden üretmez; varsayılan karo ve örtüşme boyutları referans uygulamanınkilerle eşleşir. Komşuluk dikkati (neighborhood attention), çekirdeğinden daha küçük herhangi bir ızgarayı reddettiğinden, son kalan arta karo kendi başına çözülmek yerine komşusuyla birleştirilir.

LTX2VideoDiffusionDecoderModel