HunyuanVideo

HunyuanVideo, kapalı kaynak video temel modelleriyle rekabet edebilen ve daha geniş bir topluluk erişimi sağlamaya yönelik tasarlanmış 13B parametreli bir difüzyon dönüştürücü modelidir. Bu model, video ve metin jetonlarını önce ayrı ayrı işleyen, ardından bunları birleştirip çok modlu bilgileri birleştirmek için dönüştürücüye besleyen “çift akıştan tek akışa” mimarisini kullanır. Kodlayıcı olarak, daha iyi görüntü-metin hizalaması, daha iyi görüntü detay açıklaması ve akıl yürütme yeteneğine sahip olduğu için ve kullanıcı istemlerine sistem talimatları eklendiğinde sıfır atışlı bir öğrenici olarak kullanılabildiği için önceden eğitilmiş çok modlu büyük bir dil modeli (MLLM) kullanılır. Son olarak, HunyuanVideo, video verilerini orijinal çözünürlükte ve kare hızında daha verimli işlemek için 3B boyutlu nedensel varyasyonel otoenkoder kullanır.

Tüm orijinal HunyuanVideo checkpoint'lerini Tencent kuruluşu altında bulabilirsiniz.

Daha fazla video üretme görevi örneği için sağ kenar çubuğundaki HunyuanVideo modellerine tıklayın.

Aşağıdaki örnekler, ağırlıkların Diffusers ile uyumlu bir düzeninde saklandığı için hunyuanvideo-community kontrol noktasını kullanır.

Aşağıdaki örnek, bellek veya çıkarım hızı için optimize edilmiş bir video üretmenin nasıl yapılacağını gösterir.

memory

çalıştırma hızı

Notlar

HunyuanVideo, load_lora_weights() ile LoRA'ları destekler.

Örnek kodu göster

import torch
from diffusers import AutoModel, HunyuanVideoPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.utils import export_to_video

# quantize weights to int4 with bitsandbytes
pipeline_quant_config = PipelineQuantizationConfig(
    quant_backend="bitsandbytes_4bit",
    quant_kwargs={
      "load_in_4bit": True,
      "bnb_4bit_quant_type": "nf4",
      "bnb_4bit_compute_dtype": torch.bfloat16
      },
    components_to_quantize="transformer"
)

pipeline = HunyuanVideoPipeline.from_pretrained(
    "hunyuanvideo-community/HunyuanVideo",
    quantization_config=pipeline_quant_config,
    dtype=torch.bfloat16,
)

# load LoRA weights
pipeline.load_lora_weights("https://huggingface.co/lucataco/hunyuan-steamboat-willie-10", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie", 0.9)

# model-offloading and tiling
pipeline.enable_model_cpu_offload()
pipeline.vae.enable_tiling()

# use "In the style of SWR" to trigger the LoRA
prompt = """
In the style of SWR. A black and white animated scene featuring a fluffy teddy bear sits on a bed of soft pillows surrounded by children's toys.
"""
video = pipeline(prompt=prompt, num_frames=61, num_inference_steps=30).frames[0]
export_to_video(video, "output.mp4", fps=15)

Önerilen çıkarım değerleri için aşağıdaki tabloya bakın.

parametre önerilen değer
metin kodlayıcı dtype torch.float16
transformer dtype torch.bfloat16
vae veri türü torch.float16
num_frames (k) 4 * k + 1
Düşük çözünürlüklü videolar için daha düşük shift değerlerini (2.0 ile 5.0 arası) ve yüksek çözünürlüklü görüntüler için daha yüksek shift değerlerini (7.0 ile 12.0 arası) deneyin.

parametre	önerilen değer
metin kodlayıcı dtype	`torch.float16`
transformer dtype	`torch.bfloat16`
vae veri türü	`torch.float16`
`num_frames (k)`	4 * `k` + 1

HunyuanVideoPipeline

sınıf diffusers.HunyuanVideoPipeline

< source >

( text_encoder: LlamaModeltokenizer: LlamaTokenizertransformer: HunyuanVideoTransformer3DModelvae: AutoencoderKLHunyuanVideoscheduler: FlowMatchEulerDiscreteSchedulertext_encoder_2: CLIPTextModeltokenizer_2: CLIPTokenizer )

Parametreler

text_encoder (LlamaModel) — Llava Llama3-8B.
tokenizer (LlamaTokenizer) — Llava Llama3-8B'den gelen Tokenizer.
transformer (HunyuanVideoTransformer3DModel) — Kodlanmış görüntü latentlerini gürültüden arındırmak için koşullu Transformer.
scheduler (FlowMatchEulerDiscreteScheduler) — Kodlanmış görüntü latentlerini gürültüden arındırmak için transformer ile birlikte kullanılacak bir zamanlayıcı.
vae (AutoencoderKLHunyuanVideo) — Video'ları latent temsillere kodlamak ve bu temsillerden çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.
text_encoder_2 (CLIPTextModel) — CLIP, özellikle clip-vit-large-patch14 varyantı.
tokenizer_2 (CLIPTokenizer) — CLIPTokenizer sınıfının tokenizer'ı.

HunyuanVideo kullanılarak metinden videoya üretim için Pipeline.

Bu model DiffusionPipeline sınıfından devralır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.

call

< source >

( prompt: str | list[str] = Noneprompt_2: str | list[str] = Nonenegative_prompt: str | list[str] = Nonenegative_prompt_2: str | list[str] = Noneheight: int = 720width: int = 1280num_frames: int = 129num_inference_steps: int = 50sigmas: list = Nonetrue_cfg_scale: float = 1.0guidance_scale: float = 6.0num_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Nonepooled_prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_attention_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']prompt_template: dict = {'template': '<|start_header_id|>system<|end_header_id|>\n\nDescribe the video by detailing the following aspects: 1. The main content and theme of the video.2. The color, shape, size, texture, quantity, text, and spatial relationships of the objects.3. Actions, events, behaviors temporal relationships, physical movement changes of the objects.4. background environment, light, style and atmosphere.5. camera angles, movements, and transitions used in the video:<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n{}<|eot_id|>', 'crop_start': 95}max_sequence_length: int = 256 ) → ~HunyuanVideoPipelineOutput or tuple

Parametreler

prompt (str veya list[str], isteğe bağlı) — Görsel üretimi yönlendirmek için istem veya istemler. Tanımlanmadıysa bunun yerine prompt_embeds geçirilmelidir.
prompt_2 (str veya list[str], isteğe bağlı) — tokenizer_2 ve text_encoder_2'e gönderilecek istem veya istemler. Tanımlanmamışsa bunun yerine prompt kullanılır.
negative_prompt (str veya list[str], isteğe bağlı) — Görsel üretimini yönlendirmemesi istenen istem veya istemler. Tanımlanmazsa, bunun yerine negative_prompt_embeds geçirilmelidir. Yönlendirme kullanılmadığında yok sayılır (yani true_cfg_scale, 1'den büyük değilse yok sayılır).
negative_prompt_2 (str veya list[str], isteğe bağlı) — Görsel üretimini yönlendirmemek için tokenizer_2 ve text_encoder_2'ye gönderilecek istem veya istemler. Tanımlanmamışsa, tüm metin kodlayıcılarda negative_prompt kullanılır.
height (int, varsayılan 720) — Oluşturulan görüntünün piksel cinsinden yüksekliği.
width (int, varsayılan 1280) — Oluşturulan görüntünün piksel cinsinden genişliği.
num_frames (int, varsayılan 129) — Oluşturulan videodaki kare sayısı.
num_inference_steps (int, varsayılan 50) — Gürültü azaltma adım sayısı. Daha fazla gürültü azaltma adımı genellikle daha yavaş çıkarım pahasına daha yüksek kaliteli bir görüntüye yol açar.
sigmas (list[float], isteğe bağlı) — set_timesteps yöntemlerinde sigmas argümanını destekleyen zamanlayıcılarla gürültü azaltma sürecinde kullanılacak özel sigmalar. Tanımlanmamışsa, num_inference_steps geçirildiğinde varsayılan davranış kullanılır.
true_cfg_scale (float, isteğe bağlı, varsayılan 1.0) — true_cfg_scale > 1 olduğunda ve negative_prompt sağlandığında gerçek sınıflandırıcı-özgür yönlendirme (yönlendirme ölçeği) etkinleştirilir.
guidance_scale (float, varsayılan olarak 6.0) — Gömülü yönlendirme ölçeği, guidance_scale > 1. daha yüksek guidance_scale değerleri, modelin prompt ile daha uyumlu görseller üretmesini teşvik eder, ancak görsel kalitesinin düşmesine yol açar.
Guidance-distilled modeller, guidance_scale > 1 için gerçek classifer-free guidance'ı yaklaşık olarak sağlar. Daha fazla bilgi için makaleye bakın.
num_videos_per_prompt (int, isteğe bağlı, varsayılan 1) — Her istem için oluşturulacak görüntü sayısı.
generator (torch.Generator veya list[torch.Generator], isteğe bağlı) — Üretimi deterministik hale getirmek için kullanılan bir torch.Generator.
latents (torch.Tensor, isteğe bağlı) — Gaussian dağılımdan örneklenen, gürültülü ve önceden oluşturulmuş latents; görüntü üretimi için girdi olarak kullanılabilir. Farklı istemlerle aynı üretimi ayarlamak için kullanılabilir. Sağlanmazsa, sağlanan rastgele generator kullanılarak örneklemeye dayalı bir latents tensörü oluşturulur.
prompt_embeds (torch.Tensor, isteğe bağlı) — Önceden oluşturulmuş metin gömme değerleri. Metin girdilerini kolayca ayarlamak (istifade ağırlıklandırma) için kullanılabilir. Sağlanmazsa, metin gömme değerleri prompt girdi argümanından üretilir.
pooled_prompt_embeds (torch.FloatTensor, isteğe bağlı) — Önceden oluşturulmuş havuzlanmış metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, havuzlanmış metin gömme değerleri prompt girdi argümanından oluşturulur.
negative_prompt_embeds (torch.FloatTensor, isteğe bağlı) — Önceden oluşturulmuş negatif metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, negative_prompt_embeds, negative_prompt girdi argümanından oluşturulur.
negative_pooled_prompt_embeds (torch.FloatTensor, isteğe bağlı) — Önceden oluşturulmuş negatif havuzlanmış metin gömme değerleri. Metin girdilerini kolayca ayarlamak için kullanılabilir, ör. istem ağırlıklandırması. Sağlanmazsa, havuzlanmış negative_prompt_embeds, negative_prompt girdi argümanından oluşturulur.
prompt_attention_mask (torch.Tensor, isteğe bağlı) — prompt_embeds için dikkat maskesi. prompt_embeds doğrudan geçirildiğinde zorunludur.
negative_prompt_attention_mask (torch.Tensor, isteğe bağlı) — negative_prompt_embeds için dikkat maskesi. negative_prompt_embeds doğrudan geçirildiğinde zorunludur.
output_type (str, isteğe bağlı, varsayılan "pil") — Oluşturulan görüntünün çıktı biçimi. PIL.Image veya np.array arasında seçim yapın.
return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine HunyuanVideoPipelineOutput döndürülüp döndürülmemesi.
attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
prompt_template (dict, isteğe bağlı) — Kodlamadan önce prompt'u biçimlendirmek için kullanılan şablon. Varsayılan olarak modelin varsayılan şablonu kullanılır.
max_sequence_length (int, isteğe bağlı, varsayılan 256) — İstem kodlayıcısı için kullanılacak maksimum dizi uzunluğu.
callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, isteğe bağlı) — Çıkarım sırasında her gürültü azaltma adımının sonunda çağrılan, aşağıdaki argümanlara sahip bir fonksiyon veya PipelineCallback / MultiPipelineCallbacks alt sınıfı: callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict). callback_kwargs, callback_on_step_end_tensor_inputs tarafından belirtilen tüm tensörlerin listesini içerecektir.
callback_on_step_end_tensor_inputs (list, isteğe bağlı) — callback_on_step_end işlevi için girdi tensörlerinin listesi. Listede belirtilen tensörler, callback_kwargs argümanı olarak geçirilir. Yalnızca pipeline sınıfınızın ._callback_tensor_inputs özniteliğinde listelenen değişkenleri dahil edebilirsiniz.

Dönüş değeri

~HunyuanVideoPipelineOutput veya tuple

return_dict True ise HunyuanVideoPipelineOutput döndürülür, aksi halde bir tuple döndürülür; bu yapıda ilk öğe üretilen görsellerin listesini, ikinci öğe ise ilgili üretilen görselin “not-safe-for-work” (nsfw) içerip içermediğini gösteren bool değerlerinin listesini içerir.

Üretim için pipeline'ın çağrı fonksiyonu.

Örnekler:

>>> import torch
>>> from diffusers import HunyuanVideoPipeline, HunyuanVideoTransformer3DModel
>>> from diffusers.utils import export_to_video

>>> model_id = "hunyuanvideo-community/HunyuanVideo"
>>> transformer = HunyuanVideoTransformer3DModel.from_pretrained(
...     model_id, subfolder="transformer", torch_dtype=torch.bfloat16
... )
>>> pipe = HunyuanVideoPipeline.from_pretrained(model_id, transformer=transformer, torch_dtype=torch.float16)
>>> pipe.vae.enable_tiling()
>>> pipe.to("cuda")

>>> output = pipe(
...     prompt="A cat walks on the grass, realistic",
...     height=320,
...     width=512,
...     num_frames=61,
...     num_inference_steps=30,
... ).frames[0]
>>> export_to_video(output, "output.mp4", fps=15)

HunyuanVideoPipelineOutput

sınıf diffusers.pipelines.hunyuan_video.pipeline_output.HunyuanVideoPipelineOutput

< source >

( frames: Tensor )

Parametreler

frames (torch.Tensor, np.ndarray veya list[list[PIL.Image.Image]]) — video çıktıları listesi - batch_size, uzunluğunda iç içe geçmiş bir liste olabilir; her alt liste, num_frames. uzunluğunda gürültüsü azaltılmış PIL görüntü dizileri içerir. Ayrıca (batch_size, num_frames, channels, height, width) biçiminde bir NumPy dizisi veya Torch tensörü de olabilir.

HunyuanVideo pipeline'leri için çıktı sınıfı.

Update on GitHub

Diffusers

HunyuanVideo

Notlar

HunyuanVideoPipeline

sınıf diffusers.HunyuanVideoPipeline

__call__

HunyuanVideoPipelineOutput

sınıf diffusers.pipelines.hunyuan_video.pipeline_output.HunyuanVideoPipelineOutput

call