Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /ja /using-diffusers /text-img2vid.md

mishig

8 days ago

preview code

download

raw

20.4 kB

# 動画生成

Video generation modelsは、画像生成（1フレームの動画とみなすことができます）を拡張し、空間および時間に関連するデータも処理するようにします。テキスト、空間、時間といったこれらのすべてのデータが、フレームからフレームへ一貫性を持ち、整合性を保つようにすることは、長尺かつ高解像度の動画を生成する上での大きな課題です。

最新の動画モデルは、この課題に対処するために拡散トランスフォーマー（DiT）アーキテクチャを採用しています。これにより計算コストが削減され、より大きく高品質な画像および動画データへのスケーリングが効率的に行えるようになります。

以下に、これらの動画モデルのいくつかの能力をご紹介します。

```py
# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel
text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)
# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
apply_group_offloading(text_encoder,
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="block_level",
    num_blocks_per_group=4
)
transformer.enable_group_offload(
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="leaf_level",
    use_stream=True
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"
prompt = """
The camera rushes from far to near in a low-angle shot, 
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in 
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground. 
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic 
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality, 
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured, 
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""
output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)
```

```py
import torch
from diffusers importAutoModel, HunyuanVideoPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.utils import export_to_video
# quantize weights to int4 with bitsandbytes
pipeline_quant_config = PipelineQuantizationConfig(
  quant_backend="bitsandbytes_4bit",
  quant_kwargs={
    "load_in_4bit": True,
    "bnb_4bit_quant_type": "nf4",
    "bnb_4bit_compute_dtype": torch.bfloat16
    },
  components_to_quantize="transformer"
)
pipeline = HunyuanVideoPipeline.from_pretrained(
    "hunyuanvideo-community/HunyuanVideo",
    quantization_config=pipeline_quant_config,
    dtype=torch.bfloat16,
)
# model-offloading and tiling
pipeline.enable_model_cpu_offload()
pipeline.vae.enable_tiling()
prompt = "A fluffy teddy bear sits on a bed of soft pillows surrounded by children's toys."
video = pipeline(prompt=prompt, num_frames=61, num_inference_steps=30).frames[0]
export_to_video(video, "output.mp4", fps=15)
```

```py
import torch
from diffusers import LTXPipeline, AutoModel
from diffusers.hooks import apply_group_offloading
from diffusers.utils import export_to_video
# fp8 layerwise weight-casting
transformer = AutoModel.from_pretrained(
    "Lightricks/LTX-Video",
    subfolder="transformer",
    dtype=torch.bfloat16
)
transformer.enable_layerwise_casting(
    storage_dtype=torch.float8_e4m3fn, compute_dtype=torch.bfloat16
)
pipeline = LTXPipeline.from_pretrained("Lightricks/LTX-Video", transformer=transformer, dtype=torch.bfloat16)
# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
pipeline.transformer.enable_group_offload(onload_device=onload_device, offload_device=offload_device, offload_type="leaf_level", use_stream=True)
apply_group_offloading(pipeline.text_encoder, onload_device=onload_device, offload_type="block_level", num_blocks_per_group=2)
apply_group_offloading(pipeline.vae, onload_device=onload_device, offload_type="leaf_level")
prompt = """
A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be real-life footage
"""
negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"
video = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=768,
    height=512,
    num_frames=161,
    decode_timestep=0.03,
    decode_noise_scale=0.025,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)
```

このガイドでは、パラメータの構成方法やメモリ使用量の削減方法など、動画生成の基礎を解説します。

> [!TIP]
> 特定のモデルの使用方法について詳しく知りたい場合は、そのモデルのpipeline APIモデルカードを参照してください。

## Pipelineのパラメータ

パイプラインには、動画生成の品質や速度に影響を与える複数のパラメータがあります。適切な品質と速度のトレードオフを見つけるためには、異なるパラメータ値での実験が重要です。

### num_frames
フレームとは、他のフレームと連続して再生される静止画であり、これにより動きや動画が生成されます。`num_frames` を使用して、1秒間に生成されるフレーム数を制御します。`num_frames` を増加させると、動きの滑らかさと視覚的な一貫性が向上するため、動的なコンテンツを含む動画では特に重要です。`num_frames` の値を高くすると、動画の再生時間も長くなります。

一部の動画モデルでは、推論時により具体的な`num_frames`の値が必要です。例えば、[HunyuanVideoPipeline](/docs/diffusers/main/ja/api/pipelines/hunyuan_video#diffusers.HunyuanVideoPipeline)では、`num_frames`を`(4 * num_frames) +1`で計算することを推奨しています。推奨値があるかどうかは、常にパイプラインのAPIモデルカードを確認してください。

```py
import torch
from diffusers import LTXPipeline
from diffusers.utils import export_to_video
pipeline = LTXPipeline.from_pretrained(
    "Lightricks/LTX-Video", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"
prompt = """
A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman 
with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The 
camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and 
natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be 
real-life footage
"""
video = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=768,
    height=512,
    num_frames=161,
    decode_timestep=0.03,
    decode_noise_scale=0.025,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)
```

### guidance_scale
Guidance scale（「cfg」）は、生成されたフレームが入力条件（テキスト、画像、またはその両方）にどの程度忠実であるかを制御します。`guidance_scale`を大きくすると、入力条件に似通った、より細部まで鮮明なフレームが生成されますが、アーティファクトが発生したり、出力の多様性が低下したりするリスクがあります。一方、`guidance_scale`を小さくすると、プロンプトへの忠実度が緩やかになり、出力のバリエーションが増えますが、細部の品質は低下する可能性があります。値が低すぎると、プロンプトを完全に無視してランダムなノイズを生成する場合があります。
```py
import torch
from diffusers import CogVideoXPipeline, CogVideoXTransformer3DModel
from diffusers.utils import export_to_video
pipeline = CogVideoXPipeline.from_pretrained(
  "THUDM/CogVideoX-2b",
  dtype=torch.float16
).to("cuda")  # or "mps", "xpu", "cpu"

prompt = """
A detailed wooden toy ship with intricately carved masts and sails is seen gliding smoothly over
a plush, blue carpet that mimics the waves of the sea. The ship's hull is painted a rich brown, 
with tiny windows. The carpet, soft and textured, provides a perfect backdrop, resembling an 
oceanic expanse. Surrounding the ship are various other toys and children's items, hinting at 
a playful environment. The scene captures the innocence and imagination of childhood, 
with the toy ship's journey symbolizing endless adventures in a whimsical, indoor setting.
"""

video = pipeline(
  prompt=prompt,
  guidance_scale=6,
  num_inference_steps=50
).frames[0]
export_to_video(video, "output.mp4", fps=8)
```
### negative_prompt

ネガティブプロンプトは、生成された動画に含めたくない要素を除外するために役立ちます。一般的に、モデルを「ぼやけ、歪み、醜さ」などの望ましくない要素から遠ざけることで、生成動画の品質と整合性を向上させるために使用されます。これにより、よりクリーンで焦点の合った動画を生成できます。

```py
# pip install ftfy
import torch
from diffusers import WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
from diffusers.utils import export_to_video
vae = AutoencoderKLWan.from_pretrained(
  "Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32
)
pipeline = WanPipeline.from_pretrained(
  "Wan-AI/Wan2.1-T2V-14B-Diffusers", vae=vae, dtype=torch.bfloat16
)
pipeline.scheduler = UniPCMultistepScheduler.from_config(
  pipeline.scheduler.config, flow_shift=5.0
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"
pipeline.load_lora_weights("benjamin-paine/steamboat-willie-14b", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie")
pipeline.enable_model_cpu_offload()
# use "steamboat willie style" to trigger the LoRA
prompt = """
steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot, 
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in 
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground. 
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts 
dynamic shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
output = pipeline(
  prompt=prompt,
  num_frames=81,
  guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)
```

## メモリ使用量の削減

[HunyuanVideoPipeline](/docs/diffusers/main/ja/api/pipelines/hunyuan_video#diffusers.HunyuanVideoPipeline) や [WanPipeline](/docs/diffusers/main/ja/api/pipelines/wan#diffusers.WanPipeline) などの最近の動画モデルは100億パラメータ以上を有しており、大量のメモリを必要とします。そのため、コンシューマー向けハードウェアで利用可能なメモリを頻繁に超過してしまいます。Diffusersでは、これらの大規模モデルのメモリ要件を削減するためのいくつかの技術を提供しています。

> [!TIP]
> その他のメモリ節約技術の詳細については、[メモリ使用量の削減](../optimization/memory)ガイドを参照してください。

これらの技術の一つは[group-offloading](../optimization/memory#group-offloading)です。これは、使用されていないときにモデルの内部レイヤーのグループ（`torch.nn.Sequential`など）をCPUにオフロードします。これらのレイヤーは、計算に必要になったときにのみ読み込まれるため、モデルの**すべての**コンポーネントをGPUに保持する必要がありません。[WanPipeline](/docs/diffusers/main/ja/api/pipelines/wan#diffusers.WanPipeline)のような14Bパラメータのモデルの場合、group-offloadingにより、必要なメモリをVRAM約13GBまで削減できます。

```py
# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel
text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)
# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
apply_group_offloading(text_encoder,
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="block_level",
    num_blocks_per_group=4
)
transformer.enable_group_offload(
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="leaf_level",
    use_stream=True
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"
prompt = """
The camera rushes from far to near in a low-angle shot, 
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in 
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground. 
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic 
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality, 
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured, 
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""
output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)
```

メモリを削減するもう一つのオプションは、モデルの量子化を検討することです。量子化では、モデルの重みを低精度のデータ型で保存します。ただし、量子化は特定の動画モデルによって動画の品質に影響を与える可能性があります。サポートされているさまざまな量子化バックエンドの詳細については、量子化の[概要](../quantization/overview)を参照してください。

以下の例では、[bitsandbytes](../quantization/bitsandbytes)を使用してモデルを量子化します。

```py
# pip install ftfy
import torch
from diffusers import WanPipeline
from diffusers import AutoModel, WanPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
from transformers import UMT5EncoderModel
from diffusers.utils import export_to_video
# quantize transformer and text encoder weights with bitsandbytes
pipeline_quant_config = PipelineQuantizationConfig(
  quant_backend="bitsandbytes_4bit",
  quant_kwargs={"load_in_4bit": True},
  components_to_quantize=["transformer", "text_encoder"]
)
vae = AutoModel.from_pretrained(
  "Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32
)
pipeline = WanPipeline.from_pretrained(
  "Wan-AI/Wan2.1-T2V-14B-Diffusers", vae=vae, quantization_config=pipeline_quant_config, dtype=torch.bfloat16
)
pipeline.scheduler = UniPCMultistepScheduler.from_config(
  pipeline.scheduler.config, flow_shift=5.0
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"
pipeline.load_lora_weights("benjamin-paine/steamboat-willie-14b", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie")
pipeline.enable_model_cpu_offload()
# use "steamboat willie style" to trigger the LoRA
prompt = """
steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot, 
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in 
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground. 
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts 
dynamic shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
output = pipeline(
  prompt=prompt,
  num_frames=81,
  guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)
```

## 推論速度

[torch.compile](https://docs.pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) は、最適化されたカーネルを使用することで推論を高速化できます。コンパイルには初回に時間がかかりますが、一度コンパイルが完了すれば、はるかに高速になります。パイプラインを一度コンパイルし、その後、何も変更せずにパイプラインを複数回使用するのが最善です。画像サイズの変更などの変更は、再コンパイルをトリガーします。

以下の例では、パイプライン内のtransformerをコンパイルし、`"max-autotune"`モードを使用してパフォーマンスを最大化します。

```py
import torch
from diffusers import CogVideoXPipeline, CogVideoXTransformer3DModel
from diffusers.utils import export_to_video
pipeline = CogVideoXPipeline.from_pretrained(
  "THUDM/CogVideoX-2b",
  dtype=torch.float16
).to("cuda")  # or "mps", "xpu", "cpu"
# torch.compile
pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.transformer = torch.compile(
    pipeline.transformer, mode="max-autotune", fullgraph=True
)
prompt = """
A detailed wooden toy ship with intricately carved masts and sails is seen gliding smoothly over a plush, blue carpet that mimics the waves of the sea. 
The ship's hull is painted a rich brown, with tiny windows. The carpet, soft and textured, provides a perfect backdrop, resembling an oceanic expanse. 
Surrounding the ship are various other toys and children's items, hinting at a playful environment. The scene captures the innocence and imagination of childhood, 
with the toy ship's journey symbolizing endless adventures in a whimsical, indoor setting.
"""
video = pipeline(
  prompt=prompt,
  guidance_scale=6,
  num_inference_steps=50
).frames[0]
export_to_video(video, "output.mp4", fps=8)
```

Xet Storage Details

Size:: 20.4 kB
Xet hash:: 94f2e03934baacceb4ba5993334322cb6deb191d5cb9bb2df0e42ebb16a8d8a9

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# 動画生成

	Video generation modelsは、画像生成（1フレームの動画とみなすことができます）を拡張し、空間および時間に関連するデータも処理するようにします。テキスト、空間、時間といったこれらのすべてのデータが、フレームからフレームへ一貫性を持ち、整合性を保つようにすることは、長尺かつ高解像度の動画を生成する上での大きな課題です。

	最新の動画モデルは、この課題に対処するために拡散トランスフォーマー（DiT）アーキテクチャを採用しています。これにより計算コストが削減され、より大きく高品質な画像および動画データへのスケーリングが効率的に行えるようになります。

	以下に、これらの動画モデルのいくつかの能力をご紹介します。

	```py
	# pip install ftfy
	import torch
	import numpy as np
	from diffusers import AutoModel, WanPipeline
	from diffusers.hooks.group_offloading import apply_group_offloading
	from diffusers.utils import export_to_video, load_image
	from transformers import UMT5EncoderModel

	text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
	vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
	transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

	# group-offloading
	onload_device = torch.device("cuda")
	offload_device = torch.device("cpu")
	apply_group_offloading(text_encoder,
	onload_device=onload_device,
	offload_device=offload_device,
	offload_type="block_level",
	num_blocks_per_group=4
	)
	transformer.enable_group_offload(
	onload_device=onload_device,
	offload_device=offload_device,
	offload_type="leaf_level",
	use_stream=True
	)

	pipeline = WanPipeline.from_pretrained(
	"Wan-AI/Wan2.1-T2V-14B-Diffusers",
	vae=vae,
	transformer=transformer,
	text_encoder=text_encoder,
	dtype=torch.bfloat16
	)
	pipeline.to("cuda") # or "mps", "xpu", "cpu"

	prompt = """
	The camera rushes from far to near in a low-angle shot,
	revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
	for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
	Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
	shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
	"""
	negative_prompt = """
	Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
	low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
	misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
	"""

	output = pipeline(
	prompt=prompt,
	negative_prompt=negative_prompt,
	num_frames=81,
	guidance_scale=5.0,
	).frames[0]
	export_to_video(output, "output.mp4", fps=16)
	```

	```py
	import torch
	from diffusers importAutoModel, HunyuanVideoPipeline
	from diffusers.quantizers import PipelineQuantizationConfig
	from diffusers.utils import export_to_video

	# quantize weights to int4 with bitsandbytes
	pipeline_quant_config = PipelineQuantizationConfig(
	quant_backend="bitsandbytes_4bit",
	quant_kwargs={
	"load_in_4bit": True,
	"bnb_4bit_quant_type": "nf4",
	"bnb_4bit_compute_dtype": torch.bfloat16
	},
	components_to_quantize="transformer"
	)

	pipeline = HunyuanVideoPipeline.from_pretrained(
	"hunyuanvideo-community/HunyuanVideo",
	quantization_config=pipeline_quant_config,
	dtype=torch.bfloat16,
	)

	# model-offloading and tiling
	pipeline.enable_model_cpu_offload()
	pipeline.vae.enable_tiling()

	prompt = "A fluffy teddy bear sits on a bed of soft pillows surrounded by children's toys."
	video = pipeline(prompt=prompt, num_frames=61, num_inference_steps=30).frames[0]
	export_to_video(video, "output.mp4", fps=15)
	```

	```py
	import torch
	from diffusers import LTXPipeline, AutoModel
	from diffusers.hooks import apply_group_offloading
	from diffusers.utils import export_to_video

	# fp8 layerwise weight-casting
	transformer = AutoModel.from_pretrained(
	"Lightricks/LTX-Video",
	subfolder="transformer",
	dtype=torch.bfloat16
	)
	transformer.enable_layerwise_casting(
	storage_dtype=torch.float8_e4m3fn, compute_dtype=torch.bfloat16
	)

	pipeline = LTXPipeline.from_pretrained("Lightricks/LTX-Video", transformer=transformer, dtype=torch.bfloat16)

	# group-offloading
	onload_device = torch.device("cuda")
	offload_device = torch.device("cpu")
	pipeline.transformer.enable_group_offload(onload_device=onload_device, offload_device=offload_device, offload_type="leaf_level", use_stream=True)
	apply_group_offloading(pipeline.text_encoder, onload_device=onload_device, offload_type="block_level", num_blocks_per_group=2)
	apply_group_offloading(pipeline.vae, onload_device=onload_device, offload_type="leaf_level")

	prompt = """
	A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be real-life footage
	"""
	negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

	video = pipeline(
	prompt=prompt,
	negative_prompt=negative_prompt,
	width=768,
	height=512,
	num_frames=161,
	decode_timestep=0.03,
	decode_noise_scale=0.025,
	num_inference_steps=50,
	).frames[0]
	export_to_video(video, "output.mp4", fps=24)
	```

	このガイドでは、パラメータの構成方法やメモリ使用量の削減方法など、動画生成の基礎を解説します。

	> [!TIP]
	> 特定のモデルの使用方法について詳しく知りたい場合は、そのモデルのpipeline APIモデルカードを参照してください。

	## Pipelineのパラメータ

	パイプラインには、動画生成の品質や速度に影響を与える複数のパラメータがあります。適切な品質と速度のトレードオフを見つけるためには、異なるパラメータ値での実験が重要です。

	### num_frames

	フレームとは、他のフレームと連続して再生される静止画であり、これにより動きや動画が生成されます。`num_frames` を使用して、1秒間に生成されるフレーム数を制御します。`num_frames` を増加させると、動きの滑らかさと視覚的な一貫性が向上するため、動的なコンテンツを含む動画では特に重要です。`num_frames` の値を高くすると、動画の再生時間も長くなります。

	一部の動画モデルでは、推論時により具体的な`num_frames`の値が必要です。例えば、[HunyuanVideoPipeline](/docs/diffusers/main/ja/api/pipelines/hunyuan_video#diffusers.HunyuanVideoPipeline)では、`num_frames`を`(4 * num_frames) +1`で計算することを推奨しています。推奨値があるかどうかは、常にパイプラインのAPIモデルカードを確認してください。

	```py
	import torch
	from diffusers import LTXPipeline
	from diffusers.utils import export_to_video

	pipeline = LTXPipeline.from_pretrained(
	"Lightricks/LTX-Video", dtype=torch.bfloat16
	).to("cuda") # or "mps", "xpu", "cpu"

	prompt = """
	A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman
	with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The
	camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and
	natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be
	real-life footage
	"""

	video = pipeline(
	prompt=prompt,
	negative_prompt=negative_prompt,
	width=768,
	height=512,
	num_frames=161,
	decode_timestep=0.03,
	decode_noise_scale=0.025,
	num_inference_steps=50,
	).frames[0]
	export_to_video(video, "output.mp4", fps=24)
	```

	### guidance_scale

	Guidance scale（「cfg」）は、生成されたフレームが入力条件（テキスト、画像、またはその両方）にどの程度忠実であるかを制御します。`guidance_scale`を大きくすると、入力条件に似通った、より細部まで鮮明なフレームが生成されますが、アーティファクトが発生したり、出力の多様性が低下したりするリスクがあります。一方、`guidance_scale`を小さくすると、プロンプトへの忠実度が緩やかになり、出力のバリエーションが増えますが、細部の品質は低下する可能性があります。値が低すぎると、プロンプトを完全に無視してランダムなノイズを生成する場合があります。

	```py
	import torch
	from diffusers import CogVideoXPipeline, CogVideoXTransformer3DModel
	from diffusers.utils import export_to_video

	pipeline = CogVideoXPipeline.from_pretrained(
	"THUDM/CogVideoX-2b",
	dtype=torch.float16
	).to("cuda") # or "mps", "xpu", "cpu"

	prompt = """
	A detailed wooden toy ship with intricately carved masts and sails is seen gliding smoothly over
	a plush, blue carpet that mimics the waves of the sea. The ship's hull is painted a rich brown,
	with tiny windows. The carpet, soft and textured, provides a perfect backdrop, resembling an
	oceanic expanse. Surrounding the ship are various other toys and children's items, hinting at
	a playful environment. The scene captures the innocence and imagination of childhood,
	with the toy ship's journey symbolizing endless adventures in a whimsical, indoor setting.
	"""

	video = pipeline(
	prompt=prompt,
	guidance_scale=6,
	num_inference_steps=50
	).frames[0]
	export_to_video(video, "output.mp4", fps=8)
	```

	### negative_prompt

	ネガティブプロンプトは、生成された動画に含めたくない要素を除外するために役立ちます。一般的に、モデルを「ぼやけ、歪み、醜さ」などの望ましくない要素から遠ざけることで、生成動画の品質と整合性を向上させるために使用されます。これにより、よりクリーンで焦点の合った動画を生成できます。

	```py
	# pip install ftfy
	import torch
	from diffusers import WanPipeline
	from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
	from diffusers.utils import export_to_video

	vae = AutoencoderKLWan.from_pretrained(
	"Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32
	)
	pipeline = WanPipeline.from_pretrained(
	"Wan-AI/Wan2.1-T2V-14B-Diffusers", vae=vae, dtype=torch.bfloat16
	)
	pipeline.scheduler = UniPCMultistepScheduler.from_config(
	pipeline.scheduler.config, flow_shift=5.0
	)
	pipeline.to("cuda") # or "mps", "xpu", "cpu"

	pipeline.load_lora_weights("benjamin-paine/steamboat-willie-14b", adapter_name="steamboat-willie")
	pipeline.set_adapters("steamboat-willie")

	pipeline.enable_model_cpu_offload()

	# use "steamboat willie style" to trigger the LoRA
	prompt = """
	steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot,
	revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
	for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
	Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts
	dynamic shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
	"""

	output = pipeline(
	prompt=prompt,
	num_frames=81,
	guidance_scale=5.0,
	).frames[0]
	export_to_video(output, "output.mp4", fps=16)
	```

	## メモリ使用量の削減

	[HunyuanVideoPipeline](/docs/diffusers/main/ja/api/pipelines/hunyuan_video#diffusers.HunyuanVideoPipeline) や [WanPipeline](/docs/diffusers/main/ja/api/pipelines/wan#diffusers.WanPipeline) などの最近の動画モデルは100億パラメータ以上を有しており、大量のメモリを必要とします。そのため、コンシューマー向けハードウェアで利用可能なメモリを頻繁に超過してしまいます。Diffusersでは、これらの大規模モデルのメモリ要件を削減するためのいくつかの技術を提供しています。

	> [!TIP]
	> その他のメモリ節約技術の詳細については、[メモリ使用量の削減](../optimization/memory)ガイドを参照してください。

	これらの技術の一つは[group-offloading](../optimization/memory#group-offloading)です。これは、使用されていないときにモデルの内部レイヤーのグループ（`torch.nn.Sequential`など）をCPUにオフロードします。これらのレイヤーは、計算に必要になったときにのみ読み込まれるため、モデルのすべてのコンポーネントをGPUに保持する必要がありません。[WanPipeline](/docs/diffusers/main/ja/api/pipelines/wan#diffusers.WanPipeline)のような14Bパラメータのモデルの場合、group-offloadingにより、必要なメモリをVRAM約13GBまで削減できます。

	```py
	# pip install ftfy
	import torch
	import numpy as np
	from diffusers import AutoModel, WanPipeline
	from diffusers.hooks.group_offloading import apply_group_offloading
	from diffusers.utils import export_to_video, load_image
	from transformers import UMT5EncoderModel

	text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
	vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
	transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

	# group-offloading
	onload_device = torch.device("cuda")
	offload_device = torch.device("cpu")
	apply_group_offloading(text_encoder,
	onload_device=onload_device,
	offload_device=offload_device,
	offload_type="block_level",
	num_blocks_per_group=4
	)
	transformer.enable_group_offload(
	onload_device=onload_device,
	offload_device=offload_device,
	offload_type="leaf_level",
	use_stream=True
	)

	pipeline = WanPipeline.from_pretrained(
	"Wan-AI/Wan2.1-T2V-14B-Diffusers",
	vae=vae,
	transformer=transformer,
	text_encoder=text_encoder,
	dtype=torch.bfloat16
	)
	pipeline.to("cuda") # or "mps", "xpu", "cpu"

	prompt = """
	The camera rushes from far to near in a low-angle shot,
	revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
	for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
	Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
	shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
	"""
	negative_prompt = """
	Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
	low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
	misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
	"""

	output = pipeline(
	prompt=prompt,
	negative_prompt=negative_prompt,
	num_frames=81,
	guidance_scale=5.0,
	).frames[0]
	export_to_video(output, "output.mp4", fps=16)
	```

	メモリを削減するもう一つのオプションは、モデルの量子化を検討することです。量子化では、モデルの重みを低精度のデータ型で保存します。ただし、量子化は特定の動画モデルによって動画の品質に影響を与える可能性があります。サポートされているさまざまな量子化バックエンドの詳細については、量子化の[概要](../quantization/overview)を参照してください。

	以下の例では、[bitsandbytes](../quantization/bitsandbytes)を使用してモデルを量子化します。

	```py
	# pip install ftfy

	import torch
	from diffusers import WanPipeline
	from diffusers import AutoModel, WanPipeline
	from diffusers.quantizers import PipelineQuantizationConfig
	from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
	from transformers import UMT5EncoderModel
	from diffusers.utils import export_to_video

	# quantize transformer and text encoder weights with bitsandbytes
	pipeline_quant_config = PipelineQuantizationConfig(
	quant_backend="bitsandbytes_4bit",
	quant_kwargs={"load_in_4bit": True},
	components_to_quantize=["transformer", "text_encoder"]
	)

	vae = AutoModel.from_pretrained(
	"Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32
	)
	pipeline = WanPipeline.from_pretrained(
	"Wan-AI/Wan2.1-T2V-14B-Diffusers", vae=vae, quantization_config=pipeline_quant_config, dtype=torch.bfloat16
	)
	pipeline.scheduler = UniPCMultistepScheduler.from_config(
	pipeline.scheduler.config, flow_shift=5.0
	)
	pipeline.to("cuda") # or "mps", "xpu", "cpu"

	pipeline.load_lora_weights("benjamin-paine/steamboat-willie-14b", adapter_name="steamboat-willie")
	pipeline.set_adapters("steamboat-willie")

	pipeline.enable_model_cpu_offload()

	# use "steamboat willie style" to trigger the LoRA
	prompt = """
	steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot,
	revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
	for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
	Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts
	dynamic shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
	"""

	output = pipeline(
	prompt=prompt,
	num_frames=81,
	guidance_scale=5.0,
	).frames[0]
	export_to_video(output, "output.mp4", fps=16)
	```

	## 推論速度

	[torch.compile](https://docs.pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) は、最適化されたカーネルを使用することで推論を高速化できます。コンパイルには初回に時間がかかりますが、一度コンパイルが完了すれば、はるかに高速になります。パイプラインを一度コンパイルし、その後、何も変更せずにパイプラインを複数回使用するのが最善です。画像サイズの変更などの変更は、再コンパイルをトリガーします。

	以下の例では、パイプライン内のtransformerをコンパイルし、`"max-autotune"`モードを使用してパフォーマンスを最大化します。

	```py
	import torch
	from diffusers import CogVideoXPipeline, CogVideoXTransformer3DModel
	from diffusers.utils import export_to_video

	pipeline = CogVideoXPipeline.from_pretrained(
	"THUDM/CogVideoX-2b",
	dtype=torch.float16
	).to("cuda") # or "mps", "xpu", "cpu"

	# torch.compile
	pipeline.transformer.to(memory_format=torch.channels_last)
	pipeline.transformer = torch.compile(
	pipeline.transformer, mode="max-autotune", fullgraph=True
	)

	prompt = """
	A detailed wooden toy ship with intricately carved masts and sails is seen gliding smoothly over a plush, blue carpet that mimics the waves of the sea.
	The ship's hull is painted a rich brown, with tiny windows. The carpet, soft and textured, provides a perfect backdrop, resembling an oceanic expanse.
	Surrounding the ship are various other toys and children's items, hinting at a playful environment. The scene captures the innocence and imagination of childhood,
	with the toy ship's journey symbolizing endless adventures in a whimsical, indoor setting.
	"""

	video = pipeline(
	prompt=prompt,
	guidance_scale=6,
	num_inference_steps=50
	).frames[0]
	export_to_video(video, "output.mp4", fps=8)
	```