diffusers/main/ar/api/models/autoencoderkl_ltx_2.md

AutoencoderKLLTX2Video

تم تقديم نموذج الترميز التلقائي التبايني ثلاثي الأبعاد (VAE) مع خسارة كولباك-ليبلر المستخدم في LTX-2 من قِبل Lightricks.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import AutoencoderKLLTX2Video

vae = AutoencoderKLLTX2Video.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLLTX2Video[[diffusers.AutoencoderKLLTX2Video]]

diffusers.AutoencoderKLLTX2Video[[diffusers.AutoencoderKLLTX2Video]]

diffusers.AutoencoderKLLTX2Video(in_channels: int = 3, out_channels: int = 3, latent_channels: int = 128, block_out_channels: tuple[int, ...] = (256, 512, 1024, 2048), down_block_types: tuple[str, ...] = ('LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D'), decoder_block_out_channels: tuple[int, ...] = (256, 512, 1024), layers_per_block: tuple[int, ...] = (4, 6, 6, 2, 2), decoder_layers_per_block: tuple[int, ...] = (5, 5, 5, 5), spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True, True), decoder_spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True), decoder_inject_noise: bool | tuple[bool, ...] = (False, False, False, False), downsample_type: tuple[str, ...] = ('spatial', 'temporal', 'spatiotemporal', 'spatiotemporal'), upsample_type: tuple[str, ...] = ('spatiotemporal', 'spatiotemporal', 'spatiotemporal'), upsample_residual: bool | tuple[bool, ...] = (True, True, True), upsample_factor: tuple[int, ...] = (2, 2, 2), timestep_conditioning: bool = False, patch_size: int = 4, patch_size_t: int = 1, resnet_norm_eps: float = 1e-06, scaling_factor: float = 1.0, encoder_causal: bool = True, decoder_causal: bool = True, encoder_spatial_padding_mode: str = 'zeros', decoder_spatial_padding_mode: str = 'reflect', spatial_compression_ratio: int = None, temporal_compression_ratio: int = None)

المصدر

المعاملات:

in_channels (int، القيمة الافتراضية 3) : عدد قنوات الإدخال.

out_channels (int، القيمة الافتراضية 3) : عدد قنوات الإخراج.

latent_channels (int، القيمة الافتراضية 128) : عدد قنوات الحالة الكامنة.

block_out_channels (tuple[int, ...]، القيمة الافتراضية هي (128, 256, 512, 512)) : عدد قنوات الإخراج لكل كتلة.

spatio_temporal_scaling (tuple[bool, ...], defaults to (True, True, True, False)` : ما إذا كان يجب أن يحتوي الكتلة على تقليص مكاني-زمني أم لا.

layers_per_block (tuple[int, ...]، القيمة الافتراضية هي (4, 3, 3, 3, 4)) : عدد الطبقات في كل كتلة.

patch_size (int، القيمة الافتراضية 4) : حجم البقع المكانية.

patch_size_t (int، القيمة الافتراضية 1) : حجم البقع الزمنية.

resnet_norm_eps (float، القيمة الافتراضية 1e-6) : قيمة إيبسلون لطبقات تطبيع ResNet.

scaling_factor (float, اختياري, القيمة الافتراضية 1.0) : الانحراف المعياري لكل مكوّن في الفضاء الكامن المُدرَّب، المُحسوب باستخدام الدفعة الأولى من مجموعة التدريب. يُستخدم هذا القيمة لتقريب الفضاء الكامن بحيث يكون له تباين وحدة عند تدريب نموذج الانتشار. يتم تقريب الكمونات باستخدام الصيغة z = z * scaling_factor قبل تمريرها إلى نموذج الانتشار. عند فك الترميز، تُعاد الكمونات إلى المقياس الأصلي باستخدام الصيغة: z = 1 / scaling_factor * z. لمزيد من التفاصيل، راجع الأقسام 4.3.2 و D.1 من ورقة High-Resolution Image Synthesis with Latent Diffusion Models.

encoder_causal (bool، القيمة الافتراضية True) : ما إذا كان يجب أن يتصرف المُشفِّر بشكل سببي (حيث تعتمد الإطارات المستقبلية على الإطارات السابقة فقط) أم لا.

decoder_causal (bool، القيمة الافتراضية False) : ما إذا كان يجب أن يتصرف المُفكّك بشكل سببي (حيث تعتمد الإطارات المستقبلية على الإطارات السابقة فقط) أم لا.

نموذج VAE مع خسارة KL لتشفير الصور إلى كامنات وفك تمثيل الكامنات إلى صور. يُستخدم في LTX-2.

يرث هذا النموذج من ModelMixin. راجع توثيق الفئة الأصلية لمعرفة طرقه العامة المُنفَّذة لجميع النماذج (مثل التنزيل أو الحفظ).

فك الترميز[[diffusers.AutoencoderKLLTX2Video.decode]]

decode(z: Tensor, temb: typing.Optional[torch.Tensor] = None, causal: bool | None = None, return_dict: bool = True)

المصدر

المعاملات:

z (torch.Tensor) : دفعة إدخال من المتجهات الكامنة.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع ~models.vae.DecoderOutput بدلاً من tuple عادي.

يعيد: ~models.vae.DecoderOutput أو tuple

إذا كانت return_dict تساوي True، يُعاد ~models.vae.DecoderOutput، وإلا يُعاد tuple عادي.

فكّ تشفير دفعة من الصور.

ترميز[[diffusers.AutoencoderKLLTX2Video.encode]]

encode(x: Tensor, causal: bool | None = None, return_dict: bool = True)

المصدر

المعاملات:

x (torch.Tensor) : دفعة من الصور المدخلة.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع ~models.autoencoder_kl.AutoencoderKLOutput بدلاً من tuple عادي.

يعيد:

تمثيلات الكامنة للفيديوهات المُرمّزة. إذا كان return_dict صحيحًا (True)، يُعاد ~models.autoencoder_kl.AutoencoderKLOutput، وإلا يُعاد tuple عادي.

ترميز دفعة من الصور إلى كامنات.

enable_tiling[[diffusers.AutoencoderKLLTX2Video.enable_tiling]]

enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_min_num_frames: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None, tile_sample_stride_num_frames: float | None = None)

المصدر

المعاملات:

tile_sample_min_height (int, اختياري) : الحد الأدنى للارتفاع المطلوب لعينة حتى يتم فصلها إلى بلاطات عبر بُعد الارتفاع.

tile_sample_min_width (int, اختياري) : الحد الأدنى من العرض المطلوب حتى يتم فصل العينة إلى بلاطات عبر بُعد العرض.

tile_sample_stride_height (int، اختياري) : الحد الأدنى من التداخل بين بلاطتين عموديتين متتاليتين. يهدف هذا إلى ضمان عدم ظهور أي شوائب تخطيط عبر بُعد الارتفاع.

tile_sample_stride_width (int، اختياري) : الخطوة بين بلاطتين أفقيتين متتاليتين. يهدف هذا إلى ضمان عدم إنتاج أي شوائب تبليط عبر بُعد العرض.

تفعيل فك ترميز VAE المُجزّأ. عند تفعيل هذا الخيار، سيقوم VAE بتقسيم مصفوفة الإدخال إلى بلاطات لحساب فك الترميز والترميز على عدة خطوات. وهذا مفيد لتوفير كمية كبيرة من الذاكرة ولتيسير معالجة صور أكبر.

forward[[diffusers.AutoencoderKLLTX2Video.forward]]

forward(sample: Tensor, temb: typing.Optional[torch.Tensor] = None, sample_posterior: bool = False, encoder_causal: bool | None = None, decoder_causal: bool | None = None, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

المصدر

المعاملات:

sample (torch.Tensor) : عينة الإدخال.

temb (torch.Tensor، اختياري) : متجه تضمين خطوة زمنية اختياري يُستخدم لتكييف المُفكِّك.

sample_posterior (bool، اختياري، الافتراضي False) : ما إذا كان سيتم أخذ عينة من التوزيع اللاحق.

encoder_causal (bool، اختياري) : ما إذا كان يجب على المُشفِّر استخدام التحويلات التتابعية. إذا كان None، يتم الرجوع إلى الافتراضي للنموذج.

decoder_causal (bool، اختياري) : ما إذا كان يجب على المُفكِّك استخدام الالتفافات السببية. إذا كان None، يتم الرجوع إلى الافتراضي للنموذج.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع DecoderOutput بدلاً من tuple عادي.

generator (torch.Generator، اختياري) : torch.Generator لجعل عملية أخذ العينات حتمية.

يعيد: ~models.vae.DecoderOutput أو tuple

إذا كان return_dict صحيحًا، يُعاد ~models.vae.DecoderOutput، وإلا يُعاد tuple عادي.

tiled_decode[[diffusers.AutoencoderKLLTX2Video.tiled_decode]]

tiled_decode(z: Tensor, temb: typing.Optional[torch.Tensor], causal: bool | None = None, return_dict: bool = True)

المصدر

المعاملات:

z (torch.Tensor) : دفعة إدخال من المتجهات الكامنة.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع ~models.vae.DecoderOutput بدلاً من tuple عادي.

يعيد: ~models.vae.DecoderOutput أو tuple

إذا كانت return_dict تساوي True، يُعاد ~models.vae.DecoderOutput، وإلا يُعاد tuple عادي.

فكّ تشفير دفعة من الصور باستخدام مُفكّك مُجزّأ.

tiled_encode[[diffusers.AutoencoderKLLTX2Video.tiled_encode]]

tiled_encode(x: Tensor, causal: bool | None = None)

المصدر

المعاملات:

x (torch.Tensor) : دفعة إدخال من مقاطع الفيديو.

يعيد: torch.Tensor

التمثيل الكامن للفيديوهات المُرمّزة.

ترميز دفعة من الصور باستخدام مُرمِّز مُقسَّم إلى بلاطات.