Hugging Face's logo

Diffusers documentation

HiDreamImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HiDreamImageTransformer2DModel

HiDream-I1'den görüntü benzeri veriler için bir Transformer modeli.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import HiDreamImageTransformer2DModel

transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)

HiDream-I1 için GGUF kuantize edilmiş kontrol noktalarını yükleme

HiDreamImageTransformer2DModel için GGUF kontrol noktaları, ~FromOriginalModelMixin.from_single_file kullanılarak yüklenebilir.

import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel

ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
    ckpt_path,
    quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16
)

HiDreamImageTransformer2DModel

sınıf diffusers.HiDreamImageTransformer2DModel

< >

( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list[int] = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple[int, int] = (32, 32)max_resolution: tuple[int, int] = (128, 128)llama_layers: list[int] = Noneforce_inference_output: bool = False )

forward

< >

( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, in_channels, height, width) veya (batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — Girdi hidden_states.
  • timesteps (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states_t5 (torch.Tensor) — T5 metin kodlayıcısından hesaplanan koşullu gömme değerleri.
  • encoder_hidden_states_llama3 (torch.Tensor) — Llama3 metin kodlayıcısından hesaplanan koşullu gömme değerleri.
  • pooled_embeds (torch.Tensor) — Ek koşullandırma için kullanılan havuzlanmış metin gömme değerleri.
  • img_ids (torch.Tensor, isteğe bağlı) — Yamalı gizli durumlar için görüntü konum kimlikleri.
  • img_sizes (list of tuple of int, isteğe bağlı) — Çıktıyı unpatchify işlemine tabi tutmak için örnek başına kullanılan yama ızgara boyutları.
  • hidden_states_masks (torch.Tensor, isteğe bağlı) — Patched hidden_states üzerinde maske.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

HiDreamImageTransformer2DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←HeliosTransformer3DModel HunyuanDiT2DModel→