Diffusers documentation
BriaTransformer2DModel
BriaTransformer2DModel
Bria tarafından değiştirilmiş bir flux Transformer modeli
BriaTransformer2DModel
sınıf diffusers.BriaTransformer2DModel
< source >( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 4096pooled_projection_dim: int = Noneguidance_embeds: bool = Falseaxes_dims_rope: list = [16, 56, 56]rope_theta = 10000time_theta = 10000 )
Parametreler
- patch_size (
int) — Girdi verisini küçük yamalar (patch) haline getirmek için kullanılan yama boyutu. - in_channels (
int, isteğe bağlı, varsayılan 16) — Girdideki kanal sayısı. - num_layers (
int, isteğe bağlı, varsayılan 18) — Kullanılacak MMDiT bloklarının katman sayısı. - num_single_layers (
int, isteğe bağlı, varsayılan 18) — Kullanılacak tek DiT bloğu katmanlarının sayısı. - attention_head_dim (
int, isteğe bağlı, varsayılan 64) — Her baştaki kanal sayısı. - num_attention_heads (
int, isteğe bağlı, varsayılan 18) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı. - joint_attention_dim (
int, isteğe bağlı) — Kullanılacakencoder_hidden_statesboyutlarının sayısı. - pooled_projection_dim (
int) —pooled_projectionsprojeksiyonuna uygulanacak boyut sayısı. - guidance_embeds (
bool, varsayılan olarak False) — Rehberlik gömme (embeddings) kullanılacak mı.
Flux'ta tanıtılan Transformer modeli. Birkaç değişiklik içeren FluxPipeline tabanlıdır:
- birleştirilmiş gömme yok
- İstemler için sıfır dolgusu kullanıyoruz
- Bu, damıtılmış bir sürüm olmadığı için rehberlik gömme (guidance embedding) yok Kaynak: https://blackforestlabs.ai/announcing-black-forest-labs/
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensor = Nonepooled_projections: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Truecontrolnet_block_samples = Nonecontrolnet_single_block_samples = None )
Parametreler
- hidden_states (
torch.FloatTensor, şekli(batch size, channel, height, width)) — Girdihidden_states. - encoder_hidden_states (
torch.FloatTensorof shape(batch size, sequence_len, embed_dims)) — Kullanılacak koşullu gömlemeler (giriş koşullarından, örneğin istemlerden hesaplanan gömlemeler). - pooled_projections (
torch.FloatTensor, şekli(batch_size, projection_dim)) — Girdi koşullarının gömülme değerlerinden yansıtılan gömülme değerleri. - timestep (
torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır. - img_ids (
torch.Tensor) — Döner konumsal gömme hesaplamalarında kullanılan görüntü konum kimlikleri. - txt_ids (
torch.Tensor) — Döner konumsal gömme hesaplamalarında kullanılan metin konum kimlikleri. - guidance (
torch.Tensor, isteğe bağlı) — Modelin guidance-distilled varyantları için kullanılan guidance ölçek gömme değeri. - controlnet_block_samples (
listoftorch.Tensor, isteğe bağlı) — Belirtilirse, transformer bloklarının artıklarına eklenen tensörlerin listesi. - controlnet_single_block_samples (
listoftorch.Tensor, isteğe bağlı) — Belirtilirse, tekil transformer bloklarının artıklarına eklenen tensörlerin listesi. - attention_kwargs (
dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindekiself.processoraltında tanımlananAttentionProcessor'a iletilen bir kwargs sözlüğü. - return_dict (
bool, isteğe bağlı, varsayılanTrue) — Düz bir tuple yerine~models.transformer_2d.Transformer2DModelOutputdöndürülüp döndürülmemesi.
BriaTransformer2DModel ileri yöntemi.