Diffusers documentation
Anima
Anima
Anima, Qwen3 metin kodlayıcı, T5-token metin koşullandırıcısı ve AutoencoderKLQwenImage VAE'si ile CosmosTransformer3DModel'i yeniden kullanan bir metinden görüntüye modelidir.
import torch
from diffusers import ModularPipeline
pipe = ModularPipeline.from_pretrained("circlestone-labs/Anima-Base-v1.0-Diffusers")
pipe.load_components(dtype=torch.bfloat16)
pipe.to("cuda") # or "mps", "xpu", "cpu"
image = pipe(prompt="masterpiece, best quality, 1girl, solo, city lights").images[0]AnimaModularPipeline
sınıf diffusers.AnimaModularPipeline
< source >( blocks: diffusers.modular_pipelines.modular_pipeline.ModularPipelineBlocks | None = Nonepretrained_model_name_or_path: str | os.PathLike | None = Nonecomponents_manager: diffusers.modular_pipelines.components_manager.ComponentsManager | None = Nonecollection: str | None = Noneworkflow: str | None = Nonemodular_config_dict: dict[str, typing.Any] | None = Noneconfig_dict: dict[str, typing.Any] | None = None**kwargs )
Anima için bir ModularPipeline.
AnimaAutoBlocks
Anima kullanarak metinden görüntüye ve görüntüden görüntüye üretim için Otomatik Modüler pipeline.
Desteklenen iş akışları:
text2image:promptgerektiririmg2img:imagevepromptgerektirir
Bileşenler:
text_encoder (Qwen3Model) tokenizer (Qwen2Tokenizer) t5_tokenizer (T5Tokenizer) guider
(ClassifierFreeGuidance) vae (AutoencoderKLQwenImage) image_processor (VaeImageProcessor)
text_conditioner (AnimaTextConditioner) transformer (CosmosTransformer3DModel) scheduler
(FlowMatchEulerDiscreteScheduler)
Girdiler:
prompt (str):
Görsel üretimi yönlendirmek için istem veya istemler.
negative_prompt (str, isteğe bağlı):
Görsel üretimini yönlendirmemesi gereken istem veya istemler.
max_sequence_length (int, isteğe bağlı, varsayılan 512):
İstem kodlaması için maksimum dizi uzunluğu.
image (Image | list, isteğe bağlı):
Gürültü azaltma için referans görsel(ler). Tek bir görsel veya görsel listesi olabilir.
height (int, isteğe bağlı):
Üretilen görselin piksel cinsinden yüksekliği.
width (int, isteğe bağlı):
Üretilen görselin piksel cinsinden genişliği.
generator (Generator, isteğe bağlı):
Belirlenebilir üretim için Torch üreteci.
num_images_per_prompt (int, isteğe bağlı, varsayılan 1):
İstem başına üretilecek görsel sayısı.
image_latents (Tensor, isteğe bağlı):
Görsel üretimini yönlendirmek için kullanılan görsel latensleri. vae_encoder adımından üretilebilir.
num_inference_steps (int):
Gürültü azaltma adım sayısı.
sigmas (list, isteğe bağlı):
Gürültü azaltma süreci için özel sigmalar.
strength (float, isteğe bağlı, varsayılan 0.9):
img2img/inpainting için güç.
latents (Tensor):
Görsel üretimi için önceden üretilmiş gürültülü latensler.
*denoiser_input_fields (None,isteğe bağlı):
Anima gürültü azaltıcısı için koşullu model girdileri.
output_type (str,isteğe bağlı*, varsayılan pil):
Çıktı biçimi: ‘pil’, ‘np’, ‘pt’.
Çıktılar:
images (list):
Oluşturulan görüntüler.
AnimaTextConditioner
sınıf diffusers.AnimaTextConditioner
< source >( source_dim: int = 1024target_dim: int = 1024model_dim: int = 1024num_layers: int = 6num_attention_heads: int = 16mlp_ratio: float = 4.0target_vocab_size: int = 32128use_self_attention: bool = Trueuse_layer_norm: bool = Falsemin_sequence_length: int = 512 )
Anima'nın Qwen3 gizli durumlarını ve T5 token kimliklerini Cosmos metin gömme değerlerine eşlemek için kullandığı metin koşullandırıcısı.
Anima, Cosmos Predict2 DiT'yi yeniden kullanır. Tek model özgü koşullandırma modülü, difüzyon döngüsünden önce öğrenilmiş T5 token gömme değerlerinden Qwen3 metin kodlayıcısının gizli durumlarına çapraz dikkat uygulayan bu LLM adaptörüdür. target_dim, koşullandırıcının çıktı boyutudur ve transformer'ın text_embed_dim değeriyle eşleşmelidir.
forward
< source >( source_hidden_states: Tensortarget_input_ids: Tensortarget_attention_mask: typing.Optional[torch.Tensor] = Nonesource_attention_mask: typing.Optional[torch.Tensor] = None ) → torch.Tensor
Parametreler
- source_hidden_states (
torch.Tensor, şekli(batch_size, source_sequence_length, source_dim)) — Koşullandırılacak Qwen3 metin kodlayıcısı gizli durumları. - target_input_ids (
torch.Tensor, şekli(batch_size, target_sequence_length)) — Öğrenmiş sorgu jetonları olarak kullanılan T5 jeton kimlikleri. - target_attention_mask (
torch.Tensor, isteğe bağlı) — Hedef T5 token kimlikleri için dikkat maskesi. - source_attention_mask (
torch.Tensor, isteğe bağlı) — Kaynak Qwen3 gizli durumları için dikkat maskesi.
Dönüş değeri
torch.Tensor
Cosmos dönüştürücüsü için metin koşullandırma gömme değerleri.