Buckets:

hf-doc-build/doc / diffusers /main /tr /api /pipelines /nucleusmoe_image.md
mishig's picture
|
download
raw
10 kB

Apache Lisansı, 2.0 Sürümü ("Lisans") altında lisanslanmıştır;

bu dosyayı, Lisansa uygun olarak kullanabilirsiniz.

Lisansın bir kopyasını şu adresten edinebilirsiniz

http://www.apache.org/licenses/LICENSE-2.0

Uygulanabilir yasa gerektirmedikçe veya yazılı olarak anlaşılmadıkça, yazılım

Lisans kapsamında dağıtılan, "OLDUĞU GİBİ" esasına göre dağıtılır,

HİÇBİR TÜR AÇIK VEYA ZIMMİ GARANTİ VEYA ŞART İÇERMEZ.

İzinleri ve

lisans kapsamındaki kısıtlamalar. -->

NucleusMoE-Image

NucleusMoE-Image, tek akışlı bir DiT'yi Mixture-of-Experts ileri besleme katmanları, Qwen3-VL metin kodlayıcısına çapraz dikkat ve flow-matching Euler ayrık zamanlayıcı ile eşleştiren bir metinden görüntüye modelidir.

Scheduler'lar kılavuzunu inceleyerek scheduler hızı ve kalitesi arasındaki ödünleşimi nasıl keşfedebileceğinizi öğrenin ve aynı bileşenleri birden fazla pipeline'a nasıl verimli bir şekilde yükleyebileceğinizi öğrenmek için pipeline'lar arasında bileşenleri yeniden kullanma bölümüne göz atın.

NucleusMoEImagePipeline[[diffusers.NucleusMoEImagePipeline]]

diffusers.NucleusMoEImagePipeline[[diffusers.NucleusMoEImagePipeline]]

diffusers.NucleusMoEImagePipeline(transformer: NucleusMoEImageTransformer2DModel, scheduler: FlowMatchEulerDiscreteScheduler, vae: AutoencoderKLQwenImage, text_encoder: Qwen3VLForConditionalGeneration, processor: Qwen3VLProcessor)

Kaynak

Parametreler:

transformer (NucleusMoEImageTransformer2DModel) : Kodlanmış görüntü latentlerini gürültüden arındırmak için kullanılan Koşullu Transformer (MMDiT) mimarisi.

scheduler (FlowMatchEulerDiscreteScheduler) : Kodlanmış görüntü latentlerini gürültüden arındırmak için transformer ile birlikte kullanılacak bir zamanlayıcı.

vae (AutoencoderKLQwenImage) : Görüntüleri latent temsillere kodlamak ve latent temsillerden görüntülere çözmek için kullanılan Varyasyonel Oto-Kodlayıcı (VAE) Modeli.

text_encoder (Qwen3VLForConditionalGeneration) : İstem gömme hesaplamaları için metin kodlayıcı.

processor (Qwen3VLProcessor) : Metin girdilerini belirteçleştirmek için işleyici.

NucleusMoE kullanılarak metinden görüntüye üretim için Pipeline.

Bu pipeline, tek akışlı bir DiT, Mixture-of-Experts ileri besleme katmanları, Qwen3-VL metin kodlayıcısına çapraz dikkat ve bir flow-matching Euler ayrık zamanlayıcı kullanır.

call[[diffusers.NucleusMoEImagePipeline.call]]

__call__(prompt: str | list[str] = None, negative_prompt: str | list[str] = None, guidance_scale: float = 4.0, height: int | None = None, width: int | None = None, num_inference_steps: int = 50, sigmas: list[float] | None = None, num_images_per_prompt: int = 1, max_sequence_length: int | None = None, return_index: int | None = None, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds_mask: typing.Optional[torch.Tensor] = None, output_type: str | None = 'pil', return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None, callback_on_step_end: typing.Optional[typing.Callable[[int, int, dict], NoneType]] = None, callback_on_step_end_tensor_inputs: list = ['latents'])

Kaynak

Parametreler:

prompt (str veya list[str], isteğe bağlı) : Görsel üretimi yönlendirmek için istem veya istemler. Tanımlanmadıysa prompt_embeds parametresinin geçirilmesi gerekir.

negative_prompt (str veya list[str], isteğe bağlı) : Görsel üretimi yönlendirmemek için kullanılan istem veya istemler. Tanımlanmamışsa, true_cfg_scale > 1 olduğunda boş bir dize kullanılır.

guidance_scale (float, isteğe bağlı, varsayılan 4.0) : Classifier-free guidance ölçeği. 1'den büyük değerler CFG'yi etkinleştirir.

return_index (int, isteğe bağlı) : Prompt gömmelemeleri için kullanılacak metin kodlayıcı çıktısının katman indeksi.

height (int, isteğe bağlı, varsayılan self.default_sample_size * self.vae_scale_factor) : Üretilen görüntünün piksel cinsinden yüksekliği.

width (int, isteğe bağlı, varsayılan self.default_sample_size * self.vae_scale_factor) : Üretilen görüntünün piksel cinsinden genişliği.

num_inference_steps (int, isteğe bağlı, varsayılan 50) : Gürültü azaltma adım sayısı.

sigmas (list[float], isteğe bağlı) : Gürültü azaltma zamanlaması için özel sigmalar. Tanımlanmamışsa, doğrusal bir zamanlama kullanılır.

num_images_per_prompt (int, isteğe bağlı, varsayılan 1) : Her istem için üretilecek görsel sayısı.

generator (torch.Generator veya list[torch.Generator], isteğe bağlı) : Üretimi deterministik hale getirmek için bir veya bir dizi torch üreteci.

latents (torch.Tensor, isteğe bağlı) : Görsel üretimi için girdi olarak kullanılacak önceden oluşturulmuş gürültülü latentler.

prompt_embeds (torch.Tensor, isteğe bağlı) : Önceden oluşturulmuş metin gömme değerleri.

prompt_embeds_mask (torch.Tensor, isteğe bağlı) : Ön oluşturulmuş metin gömme vektörleri için dikkat maskesi.

negative_prompt_embeds (torch.Tensor, isteğe bağlı) : Önceden oluşturulmuş negatif metin gömme değerleri.

negative_prompt_embeds_mask (torch.Tensor, isteğe bağlı) : Ön oluşturulmuş negatif metin gömme vektörleri için dikkat maskesi.

output_type (str, isteğe bağlı, varsayılan "pil") : Üretilen görüntünün çıktı biçimi. "pil", "np" veya "latent" arasında seçim yapın.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine NucleusMoEImagePipelineOutput döndürülüp döndürülmemesi.

attention_kwargs (dict, isteğe bağlı) : Dikkat işlemcisine aktarılan Kwargs.

callback_on_step_end (Callable, isteğe bağlı) : Her gürültü azaltma adımının sonunda çağrılan bir işlev.

callback_on_step_end_tensor_inputs (list, isteğe bağlı) : callback_on_step_end fonksiyonu için Tensor girdileri.

max_sequence_length (int, varsayılan 512) : Metin istemi için maksimum dizi uzunluğu.

Dönüş: NucleusMoEImagePipelineOutput veya tuple

return_dict True ise NucleusMoEImagePipelineOutput, aksi halde ilk öğesi üretilen görsellerin listesinden oluşan bir tuple.

Üretim için pipeline çağrıldığında tetiklenen işlev.

Örnekler:

>>> import torch
>>> from diffusers import NucleusMoEImagePipeline

>>> pipe = NucleusMoEImagePipeline.from_pretrained("NucleusAI/NucleusMoE-Image", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> prompt = "A cat holding a sign that says hello world"
>>> image = pipe(prompt, num_inference_steps=50).images[0]
>>> image.save("nucleus_moe.png")

encode_prompt[[diffusers.NucleusMoEImagePipeline.encode_prompt]]

encode_prompt(prompt: str | list[str] = None, device: typing.Optional[torch.device] = None, num_images_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, max_sequence_length: int | None = None, return_index: int | None = None)

Kaynak

Parametreler:

prompt (str veya list[str], isteğe bağlı) : Kodlanacak istem veya istemler.

device (torch.device, isteğe bağlı) : Sonuç olarak elde edilen tensörler için Torch cihazı.

num_images_per_prompt (int, varsayılan 1) : Her istem için oluşturulacak görsel sayısı.

prompt_embeds (torch.Tensor, isteğe bağlı) : Önceden oluşturulmuş metin gömme değerleri. Sağlandığında kodlamayı atlar.

prompt_embeds_mask (torch.Tensor, isteğe bağlı) : Ön oluşturulmuş gömme (embedding) için dikkat maskesi.

max_sequence_length (int, varsayılan 1024) : Kodlanmış istem için maksimum token uzunluğu.

Qwen3-VL metin kodlayıcısını kullanarak metin istemlerini gömme (embedding) olarak kodlayın.

NucleusMoEImagePipelineOutput[[diffusers.pipelines.nucleusmoe_image.pipeline_output.NucleusMoEImagePipelineOutput]]

diffusers.pipelines.nucleusmoe_image.pipeline_output.NucleusMoEImagePipelineOutput[[diffusers.pipelines.nucleusmoe_image.pipeline_output.NucleusMoEImagePipelineOutput]]

diffusers.pipelines.nucleusmoe_image.pipeline_output.NucleusMoEImagePipelineOutput(images: list[PIL.Image.Image] | numpy.ndarray)

Kaynak

Parametreler:

images (list[PIL.Image.Image] veya np.ndarray) : Uzunluğu batch_size olan gürültüsü azaltılmış PIL görselleri listesi veya (batch_size, height, width, num_channels) biçiminde bir numpy dizisi. PIL görselleri veya numpy dizisi, difüzyon hattının gürültüsü azaltılmış görsellerini temsil eder.

NucleusMoE Görsel boru hatları için çıktı sınıfı.

Xet Storage Details

Size:
10 kB
·
Xet hash:
a449fb00515f1708e5c0d1b4223d73aa1c72132be1119947b1cd26af2fb4cac7

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.