Một ModularPipeline cho P-H3-Image, một mô hình hình ảnh dựa trên MiniMax-H3, cho việc tạo hình ảnh từ văn bản (text2image) và chỉnh sửa dựa trên hướng dẫn (image_conditioned).

Hình ảnh là một khung tiềm năng đơn lẻ, được khử nhiễu trong một chuỗi đóng gói duy nhất với hai tiềm năng âm thanh bị loại bỏ.

import torch
from diffusers import ComponentsManager, ModularPipeline

manager = ComponentsManager()
manager.enable_auto_cpu_offload(device="cuda")

pipe = ModularPipeline.from_pretrained("PrunaAI/P-H3-Image", components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)
prompt = (
    "A German Expressionist oil painting of a Berlin street at night in the manner of Ernst Ludwig Kirchner, "
    "with gaunt figures hurrying past a glowing gas lamp."
)
image = pipe(prompt=prompt, height=3360, width=2496, output="images")[0]

Các khối pipeline mô-đun cho P-H3-Image: text2image, và chỉnh sửa dựa trên hướng dẫn (image_conditioned) khi image được truyền vào. prompt sẽ đi qua prompt upsampler trước; hãy bỏ bước prompt_upsampler để hiển thị như đã cho.

Các quy trình làm việc được hỗ trợ:

• text2image: yêu cầu prompt
• image_conditioned: yêu cầu prompt, image

Các thành phần: image_processor (VaeImageProcessor) prompt_upsampler (Qwen3_5ForConditionalGeneration): Bộ mở rộng prompt. prompt_upsampler_processor (AutoProcessor): Bộ xử lý của nó. text_encoder (Qwen3VLForConditionalGeneration) text_connector (PH3ImageTextConnector) tokenizer (Qwen2Tokenizer) processor (Qwen3VLProcessor) vae (AutoencoderKLPH3Image) scheduler (MiniMaxH3Scheduler) audio_scheduler (MiniMaxH3Scheduler) transformer (MiniMaxH3Transformer3DModel)

Configs: reference_min_pixels (mặc định: 1048576) reference_max_pixels (mặc định: 8388608) canvas_min_pixels (mặc định: 4194304) vision_pixels (mặc định: 1000000) sample_sigmas (mặc định: [1.0, 0.984753, 0.967905, 0.951688, 0.925372, 0.881923, 0.810083, 0.528718, 0.0]): Lưới lấy mẫu của checkpoint, được sử dụng khi sigmas không được truyền vào.

Đầu vào: image (Image | list, tùy chọn): Hình ảnh cần chỉnh sửa, hoặc một danh sách tối đa 8 hình ảnh: hình đầu tiên sẽ được chỉnh sửa, các hình còn lại là tham chiếu. height (int, tùy chọn): Chiều cao của hình ảnh được tạo ra tính bằng pixel, làm tròn đến bội số của 32. Mặc định là 2912 cho text2image, hoạt động tốt nhất ở 8 megapixel. Chỉnh sửa mặc định dùng kích thước của hình ảnh đầu tiên, tối thiểu là canvas_min_pixels, và hoạt động tốt nhất ở 4 hoặc 8 megapixel. width (int, tùy chọn): Chiều rộng của hình ảnh được tạo ra tính bằng pixel, làm tròn đến bội số của 32. Mặc định là 2912 cho text2image, hoạt động tốt nhất ở 8 megapixel. Chỉnh sửa mặc định dùng kích thước của hình ảnh đầu tiên, tối thiểu là canvas_min_pixels, và hoạt động tốt nhất ở 4 hoặc 8 megapixel. prompt (str): Câu lệnh, hoặc hướng dẫn chỉnh sửa khi truyền image. Một chuỗi duy nhất. max_new_tokens (int, tùy chọn, mặc định là 1536 hoặc 1024, tùy thuộc vào quy trình làm việc): Số token tối đa mà bộ tăng độ phân giải có thể tạo ra, bao gồm cả phần suy luận. vision_images (list, tùy chọn): Các hình ảnh của bản chỉnh sửa đã được thay đổi kích thước cho bộ mã hóa văn bản, hình ảnh cần chỉnh sửa đứng đầu. reference_images (list, tùy chọn): Các hình ảnh của bản chỉnh sửa đã được thay đổi kích thước cho VAE, hình ảnh cần chỉnh sửa đứng đầu. condition_latents (list, tùy chọn): Các latents điều kiện của các hình ảnh trong bản chỉnh sửa. Hình dạng của chúng xác định hình học của các khối tham chiếu. generator (Generator, tùy chọn): Bộ tạo của yêu cầu. Nhiễu điều kiện được lấy từ đây trước tiên, một lần lấy cho mỗi điều kiện, trước khi lấy nhiễu của các hàng được tạo ra. latents (Tensor): Nhiễu hình ảnh được tạo trước có hình dạng (1, latent_channels, 1, latent_height, latent_width), được sử dụng thay cho việc lấy ngẫu nhiên. sigmas (list, tùy chọn): Một lưới lấy mẫu tùy chỉnh, giảm nghiêm ngặt và kết thúc ở 0. Mặc định là sample_sigmas của checkpoint. *denoiser_input_fields (None,tùy chọn): Mô tả cấu trúc của chuỗi đóng gói mà transformer đọc theo tên: token_tags, position_ids và ba tensor chỉ số hàng. attention_kwargs (dict,tùy chọn): Các kwargs bổ sung cho bộ xử lý chú ý. output_type (str,tùy chọn*, mặc định là pil): Định dạng đầu ra: ‘pil’, ‘np’, ‘pt’.

Đầu ra: images (list): Các hình ảnh được tạo.

Ánh xạ các trạng thái ẩn của bộ mã hóa văn bản Qwen3-VL của P-H3-Image sang điều kiện văn bản mà transformer của nó đọc.

Các trạng thái ẩn được liệt kê trong hidden_state_indices được nối lại, chuẩn hóa, chiếu tuyến tính và khử chuẩn hóa. Token đầu tiên là một attention sink với cùng điều kiện cho mọi prompt, do đó nó được thay thế bằng sink_embedding.