LongCat-Image

Presentamos LongCat-Image, un modelo de base pionero, de código abierto y bilingüe (chino-inglés) para la generación de imágenes, diseñado para abordar los desafíos fundamentales en el renderizado de texto multilingüe, el fotorealismo, la eficiencia de despliegue y la accesibilidad para desarrolladores, que son prevalentes en los modelos líderes actuales.

Características principales

• 🌟 Eficiencia y rendimiento excepcionales: Con solo 6B parámetros, LongCat-Image supera a numerosos modelos de código abierto que son varias veces más grandes en múltiples benchmarks, demostrando el inmenso potencial del diseño de modelos eficientes.
• 🌟 Rendimiento superior en edición: El modelo LongCat-Image-Edit alcanza un rendimiento de vanguardia entre los modelos de código abierto, ofreciendo un seguimiento de instrucciones y una calidad de imagen líderes, con una consistencia visual superior.
• 🌟 Renderizado de texto chino potente: LongCat-Image demuestra una precisión y estabilidad superiores en el renderizado de caracteres chinos comunes en comparación con los modelos open source SOTA existentes y logra una cobertura líder de la industria del diccionario chino.
• 🌟 Fotorrealismo notable: Gracias a una estrategia de datos y un marco de entrenamiento innovadores, LongCat-Image logra un fotorrealismo notable en las imágenes generadas.
• 🌟 Ecosistema de código abierto integral: Ofrecemos una cadena de herramientas completa, desde puntos de control intermedios hasta el código de entrenamiento completo, lo que reduce significativamente la barrera para la investigación y el desarrollo adicionales.

Para más detalles, consulte el informe técnico integral LongCat-Image Technical Report

Ejemplo de uso

import torch
import diffusers
from diffusers import LongCatImagePipeline

weight_dtype = torch.bfloat16
pipe = LongCatImagePipeline.from_pretrained("meituan-longcat/LongCat-Image", dtype=torch.bfloat16 )
pipe.to('cuda')  # or "mps", "xpu", "cpu"
# pipe.enable_model_cpu_offload()

prompt = '一个年轻的亚裔女性，身穿黄色针织衫，搭配白色项链。她的双手放在膝盖上，表情恬静。背景是一堵粗糙的砖墙，午后的阳光温暖地洒在她身上，营造出一种宁静而温馨的氛围。镜头采用中距离视角，突出她的神态和服饰的细节。光线柔和地打在她的脸上，强调她的五官和饰品的质感，增加画面的层次感与亲和力。整个画面构图简洁，砖墙的纹理与阳光的光影效果相得益彰，突显出人物的优雅与从容。'
image = pipe(
    prompt,
    height=768,
    width=1344,
    guidance_scale=4.0,
    num_inference_steps=50,
    num_images_per_prompt=1,
    generator=torch.Generator("cpu").manual_seed(43),
    enable_cfg_renorm=True,
    enable_prompt_rewrite=True,
).images[0]
image.save(f'./longcat_image_t2i_example.png')

Este pipeline fue aportado por el equipo LongCat-Image. La base de código original se puede encontrar aquí.

Modelos disponibles:

LongCatImagePipeline

• todos
• call

LongCatImagePipelineOutput