# LongCat-Image

  

Мы представляем LongCat-Image — новаторскую открытую двуязычную (китайский и английский) базовую модель для генерации изображений, разработанную для решения ключевых проблем, характерных для современных ведущих моделей: рендеринг многоязычного текста, фотореализм, эффективность развертывания и доступность для разработчиков.

### Ключевые возможности
- 🌟 **Исключительная эффективность и производительность**: имея всего **6B параметров**, LongCat-Image превосходит множество открытых моделей, которые в несколько раз больше, по нескольким бенчмаркам, демонстрируя огромный потенциал эффективного проектирования моделей.
- 🌟 **Высокое качество редактирования**: модель LongCat-Image-Edit демонстрирует передовые результаты среди открытых моделей, обеспечивая наилучшее следование инструкциям и качество изображения при превосходной визуальной согласованности.
- 🌟 **Мощный рендеринг китайского текста**: LongCat-Image демонстрирует более высокую точность и стабильность при рендеринге распространённых китайских иероглифов по сравнению с существующими SOTA-моделями с открытым исходным кодом и обеспечивает лидирующее в отрасли покрытие китайского словаря.
- 🌟 **Выдающийся фотореализм**: Благодаря инновационной стратегии работы с данными и фреймворку обучения, LongCat-Image достигает выдающегося фотореализма в генерируемых изображениях.
- 🌟 **Комплексная экосистема с открытым исходным кодом**: Мы предоставляем полный набор инструментов, от промежуточных контрольных точек до полного кода обучения, что значительно снижает порог входа для дальнейших исследований и разработок.

Для получения подробной информации обратитесь к комплексному [***LongCat-Image Technical Report***](https://arxiv.org/abs/2412.11963)

## Пример использования

```py
import torch
import diffusers
from diffusers import LongCatImagePipeline

weight_dtype = torch.bfloat16
pipe = LongCatImagePipeline.from_pretrained("meituan-longcat/LongCat-Image", dtype=torch.bfloat16 )
pipe.to('cuda')  # or "mps", "xpu", "cpu"
# pipe.enable_model_cpu_offload()

prompt = '一个年轻的亚裔女性，身穿黄色针织衫，搭配白色项链。她的双手放在膝盖上，表情恬静。背景是一堵粗糙的砖墙，午后的阳光温暖地洒在她身上，营造出一种宁静而温馨的氛围。镜头采用中距离视角，突出她的神态和服饰的细节。光线柔和地打在她的脸上，强调她的五官和饰品的质感，增加画面的层次感与亲和力。整个画面构图简洁，砖墙的纹理与阳光的光影效果相得益彰，突显出人物的优雅与从容。'
image = pipe(
    prompt,
    height=768,
    width=1344,
    guidance_scale=4.0,
    num_inference_steps=50,
    num_images_per_prompt=1,
    generator=torch.Generator("cpu").manual_seed(43),
    enable_cfg_renorm=True,
    enable_prompt_rewrite=True,
).images[0]
image.save(f'./longcat_image_t2i_example.png')
```

Этот конвейер был предоставлен командой LongCat-Image. Исходная кодовая база доступна [здесь](https://github.com/meituan-longcat/LongCat-Image).

Доступные модели:

  
    
      
        Модели Тип Описание Ссылка для загрузки
      
    
    
      
        LongCat‑Image Text‑to‑Image: финальный релиз. Стандартная модель для инференса «из коробки».
        
          🤗 Huggingface
        
      
      
        LongCat‑Image‑Dev Text‑to‑Image Development. Контрольная точка промежуточного обучения, подходит для дообучения.
        
          🤗 Huggingface
        
      
      
        LongCat‑Image‑Edit Редактирование изображений Специализированная модель для редактирования изображений.
        
          🤗 Huggingface
        
      
    
  

## LongCatImagePipeline[[diffusers.LongCatImagePipeline]]

#### diffusers.LongCatImagePipeline[[diffusers.LongCatImagePipeline]]

```python
diffusers.LongCatImagePipeline(scheduler: FlowMatchEulerDiscreteScheduler, vae: AutoencoderKL, text_encoder: Qwen2_5_VLForConditionalGeneration, tokenizer: Qwen2Tokenizer, text_processor: Qwen2VLProcessor, transformer: LongCatImageTransformer2DModel)
```

[Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/longcat_image/pipeline_longcat_image.py#L205)

Конвейер для генерации изображений по тексту.

- все
- __call__

## LongCatImagePipelineOutput[[diffusers.pipelines.longcat_image.LongCatImagePipelineOutput]]

#### diffusers.pipelines.longcat_image.LongCatImagePipelineOutput[[diffusers.pipelines.longcat_image.LongCatImagePipelineOutput]]

```python
diffusers.pipelines.longcat_image.LongCatImagePipelineOutput(images: list[PIL.Image.Image, numpy.ndarray])
```

[Источник](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/pipelines/longcat_image/pipeline_output.py#L10)

**Параметры:**

images (`list[PIL.Image.Image]` или `np.ndarray`) : Список денойзированных изображений PIL длиной `batch_size` или массив numpy с формой `(batch_size, height, width, num_channels)`. Изображения PIL или массив numpy представляют денойзированные изображения диффузионного конвейера.

Класс вывода для пайплайнов Stable Diffusion.