Buckets:
| # Ernie-Image | |
| [ERNIE-Image] é um modelo de geração de imagens poderoso e altamente eficiente, com 8B de parâmetros. Atualmente, há apenas dois modelos a serem lançados: | |
| |Model|Hugging Face| | |
| |---|---| | |
| |ERNIE-Image|https://huggingface.co/baidu/ERNIE-Image| | |
| |ERNIE-Image-Turbo|https://huggingface.co/baidu/ERNIE-Image-Turbo| | |
| ## ERNIE-Image | |
| ERNIE-Image foi projetado com uma arquitetura relativamente compacta e uma sólida capacidade de seguir instruções, enfatizando a eficiência de parâmetros. Baseado em um backbone DiT de 8B, ele oferece desempenho comparável, em alguns cenários, ao de modelos maiores (20B+), mantendo uma eficiência de parâmetros razoável. Ele apresenta um nível de desempenho relativamente estável na compreensão e execução de instruções, na geração de texto (por exemplo, inglês / chinês / japonês) e na estabilidade geral. | |
| ## ERNIE-Image-Turbo | |
| ERNIE-Image-Turbo é uma variante destilada do ERNIE-Image, exigindo apenas 8 NFEs (Number of Function Evaluations) e oferecendo uma alternativa mais eficiente com desempenho relativamente comparável ao do modelo completo em certos casos. | |
| ## ErnieImagePipeline | |
| Use [ErnieImagePipeline] para gerar imagens a partir de prompts de texto. O pipeline suporta Prompt Enhancer (PE) por padrão, que aprimora o prompt bruto do usuário para melhorar a qualidade da saída, embora possa reduzir a precisão no seguimento de instruções. | |
| Fornecemos um modelo PE pré-treinado com 3B parâmetros; no entanto, o uso de modelos de linguagem maiores (por exemplo, Gemini ou ChatGPT) para aprimoramento de prompts pode resultar em melhores resultados. O modelo de prompt de sistema está disponível em: https://huggingface.co/baidu/ERNIE-Image/blob/main/pe/chat_template.jinja. | |
| Se você preferir não usar PE, defina use_pe=False. | |
| ```python | |
| import torch | |
| from diffusers import ErnieImagePipeline | |
| from diffusers.utils import load_image | |
| pipe = ErnieImagePipeline.from_pretrained("baidu/ERNIE-Image", dtype=torch.bfloat16) | |
| pipe.to("cuda") # or "mps", "xpu", "cpu" | |
| # If you are running low on GPU VRAM, you can enable offloading | |
| pipe.enable_model_cpu_offload() | |
| prompt = "一只黑白相间的中华田园犬" | |
| images = pipe( | |
| prompt=prompt, | |
| height=1024, | |
| width=1024, | |
| num_inference_steps=50, | |
| guidance_scale=4.0, | |
| generator=torch.Generator("cuda").manual_seed(42), | |
| use_pe=True, | |
| ).images | |
| images[0].save("ernie-image-output.png") | |
| ``` | |
| ```python | |
| import torch | |
| from diffusers import ErnieImagePipeline | |
| from diffusers.utils import load_image | |
| pipe = ErnieImagePipeline.from_pretrained("baidu/ERNIE-Image-Turbo", dtype=torch.bfloat16) | |
| pipe.to("cuda") # or "mps", "xpu", "cpu" | |
| # If you are running low on GPU VRAM, you can enable offloading | |
| pipe.enable_model_cpu_offload() | |
| prompt = "一只黑白相间的中华田园犬" | |
| images = pipe( | |
| prompt=prompt, | |
| height=1024, | |
| width=1024, | |
| num_inference_steps=8, | |
| guidance_scale=1.0, | |
| generator=torch.Generator("cuda").manual_seed(42), | |
| use_pe=True, | |
| ).images | |
| images[0].save("ernie-image-turbo-output.png") | |
| ``` | |
Xet Storage Details
- Size:
- 3.08 kB
- Xet hash:
- 95bc8a4ed66d5454d6d4cbff8b4311d3a9f9f0a451846b14619dcc798b0c218e
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.