Transformers documentation

Emu3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Este modelo foi publicado no HF papers em 2024-09-27 e contribuído para o Hugging Face Transformers em 2025-01-10.

Emu3

Visão geral

O modelo Emu3 foi proposto em Emu3: Next-Token Prediction is All You Need por Xinlong Wang, Xiaosong Zhang, Zhengxiong Luo, Quan Sun, Yufeng Cui, Jinsheng Wang, Fan Zhang, Yueze Wang, Zhen Li, Qiying Yu, Yingli Zhao, Yulong Ao, Xuebin Min, Tao Li, Boya Wu, Bo Zhao, Bowen Zhang, Liangdong Wang, Guang Liu, Zheqi He, Xi Yang, Jingjing Liu, Yonghua Lin, Tiejun Huang, Zhongyuan Wang.

Emu3 é um LLM multimodal que usa quantização vetorial para tokenizar imagens em tokens discretos. Os tokens de imagem discretizados são posteriormente fundidos com os ids de tokens de texto para a geração de imagem e texto. O modelo também pode gerar imagens ao prever os ids de tokens de imagem.

O resumo do artigo é o seguinte:

Embora a previsão do próximo token seja considerada um caminho promissor para a inteligência artificial geral, ela tem tido dificuldade em se destacar em tarefas multimodais, que ainda são dominadas por modelos de difusão (por exemplo, Stable Diffusion) e abordagens composicionais (por exemplo, CLIP combinado com LLMs). Neste artigo, apresentamos o Emu3, um novo conjunto de modelos multimodais de última geração treinados exclusivamente com previsão do próximo token. Ao tokenizar imagens, texto e vídeos em um espaço discreto, treinamos um único transformer do zero em uma mistura de sequências multimodais. O Emu3 supera vários modelos específicos de tarefa bem estabelecidos em tarefas de geração e percepção, superando modelos de destaque como SDXL e LLaVA-1.6, ao mesmo tempo em que elimina a necessidade de arquiteturas de difusão ou composicionais. O Emu3 também é capaz de gerar vídeos de alta fidelidade ao prever o próximo token em uma sequência de vídeo. Simplificamos os designs complexos de modelos multimodais ao convergir para um foco singular: tokens, desbloqueando um grande potencial para escalonamento tanto durante o treinamento quanto a inferência. Nossos resultados demonstram que a previsão do próximo token é um caminho promissor para construir uma inteligência multimodal geral além da linguagem. Abre-mos o código das principais técnicas e modelos para apoiar pesquisas adicionais nessa direção.

Dicas:

Recomendamos que os usuários definam processor.tokenizer.padding_side = "left" antes da geração em lote, pois isso resulta em resultados mais precisos.
Observe que o modelo foi treinado com um formato de prompt específico para conversas. Use processor.apply_chat_template(my_conversation_dict) para formatar corretamente seus prompts.
O Emu3 possui dois checkpoints diferentes, um para geração de imagens e outro para geração de texto. Certifique-se de usar o checkpoint correto ao carregar o modelo. Para gerar uma imagem, recomenda-se o uso de prefix_constraints para que os tokens gerados sejam amostrados apenas a partir de tokens de imagem possíveis. Veja abaixo exemplos de uso.

A implementação do Emu3 no Transformers usa um token de imagem especial para indicar onde mesclar os embeddings de imagem. O token de imagem especial não é novo e utiliza um dos tokens reservados: <|extra_0|>. Você deve adicionar <image> ao seu prompt no local em que a imagem deve ser incorporada para uma geração correta.

Este modelo foi contribuído por RaushanTurganbay. O código original pode ser encontrado aqui.

Exemplo de uso

Inferência de geração de texto

Aqui está como carregar o modelo e executar inferência em meia precisão (torch.bfloat16) para gerar saída textual a partir de entradas de texto ou de texto e imagem:

import requests
from PIL import Image

from transformers import Emu3ForConditionalGeneration, Emu3Processor


processor = Emu3Processor.from_pretrained("BAAI/Emu3-Chat-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Chat-hf", device_map="auto")

# prepare image and text prompt
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
prompt = "What do you see in this image?<image>"

inputs = processor(images=image, text=prompt, return_tensors="pt").to(model.device)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=50)
print(processor.decode(output[0], skip_special_tokens=True))

Inferência de geração de imagens

Emu3 também pode gerar imagens a partir de entrada textual. Veja como fazer isso:

processor = Emu3Processor.from_pretrained("BAAI/Emu3-Gen-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Gen-hf", device_map="auto", attn_implementation="flash_attention_2")


inputs = processor(
    text=["a portrait of young girl. masterpiece, film grained, best quality.", "a dog running under the rain"],
    padding=True,
    return_tensors="pt",
    return_for_image_generation=True,
)
inputs = inputs.to(device=model.device)

neg_prompt = "lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry."
neg_inputs = processor(text=[neg_prompt] * 2, return_tensors="pt").to(device=model.device)

image_sizes = inputs.pop("image_sizes")
HEIGHT, WIDTH = image_sizes[0]
VISUAL_TOKENS = model.vocabulary_mapping.image_tokens

def prefix_allowed_tokens_fn(batch_id, input_ids):
    height, width = HEIGHT, WIDTH
    visual_tokens = VISUAL_TOKENS
    image_wrapper_token_id = torch.tensor([processor.tokenizer.image_wrapper_token_id], device=model.device)
    eoi_token_id = torch.tensor([processor.tokenizer.eoi_token_id], device=model.device)
    eos_token_id = torch.tensor([processor.tokenizer.eos_token_id], device=model.device)
    pad_token_id = torch.tensor([processor.tokenizer.pad_token_id], device=model.device)
    eof_token_id = torch.tensor([processor.tokenizer.eof_token_id], device=model.device)
    eol_token_id = processor.tokenizer.encode("<|extra_200|>", return_tensors="pt").to(model.device)[0]

    position = torch.nonzero(input_ids == image_wrapper_token_id, as_tuple=True)[0][0]
    offset = input_ids.shape[0] - position
    if offset % (width + 1) == 0:
        return (eol_token_id, )
    elif offset == (width + 1) * height + 1:
        return (eof_token_id, )
    elif offset == (width + 1) * height + 2:
        return (eoi_token_id, )
    elif offset == (width + 1) * height + 3:
        return (eos_token_id, )
    elif offset > (width + 1) * height + 3:
        return (pad_token_id, )
    else:
        return visual_tokens


out = model.generate(
    **inputs,
    max_new_tokens=50_000, # make sure to have enough tokens for one image
    prefix_allowed_tokens_fn=prefix_allowed_tokens_fn,
    return_dict_in_generate=True,
    negative_prompt_ids=neg_inputs.input_ids, # indicate for Classifier-Free Guidance
    negative_prompt_attention_mask=neg_inputs.attention_mask,
)

image = model.decode_image_tokens(out.sequences[:, inputs.input_ids.shape[1]: ], height=HEIGHT, width=WIDTH)
images = processor.postprocess(list(image.float()), return_tensors="PIL.Image.Image").to(model.device) # internally we convert to np but it's not supported in bf16 precision
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Emu3

Visão geral

Exemplo de uso

Inferência de geração de texto

Inferência de geração de imagens

Emu3Config

classe transformers.Emu3Config

Emu3VQVAEConfig

classe transformers.Emu3VQVAEConfig

Emu3TextConfig

classe transformers.Emu3TextConfig

Emu3Processor

classe transformers.Emu3Processor

__call__

Emu3ImageProcessor

classe transformers.Emu3ImageProcessor

pré-processamento

Emu3VQVAE

classe transformers.Emu3VQVAE

forward

Emu3TextModel

classe transformers.Emu3TextModel

forward

Emu3Model

classe transformers.Emu3Model

decode_image_tokens

forward

get_image_features

get_image_tokens

get_placeholder_mask

Emu3ForCausalLM

classe transformers.Emu3ForCausalLM

forward

Emu3ForConditionalGeneration

classe transformers.Emu3ForConditionalGeneration

forward

call