Este modelo foi publicado em papers do HF em 2021-05-28 e contribuído para o Hugging Face Transformers em 2021-06-01.

ByT5

ByT5 é uma versão do modelo T5 que não utiliza tokenizer, projetada para funcionar diretamente em bytes UTF-8 brutos. Isso significa que ele pode processar qualquer idioma, é mais robusto a ruídos como erros de digitação e é mais simples de usar, pois não requer um pipeline de pré-processamento.

Você pode encontrar todos os checkpoints originais do ByT5 na organização Google.

Consulte a documentação do T5 para mais exemplos de como aplicar o ByT5 a diferentes tarefas de linguagem.

O exemplo abaixo demonstra como gerar texto com Pipeline, AutoModel e pela linha de comando.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained(
    "google/byt5-small"
)
model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-small",
    device_map="auto"
)

input_ids = tokenizer("summarize: Photosynthesis is the process by which plants, algae, and some bacteria convert light energy into chemical energy.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Quantização

A quantização reduz a carga de memória de modelos grandes ao representar os pesos em uma precisão menor. Consulte a visão geral de Quantização para mais backends de quantização disponíveis.

O exemplo abaixo usa torchao para quantizar apenas os pesos para int4.

# pip install torchao
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Observações

• É recomendável usar o tokenizer para inferência e treinamento em lote.

• O exemplo abaixo mostra como usar o modelo sem um tokenizer.

  Copiado

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small", device_map="auto")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• O ByT5 usa os valores de byte mais altos (258, 257, etc.) para mascaramento, em vez de tokens sentinela como {extra_id_0}.

  Copiado

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer