نُشر هذا النموذج في أوراق HF في 28 مايو 2021، وأُضيف إلى مكتبة Hugging Face Transformers في 1 يونيو 2021.

ByT5

ByT5 هو إصدار من نموذج T5 لا يعتمد على مُجزِّئ (tokenizer)، وقد صُمم للعمل مباشرة على بايتات UTF-8 الخام. وهذا يعني أنه قادر على معالجة أي لغة، وهو أكثر مقاومةً للضوضاء مثل الأخطاء الإملائية، وأسهل في الاستخدام لأنه لا يتطلب خط معالجة مسبقة.

يمكنك العثور على جميع نقاط التفتيش الأصلية لـ ByT5 تحت منظمة Google.

راجع وثائق T5 لمزيد من الأمثلة حول كيفية تطبيق ByT5 على مهام لغوية مختلفة.

يُظهر المثال أدناه كيفية توليد النص باستخدام Pipeline وAutoModel ومن سطر الأوامر.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained(
    "google/byt5-small"
)
model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-small",
    device_map="auto"
)

input_ids = tokenizer("summarize: Photosynthesis is the process by which plants, algae, and some bacteria convert light energy into chemical energy.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

التكميم

تقلل عملية التكميم العبء على الذاكرة في النماذج الكبيرة من خلال تمثيل الأوزان بدقة أقل. راجع نظرة عامة على التكميم للاطلاع على المزيد من واجهات التكميم المتاحة.

يستخدم المثال أدناه torchao لاختزال الأوزان إلى int4 فقط.

# pip install torchao
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

ملاحظات

• يُوصى باستخدام مُجزّئ الرموز (tokenizer) للاستدلال والتدريب على دفعات.

• يُظهر المثال أدناه كيفية استخدام النموذج دون مُجزِّئ.

  تم النسخ

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small", device_map="auto")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• يستخدم ByT5 أعلى قيم البايت (258، 257، إلخ) للتعتيم بدلاً من رموز الحارس مثل {extra_id_0}.

  تم النسخ

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer