نُشر هذا النموذج في أوراق HF في 11 يوليو 2022، وأُضيف إلى مكتبة Hugging Face Transformers في 18 يوليو 2022.

NLLB

نظرة عامة

NLLB: No Language Left Behind هو نموذج ترجمة متعدد اللغات. تم تدريبه على بيانات باستخدام تقنيات تنقيب في البيانات مصممة خصيصًا للغات ذات الموارد المحدودة، ويدعم أكثر من 200 لغة. يتميز NLLB بهيكلية حساب مشروطة تستخدم مزيجًا من الخبراء البوابة المتناثرة (Sparsely Gated Mixture of Experts).

يمكنك العثور على جميع نقاط التفتيش الأصلية لنموذج NLLB تحت منظمة AI at Meta.

تمت مساهمة هذا النموذج من قِبل Lysandre. انقر على نماذج NLLB في الشريط الجانبي الأيمن لمزيد من الأمثلة حول كيفية تطبيق NLLB على مهام ترجمة مختلفة.

يُظهر المثال أدناه كيفية ترجمة النص باستخدام Pipeline أو فئة AutoModel.

from transformers import pipeline


pipeline = pipeline(task="translation", model="facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn", device=0)
pipeline("UN Chief says there is no military solution in Syria")

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-600M", attn_implementation="sdpa", device_map="auto")

article = "UN Chief says there is no military solution in Syria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)

translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30
)
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0])

تقلل عملية التكميم العبء على الذاكرة في النماذج الكبيرة من خلال تمثيل الأوزان بدقة أقل. راجع نظرة عامة على التكميم للاطلاع على المزيد من واجهات التكميم المتاحة.

يستخدم المثال أدناه bitsandbytes لاختزال الأوزان إلى 8 بتات.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, BitsAndBytesConfig


bnb_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-1.3B", quantization_config=bnb_config, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-1.3B")

article = "UN Chief says there is no military solution in Syria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)
translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30,
)
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0])

استخدم AttentionMaskVisualizer لفهم أفضل للرموز التي يمكن للنموذج الانتباه إليها والتي لا يمكنه الانتباه إليها.

from transformers.utils.attention_visualizer import AttentionMaskVisualizer


visualizer = AttentionMaskVisualizer("facebook/nllb-200-distilled-600M")
visualizer("UN Chief says there is no military solution in Syria")

ملاحظات

• تم تحديث مُجزِّئ الرموز (tokenizer) في أبريل 2023 ليضيف بادئة (prefix) للتركيبة المصدرية بلغة المصدر بدلاً من لغة الهدف. وهذا يُعطي الأولوية لأداء الصفرية (zero-shot) مقابل تكلفة طفيفة على الأداء المُشرَّف (supervised).

  تم النسخ

  from transformers import NllbTokenizer
  
  tokenizer = NllbTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
  tokenizer("How was your day?").input_ids
  [256047, 13374, 1398, 4260, 4039, 248130, 2]

  لإعادة السلوك القديم، استخدم مثال الكود أدناه.

  تم النسخ

  from transformers import NllbTokenizer
  
  tokenizer = NllbTokenizer.from_pretrained("facebook/nllb-200-distilled-600M", legacy_behaviour=True)

• بالنسبة للغات غير الإنجليزية، حدد رمز BCP-47 الخاص باللغة باستخدام الكلمة المفتاحية src_lang كما هو موضح أدناه.

• انظر إلى المثال أدناه لترجمة من الرومانية إلى الألمانية.

  تم النسخ

  from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
  
  tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
  model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-600M", device_map="auto")
  
  article = "UN Chief says there is no military solution in Syria"
  inputs = tokenizer(article, return_tensors="pt").to(model.device)
  
  translated_tokens = model.generate(
      **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30
  )
  tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
  Le chef de l'ONU dit qu'il n'y a pas de solution militaire en Syrie

NllbTokenizer

>>> from transformers import NllbTokenizer

>>> tokenizer = NllbTokenizer.from_pretrained(
...     "facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")