Transformers documentation
BERTweet
نُشر هذا النموذج في أوراق HF في 2020-05-20 وسُهم به في Hugging Face Transformers في 2020-11-16.
BERTweet
BERTweet
يتشارك BERTweet نفس البنية المعمارية مع BERT-base، لكنه مُدرَّب مسبقًا على شكل RoBERTa على تغريدات باللغة الإنجليزية. وهو يُظهر أداءً ممتازًا في المهام المتعلقة بالتغريدات مثل وسم أجزاء الكلام، والتعرف على الكيانات المسمّاة، وتصنيف النصوص.
يمكنك العثور على جميع نقاط التفتيش الأصلية لـ BERTweet تحت منظمة VinAI Research.
راجع وثائق BERT لمزيد من الأمثلة حول كيفية تطبيق BERTweet على مهام لغوية مختلفة.
يُبيّن المثال أدناه كيفية التنبؤ بالرمز <mask> باستخدام Pipeline وAutoModel ومن سطر الأوامر.
from transformers import pipeline
pipeline = pipeline(
task="fill-mask",
model="vinai/bertweet-base",
device=0
)
pipeline("Plants create <mask> through a process known as photosynthesis.")import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
"vinai/bertweet-base",
)
model = AutoModelForMaskedLM.from_pretrained(
"vinai/bertweet-base",
device_map="auto"
)
inputs = tokenizer("Plants create <mask> through a process known as photosynthesis.", return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
predictions = outputs.logits
masked_index = torch.where(inputs['input_ids'] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_index].argmax(dim=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print(f"The predicted token is: {predicted_token}")ملاحظات
- استخدم AutoTokenizer أو BertweetTokenizer لأنه مُحمّل مسبقاً بمفردات مخصصة مُكيّفة مع الرموز المميزة للتغريدات مثل الهاشتاقات (#) والإشارات (@) والإيموجي والاختصارات الشائعة. تأكد أيضاً من تثبيت مكتبة emoji.
- يجب ملء المدخلات على اليمين (
padding="max_length") لأن BERT يستخدم تضمينات الموضع المطلق.
BertweetTokenizer
فئة transformers.BertweetTokenizer
< source >( vocab_filemerges_filenormalization = Falsebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'**kwargs )
المعاملات
- vocab_file (
str) — مسار ملف المفردات. - merges_file (
str) — مسار ملف الدمج. - normalization (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم تطبيق معالجة مسبقة للتطبيع أم لا. - bos_token (
str, اختياري, الافتراضي هو"<s>") — رمز بداية التسلسل الذي تم استخدامه أثناء التدريب المسبق. يمكن استخدامه كرمز لتصنيف التسلسل. عند بناء تسلسل باستخدام الرموز الخاصة، لا يُستخدم هذا الرمز لبداية التسلسل، بل يُستخدم رمز cls_token.عند بناء تسلسل باستخدام الرموز الخاصة، لا يُستخدم هذا الرمز لبدء التسلسل. الرمز المستخدم هو
cls_token. - eos_token (
str, اختياري, الافتراضي هو"</s>") — رمز نهاية التسلسل. عند بناء تسلسل باستخدام الرموز الخاصة، لا يُستخدم هذا الرمز لنهاية التسلسل، بل يُستخدم رمز الفاصل (sep_token) لهذا الغرض.عند بناء تسلسل باستخدام الرموز الخاصة، لا يُستخدم هذا الرمز لنهاية التسلسل. الرمز المستخدم هو
sep_token. - sep_token (
str، اختياري، القيمة الافتراضية"</s>") — رمز الفاصل، الذي يُستخدم عند بناء تسلسل من عدة تسلسلات، على سبيل المثال تسلسلان لتصنيف التسلسل أو نص وسؤال للإجابة على الأسئلة. كما يُستخدم كآخر رمز في تسلسل مبني باستخدام الرموز الخاصة. - cls_token (
str، اختياري، القيمة الافتراضية"<s>") — رمز التصنيف الذي يُستخدم عند إجراء تصنيف التسلسل (تصنيف التسلسل بأكمله بدلاً من التصنيف لكل رمز على حدة). وهو الرمز الأول في التسلسل عند بناؤه باستخدام الرموز الخاصة. - unk_token (
str، اختياري، القيمة الافتراضية"<unk>") — رمز المجهول. لا يمكن تحويل الرمز غير الموجود في المفردات إلى معرّف، لذا يُعيَّن هذا الرمز بدلاً منه. - pad_token (
str، اختياري، القيمة الافتراضية"<pad>") — الرمز المستخدم للتعبئة، على سبيل المثال عند تجميع تسلسلات ذات أطوال مختلفة. - mask_token (
str، اختياري، القيمة الافتراضية"<mask>") — الرمز المستخدم لإخفاء القيم. هذا هو الرمز المستخدم عند تدريب هذا النموذج باستخدام نمذجة اللغة المقنّعة. وهو الرمز الذي سيحاول النموذج التنبؤ به.
ينشئ مُجزِّئ BERTweet باستخدام ترميز زوج البايت.
يرث هذا المُجزِّئ من PreTrainedTokenizer الذي يحتوي على معظم الطرق الرئيسية. ينبغي للمستخدمين الرجوع إلى هذه الفئة الأصلية لمزيد من المعلومات حول تلك الطرق.
يحمّل قاموسًا موجودًا مسبقًا من ملف نصي ويضيف رموزه إلى هذه النسخة.
يحوّل تسلسل الرموز (نص) إلى نص واحد.
تطبيع الرموز في تغريدة
تطبيع تغريدة خام
احفظ ملفي المفردات والدمج في مجلد.