المعاملات التي تتحكم في طول المخرجات

• max_length (int، اختياري) — يُوصى باستخدام max_new_tokens للتحكم في عدد الرموز التي يولّدها النموذج. أما max_length فقد أُبقيت من أجل التوافق مع الإصدارات السابقة.
• max_new_tokens (int, اختياري) — الحد الأقصى لعدد الرموز التي سيتم توليدها، مع تجاهل عدد الرموز الموجودة في الاستعلام.
• min_length (int، اختياري) — الحد الأدنى لطول التسلسل الذي سيتم توليده. يتوافق مع طول موجه الإدخال + min_new_tokens. يتم تجاوز تأثيره بواسطة min_new_tokens إذا تم ضبطه أيضاً.
• min_new_tokens (int، اختياري) — الحد الأدنى لعدد الرموز التي يجب توليدها، مع تجاهل عدد الرموز الموجودة في الاستعلام.
• early_stopping (bool أو str، اختياري) — يتحكم في شرط التوقف للطرق المعتمدة على الحزم (beam-based methods)، مثل beam-search. يقبل القيم التالية: True، حيث يتوقف التوليد بمجرد وجود num_beams مرشحين مكتملين؛ False، حيث يُطبَّق معيار تقريبي (heuristic) ويتوقف التوليد عندما يصبح من غير المرجح جدًا العثور على مرشحين أفضل؛ "never"، حيث لا تتوقف عملية البحث بالحزم إلا عندما لا يمكن وجود مرشحين أفضل (خوارزمية البحث بالحزم القياسية).
• max_time (float, اختياري) — الحد الأقصى للوقت المسموح به لتنفيذ العملية بالثواني. سيُكمل التوليد المرور الحالي بعد انقضاء الوقت المخصص.
• stop_strings (str أو list[str]، اختياري) — نص أو قائمة نصوص يجب أن تُنهي عملية التوليد إذا أخرجها النموذج.

المعاملات التي تتحكم في استراتيجية التوليد المستخدمة

• do_sample (bool) — ما إذا كان سيتم استخدام العينة أم لا؛ وإلا فسيتم استخدام فك الترميز الجشع.
• num_beams (int، اختياري) — عدد الحزم في بحث الحزم. القيمة 1 تعني عدم استخدام بحث الحزم.
• use_mtp — (bool): ما إذا كان سيتم استخدام التنبؤ متعدد الرموز (MTP) أم لا، في حال دعم النموذج لهذه الميزة.

المعاملات التي تتحكم في ذاكرة التخزين المؤقت

• use_cache (bool) — ما إذا كان يجب على النموذج استخدام انتباهات المفاتيح/القيم الأخيرة السابقة (إذا كان ذلك ينطبق على النموذج) لتسريع فك الترميز.
• cache_implementation (str, اختياري) — اسم فئة الكاش التي سيتم إنشاء مثيل منها في generate, لتسريع فك الترميز. القيم الممكنة هي:
  • "dynamic": DynamicCache
  • "static": StaticCache
  • "offloaded": DynamicCache(offloaded=True)
  • "offloaded_static": StaticCache(offloaded=True)
  • "quantized": QuantizedCache

  إذا لم يُحدَّد أي شيء، سنستخدم ذاكرة التخزين المؤقت الافتراضية للنموذج (والتي غالباً ما تكون DynamicCache). راجع توثيق ذاكرة التخزين المؤقت لدينا لمزيد من المعلومات.

• cache_config (dict، اختياري، القيمة الافتراضية None) — يمكن تمرير الحُجج المستخدمة في فئة ذاكرة التخزين المؤقت للمفاتيح والقيم عبر cache_config.
• max_cache_len (int, اختياري) — يُستخدم فقط مع ذاكات التخزين الثابتة (عند ضبط cache_implementation على "static" أو "offloaded_static"). يحدد حجم ذاكرة التخزين مسبقًا على هذا الطول بدلاً من max_length الخاص بالاستدعاء الحالي. اضبطه مرة واحدة على أكبر استدعاء تتوقعه، بحيث تعيد استدعاءات generate() المتكررة التي تتضمن موجهًا أطول أو قيمة أكبر لـ max_new_tokens (حتى هذا الحد الأقصى) استخدام نفس ذاكرة التخزين بدلاً من تحفيز إعادة تخصيص وإعادة تجميع torch.compile.

معاملات لتلاعب في قيم اللوجيتات الناتجة عن النموذج

• temperature (float، اختياري) — القيمة المستخدمة لتعديل احتمالات الرمز التالي. يتم تعيين هذه القيمة في ملف generation_config.json الخاص بالنموذج. إذا لم يتم تعيينها، فإن القيمة الافتراضية هي 1.0
• top_k (int, اختياري) — عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها لتصفية top-k. يتم تعيين هذه القيمة في ملف generation_config.json الخاص بالنموذج. إذا لم يتم تعيينها، فإن القيمة الافتراضية هي 50.
• top_p (float، اختياري) — إذا تم ضبطه على قيمة float < 1، فسيتم الاحتفاظ فقط بأصغر مجموعة من الرموز الأكثر احتمالاً التي تضاف احتمالاتها لتساوي top_p أو أعلى، وذلك لتوليد النص. يتم ضبط هذه القيمة في ملف generation_config.json الخاص بالنموذج. إذا لم يتم ضبطها، فإن القيمة الافتراضية هي 1.0
• min_p (float, اختياري) — أدنى احتمال للرمز، والذي يُضرب في احتمال الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين 0 و 1. القيم النموذجية تقع في نطاق 0.01-0.2، وهي انتقائية بمقدار يقارب ضبط top_p في نطاق 0.99-0.8 (استخدم القيم المعاكسة لقيم top_p المعتادة).
• top_h (float, اختياري) — عامل تحجيم ميزانية الإنتروبيا، الذي يتحكم في مقدار إنتروبيا التوزيع الذي يُحافظ عليه عند أخذ العينات. يجب أن تكون القيمة بين 0 و 1. في كل خطوة، تُرتَّب الرموز حسب الاحتمال، ويُحتفظ بأصغر بادئة من الرموز تكون إنتروبياها المعاد تطبيعها أقل من أو تساوي top_h مضروبًا في إنتروبيا التوزيع الكامل. تؤدي القيم الأصغر (مثل 0.2–0.5) إلى مخرجات أكثر تركيزًا وحتمية، بينما تسمح القيم الأقرب إلى 1.0 بمزيد من العشوائية والتنوع. القيم النموذجية تقع في نطاق 0.3–0.6.
• typical_p (float, اختياري) — تقيس المحلية النموذجية مدى تشابه الاحتمال الشرطي للتنبؤ بالرمز المستهدف التالي مع الاحتمال الشرطي المتوقع للتنبؤ برمز عشوائي تالٍ، بالنظر إلى النص الجزئي الذي تم توليده بالفعل. إذا تم ضبطه على قيمة float < 1، فسيتم الاحتفاظ بأصغر مجموعة من الرموز الأكثر محلية نموذجية التي تضاف احتمالاتها لتساوي typical_p أو أعلى، وذلك للتوليد. راجع هذا الورقة لمزيد من التفاصيل.
• epsilon_cutoff (float، اختياري) — إذا تم ضبطه على قيمة float تقع بصرامة بين 0 و 1، فسيتم أخذ عينات فقط من الرموز التي تتجاوز احتمالية الشرط epsilon_cutoff. في الورقة البحثية، تتراوح القيم المقترحة بين 3e-4 و 9e-4، اعتمادًا على حجم النموذج. راجع Truncation Sampling as Language Model Desmoothing لمزيد من التفاصيل.
• eta_cutoff (float, اختياري) — تُعدّ عيّنة إيتا (Eta) هجينة بين العيّنة المحلية النموذجية والعيّنة إبسيلون. إذا تم ضبطها على قيمة float تقع بصرامة بين 0 و1، فإن الرمز يُعتبر فقط إذا كان أكبر من eta_cutoff أو sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))). الحدّ الثاني هو الحدّ المتوقع لاحتمالية الرمز التالي، مُقيَّسًا بواسطة sqrt(eta_cutoff). في الورقة البحثية، تتراوح القيم المقترحة بين 3e-4 و2e-3، بحسب حجم النموذج. راجع Truncation Sampling as Language Model Desmoothing لمزيد من التفاصيل.
• repetition_penalty (float، اختياري) — معامل عقوبة التكرار. القيمة 1.0 تعني عدم وجود عقوبة. راجع هذا الورق لمزيد من التفاصيل.
• encoder_repetition_penalty (float, اختياري) — المعامل الخاص بـ encoder_repetition_penalty. عقوبة أُسّية على التسلسلات التي لا توجد في المدخلات الأصلية. القيمة 1.0 تعني عدم وجود عقوبة.
• length_penalty (float, اختياري) — عقوبة أُسّية على الطول تُستخدم مع التوليد القائم على الحزم (beam-based generation). تُطبَّق هذه العقوبة كقوة أُسّية على طول التسلسل، والذي يُستخدم بدوره لقسم درجة التسلسل. وبما أن الدرجة هي الاحتمال اللوغاريتمي للتسلسل (أي أنها سالبة)، فإن length_penalty > 0.0 يشجّع على تسلسلات أطول، بينما length_penalty < 0.0 يشجّع على تسلسلات أقصر.
• no_repeat_ngram_size (int, اختياري) — إذا تم تعيينه إلى int > 0، فلا يمكن أن تظهر جميع ngrams بهذا الحجم إلا مرة واحدة.
• bad_words_ids (list[list[int]]، اختياري) — قائمة من قوائم معرّفات الرموز التي لا يُسمح بتوليدها. راجع NoBadWordsLogitsProcessor للحصول على مزيد من التوثيق والأمثلة.
• renormalize_logits (bool) — ما إذا كان يجب إعادة تطبيع القيم اللوجستية (logits) بعد تطبيق جميع معالجات القيم اللوجستية (بما في ذلك المخصصة). يُوصى بشدة بتعيين هذا العلم إلى True لأن خوارزميات البحث تفترض أن القيم اللوجستية للنتائج مُطبَّعة، لكن بعض معالجات القيم اللوجستية تُخرق هذا التطبيع.
• forced_bos_token_id (int، اختياري، القيمة الافتراضية هي model.config.forced_bos_token_id) — المعرّف الخاص بالرمز الذي يجب إجباره ليكون الرمز الأول المُولَّد بعد decoder_start_token_id. مفيد في النماذج متعددة اللغات مثل mBART حيث يجب أن يكون الرمز الأول المُولَّد هو رمز لغة الهدف.
• forced_eos_token_id (int or list[int], *optional*, defaults to model.config.forced_eos_token_id) -- The id of the token to force as the last generated token when max_length` is reached. Optionally, use a list to set multiple end-of-sequence tokens.
• remove_invalid_values (bool) — ما إذا كان يجب إزالة قيم nan وinf المحتملة الناتجة عن النموذج لمنع طريقة التوليد من التعطّل. يُرجى ملاحظة أنّ استخدام remove_invalid_values قد يُبطئ عملية التوليد.
• exponential_decay_length_penalty (tuple(int, float)، اختياري) — تضيف هذه المجموعة (Tuple) عقوبة طول متزايدة أُسّياً بعد توليد عدد معين من الرموز. يجب أن تتكون المجموعة من: (start_index, decay_factor) حيث يشير start_index إلى نقطة بدء العقوبة، ويمثل decay_factor معامل الاضمحلال الأُسّي.
• suppress_tokens (list[int]، اختياري) — قائمة من الرموز التي سيتم كبتها أثناء التوليد. سيقوم معالج الاحتمالات SuppressTokens بإعداد احتمالاتها اللوغاريتمية إلى -inf بحيث لا يتم اختيارها.
• begin_suppress_tokens (list[int]، اختياري) — قائمة برموز سيتم كبتها في بداية التوليد. سيقوم معالج اللوجيت SuppressBeginTokens بإعداد احتمالات اللوج الخاصة بها إلى -inf حتى لا يتم اختيارها.
• sequence_bias (dict[tuple[int], float], اختياري) — قاموس يربط تسلسلًا من الرموز (tokens) بحده الانحياز (bias term). تزيد الانحيازات الموجبة من احتمالية اختيار التسلسل، بينما تفعل الانحيازات السالبة العكس. راجع SequenceBiasLogitsProcessor للحصول على مزيد من التوثيق والأمثلة.
• token_healing (bool) — إصلاح الرموز النهائية للموجّهات عن طريق استبدالها بامتداداتها المناسبة. يعزز هذا جودة الإكمالات للموجّهات المتأثرة بتحيز الترميز الجشع.
• guidance_scale (float، اختياري) — مقياس التوجيه للتوجيه الحر من التصنيف (CFG). يتم تفعيل CFG عن طريق تعيين guidance_scale > 1. تشجيع مقياس توجيه أعلى يدفع النموذج إلى توليد عينات أكثر ارتباطًا بالموجّه المُدخل، وعادةً على حساب جودة أدنى.
• watermarking_config (BaseWatermarkingConfig أو dict، اختياري) — الحجج المستخدمة لإضافة علامة مائية إلى مخرجات النموذج عن طريق إضافة انحياز صغير إلى مجموعة عشوائية محددة من الرموز "الخضراء". راجع توثيق SynthIDTextWatermarkingConfig وWatermarkingConfig لمزيد من التفاصيل. إذا تم تمريره على شكل Dict، فسيتم تحويله داخليًا إلى WatermarkingConfig.

المعاملات التي تُعرّف متغيرات الإخراج الخاصة بـ generate

• num_return_sequences (int, اختياري) — عدد التسلسلات المستقلة المحسوبة والمُعاد إرجاعها لكل عنصر في الدفعة.
• output_attentions (bool) — ما إذا كان يجب إرجاع تينسورات الانتباه لطبقات الانتباه جميعها أم لا. راجع attentions ضمن التينسورات المُرجعة لمزيد من التفاصيل.
• output_hidden_states (bool) — ما إذا كان يجب إرجاع حالات الإخفاء (hidden states) لجميع الطبقات. راجع hidden_states ضمن الموترات المُرجعة لمزيد من التفاصيل.
• output_scores (bool) — ما إذا كان يجب إرجاع درجات التنبؤ أم لا. راجع scores ضمن الموترات المُرجعة لمزيد من التفاصيل.
• output_logits (bool) — ما إذا كان يجب إرجاع درجات التنبؤ اللوجستية (logit) غير المعالجة أم لا. راجع logits ضمن المصفوفات المُرجعة لمزيد من التفاصيل.
• return_dict_in_generate (bool) — ما إذا كان يجب إرجاع ModelOutput أم إرجاع التسلسل المولَّد فقط. يجب ضبط هذا العلم على True لإرجاع ذاكرة التخزين المؤقت للتوليد (عندما يكون use_cache هو True) أو المخرجات الاختيارية (انظر الأعلام التي تبدأ بـoutput_)

رموز خاصة يمكن استخدامها أثناء التوليد

• pad_token_id (int, اختياري) — المعرّف الخاص برموز الحشو.
• bos_token_id (int, اختياري) — المعرّف الخاص برمz بداية التسلسل.
• eos_token_id (Union[int, list[int]], اختياري) — المعرّف الخاص برموز نهاية التسلسل. يمكن اختيارياً استخدام قائمة لتحديد عدة رموز نهاية التسلسل.

معاملات التوليد الحصرية لنماذج المُشفِّر-المُفكِّك

• encoder_no_repeat_ngram_size (int, اختياري) — إذا تم تعيينه إلى int > 0، فلا يمكن أن تظهر جميع ngrams من ذلك الحجم التي توجد في encoder_input_ids في decoder_input_ids.
• decoder_start_token_id (int أو list[int]، اختياري) — إذا بدأ نموذج المُشفِّر-المُفكِّك عملية فك التشفير برمز مختلف عن bos، فيُستخدم معرّف ذلك الرمز أو قائمة بطول batch_size. يُتيح استخدام قائمة تحديد معرّفات بداية مختلفة لكل عنصر في الدفعة (مثلًا، النماذج متعددة اللغات التي تحتوي على لغات هدف مختلفة في دفعة واحدة)

معاملات التوليد الحصرية لتوليد المساعد

• is_assistant (bool) — ما إذا كان النموذج نموذجًا مساعدًا (مسودة).
• num_assistant_tokens (int, اختياري) — يحدد عدد الرموز التخمينية التي يجب أن يولدها نموذج المساعد قبل أن يفحصها النموذج المستهدف في كل تكرار. تزيد القيم الأعلى لـ num_assistant_tokens من التخمينية في عملية التوليد: إذا كان نموذج المساعد ذا أداء عالٍ، يمكن تحقيق تسارعات أكبر، أما إذا احتاج نموذج المساعد إلى تصحيحات كثيرة، فإن التسارعات المحققة ستكون أقل.
• num_assistant_tokens_schedule (str, اختياري) — يحدد الجدول الزمني لتغيير الحد الأقصى لعدد رموز المساعد أثناء الاستدلال.
  • "heuristic": عندما تكون جميع الرموز التخمينية صحيحة، يُزاد num_assistant_tokens بمقدار 2، وإلا يُنقص بمقدار 1. قيمة num_assistant_tokens تبقى ثابتة عبر عدة استدعاءات للتوليد باستخدام نفس نموذج المساعد.
  • "heuristic_transient": مماثل لـ "heuristic" لكن num_assistant_tokens يُعاد ضبطه إلى قيمته الأولية بعد كل استدعاء للتوليد.
  • "constant": يبقى num_assistant_tokens دون تغيير أثناء التوليد
• assistant_confidence_threshold (float، اختياري) — حد الثقة لنموذج المساعد. إذا كانت ثقة نموذج المساعد في توقعه للرمز الحالي أقل من هذا الحد، يتوقف نموذج المساعد عن تكرار توليد الرمز الحالي، حتى لو لم يتم بعد الوصول إلى عدد الرموز التخمينية (المعرّف بواسطة num_assistant_tokens). يتم ضبط حد ثقة المساعد على مدار التكرارات التخمينية لتقليل عدد عمليات المرور الأمامي غير الضرورية للمسودة والهدف، مع ميل لتجنب السلبات الخاطئة. قيمة assistant_confidence_threshold دائمة عبر عدة استدعاءات للتوليد باستخدام نفس نموذج المساعد. إنه نسخة غير مُشرَفة من الاستباق الديناميكي للنظر إلى الأمام من Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models https://huggingface.co/papers/2405.04304.
• prompt_lookup_num_tokens (int، اختياري) — عدد الرموز التي سيتم إخراجها كرموز مرشحة.
• max_matching_ngram_size (int، اختياري) — أقصى حجم لـ ngram يُؤخذ في الاعتبار عند المطابقة في الاستدعاء. القيمة الافتراضية هي 2 إذا لم يُحدد.
• assistant_early_exit(int, optional) — إذا تم تعيينه إلى عدد صحيح موجب، فسيتم استخدام الخروج المبكر للنموذج كمساعد. يمكن استخدامه فقط مع النماذج التي تدعم الخروج المبكر (أي النماذج التي يمكن تفسير logits من الطبقات الوسيطة بواسطة رأس LM).
• assistant_lookbehind(int, اختياري) — إذا تم تعيينه إلى عدد صحيح موجب، فإن عملية إعادة الترميز ستأخذ في الاعتبار أيضًا آخر assistant_lookbehind من رموز المساعد لمحاذاة الرموز بشكل صحيح. يمكن استخدامه فقط مع مُرمّزات مختلفة في فك التشفير التخميني. راجع هذا المدونة لمزيد من التفاصيل.
• target_lookbehind(int, اختياري) — إذا تم تعيينه إلى عدد صحيح موجب، فإن عملية الترميز التكراري ستأخذ في الاعتبار أيضًا آخر target_lookbehind من رموز الهدف لمحاذاة الرموز بشكل صحيح. لا يمكن استخدامه إلا مع مُرمّزات مختلفة في فك التشفير التخميني. راجع هذا المدونة لمزيد من التفاصيل.
• assistant_ensemble_weight (float, اختياري) — يُفعّل التحقق من التجميع الثابت في فك التشفير التخميني. إذا تم تعيينه إلى قيمة ضمن (0.0, 1.0)، يقبل المُتحقِّق الرموز مقابل الخليط w * p_target + (1 - w) * q_draft بدلاً من p_target، مما يقدّم انحيازاً توزيعياً مُتحكَّماً فيه مقابل معدل قبول أعلى. القيمة الافتراضية هي None، مما يحافظ على فك التشفير دون فقدان. يتطلب أن تُعيد نموذج المساعد القيم اللوغاريتمية (logits)، لذا فهو غير متوافق مع فك التشفير عبر البحث في الاستدعاء (prompt lookup decoding).
• speculation_type (str، اختياري) — نوع التخمين المطلوب. القيم المقبولة هي dflash.

المعاملات المتعلقة بالأداء والتجميع

• compile_config (CompileConfig، اختياري) — عند استخدام ذاكرة تخزين مؤقتة قابلة للتجميع، يتحكم هذا في كيفية قيام generate بتجميع compile المرور الأمامي للحصول على استدلال أسرع.
• disable_compile (bool) — ما إذا كان سيتم تعطيل التجميع التلقائي لمرور الأمامي. يحدث التجميع التلقائي عند استيفاء معايير محددة، بما في ذلك استخدام ذاكرة تخزين مؤقت قابلة للتجميع. يرجى فتح مشكلة إذا وجدتَ حاجةً لاستخدام هذا العلم.