تمت مساهمة هذا النموذج في Hugging Face Transformers في 2026-10-16.

Beam

نظرة عامة

Beam هو أول نموذج مفتوح الأوزان من Reflection، وهو نموذج لغة من نوع خليط الخبراء المتناثر (MoE) يضم 501 مليار معامل إجمالاً و23 مليار معامل نشط لكل رمز، وقد صُمم لأعباء العمل المتعلقة بالبرمجة والاستدلال والوكلاء. تم تدريبه مسبقاً على 23.8 تريليون رمز، ثم خضع لتدريب لاحق باستخدام التعلم المعزز غير المتزامن على نطاق واسع. نموذج Beam نصي فقط، وهو يستدل قبل كل إجابة. ويتحكم إعداد جهد الاستدلال في قالب المحادثة في مقدار هذا الجهد.

يحتوي Beam على 52 طبقة مُفكِّكة (decoder) ويجمع بين الميزات التالية:

• انتباه هجين منزلق وكامل. تستخدم كل طبقة سادسة والطبقة الأخيرة الانتباه الكامل، بينما تركز الطبقات الأخرى على أحدث sliding_window (512) رمز. يحدد layer_types النمط.
• تطبيق RoPE على الطبقات المنزلقة، وتطبيق NoPE على الطبقات الكاملة. يُفهرس rope_parameters حسب نوع الطبقة، ويُشير None إلى نوع طبقة لا يحتوي على ترميز موضعي. أما طبقات الانتباه الكاملة فتقوم بتوسيع الاستعلامات بدلاً من ذلك (softmax قابل للتوسع): حيث يُضرب الاستعلام الموجود في الموضع n (بدءاً من 1) في (1 + n / 2048) ** 0.1، مما يحافظ على انتباه غير مسطّح مع نمو السياق.
• انتباه مُبوَّب. انتباه الاستعلامات المُجمَّعة مع 48 رأس استعلام و8 رؤوس مفتاح/قيمة، وتطبيع RMSNorm على كل رأس استعلام ومفتاح. بوابة سيجمويد محسوبة من مدخل الانتباه، مع انحياز متعلَّم لكل رأس، تُقيّم مخرجات الانتباه عنصرًا بعنصر قبل الإسقاط النهائي.
• MoE المتناثر. تستخدم الطبقات الثلاث الأولى شبكة عصبية متعددة الطبقات (MLP) كثيفة من نوع SwiGLU، بينما تُوجّه الطبقات الأربع والخمسون المتبقية كل رمز إلى 8 من بين 256 خبيرًا، دون وجود خبير مشترك (حيث يحدد mlp_layer_types النمط). يقوم الموجّه بتقييم الخبراء باستخدام دالة sigmoid، ويوازن الحمل باستخدام انحياز متعلّم لكل خبير بدلاً من خسارة مساعدة، ويقيّد كل رمز بأفضل topk_group من مجموعات الخبراء n_group. تُطبَّع أوزان التوجيه، ويُضرب ناتج MoE في routed_scaling_factor.
• معايير متوسطة مع بقايا مُقيَّمة حسب العمق. يُغلَّف كل كتلة انتباه وكتلة MLP بمعايير RMSNorm قبلها وبعدها. تُعاد مقياسية عمليات الجمع الباقية بحيث، بعد k مساهمة (مع احتساب التضمينات كأول مساهمة)، يكون تدفق البقايا هو مجموعها مقسومًا على sqrt(k).
• تقييد اللوجيت النهائي. يتم تقييد اللوجيتات باستخدام 30 * tanh(logits / 30) (final_logit_softcapping).

تُحسب عملية توسيع RMSNorm، ودالة التنشيط SwiGLU، وRoPE، وتوسيع الاستعلامات، والتوجيه، والقصّ الناعم (softcapping) بدقة FP32 لمطابقة الأرقام التي تم تدريب Beam وتقديم الخدمة بها. وتُحفظ أوزان الموجّه (router) والانحياز الخاص بالخبراء بدقة FP32 عند التحميل، وتكون قيم logits المُعادَة دائمًا بدقة FP32.

يمكنك العثور على جميع نقاط التفتيش الأصلية الخاصة بـ Beam تحت منظمة Reflection.

تمت مساهمة هذا النموذج من قِبل yonigozlan.

أمثلة على الاستخدام

تنسّق قالب المحادثة في Beam المحادثات وفق تنسيق Harmony الخاص بـ Beam، بينما يحلّل قالب الاستجابة النص المولّد ويعيده إلى رسالة تحتوي على حقول thinking وcontent وtool_calls. تولّد الأمثلة أدناه ردّاً باستخدام Pipeline أو فئة AutoModelForCausalLM.

حجم نقطة التفتيش BF16 يبلغ حوالي 1 تيرابايت، لذا تقسم الأمثلة هذا الملف عبر 8 أجهزة، مع وضع خبراء التوجيه الكاملين على كل جهاز باستخدام توازي الخبراء. شغّلها باستخدام torchrun --nproc-per-node 8 <script.py>.

from transformers import DistributedConfig, pipeline

pipe = pipeline(
    task="text-generation",
    model="reflection/Beam-1.0-501B-A23B",
    model_kwargs={"distributed_config": DistributedConfig(tp_size=8, ep_size=8)},
)

messages = [{"role": "user", "content": "Explain in one sentence why the sky is usually blue."}]
output = pipe(messages, max_new_tokens=2048)
reply = output[0]["generated_text"][-1]
print(reply["thinking"])
print(reply["content"])

from transformers import AutoModelForCausalLM, AutoTokenizer, DistributedConfig

model_id = "reflection/Beam-1.0-501B-A23B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, distributed_config=DistributedConfig(tp_size=8, ep_size=8))

messages = [{"role": "user", "content": "Explain in one sentence why the sky is usually blue."}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True, reasoning_effort="low"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=2048)
generated = tokenizer.decode(outputs[0, inputs["input_ids"].shape[1] :])
message = tokenizer.parse_response(generated, prefix=inputs["input_ids"][0])
print(message["thinking"])
print(message["content"])

يُفضَّل استخدام هذا بدلاً من device_map="auto"، الذي يضع طبقات كاملة على كل جهاز، ويشغّلها جهازاً تلو الآخر، وقد يستنفد الذاكرة أثناء التحميل.

عينة توليد باستخدام temperature=0.7 وtop_p=0.99 الموصى بهما من Beam، حيث تُعيّن GenerationConfig الخاصة بالنقطة المرجعية هذه القيم كافتراضية. مرّر do_sample=False لفك الترميز بطريقة طمعانية.

جهد الاستدلال

مرّر reasoning_effort إلى apply_chat_template() للتحكم في مقدار ما يستهلكه Beam من جهد في الاستدلال. يقبل هذا المعامل ميزانية عددية صحيحة أو أحد التسميات أدناه. لم يتم تدريب Beam على جهود أقل من 8، لذا لا تُحترم القيم الأصغر.

عندما لا يتم تعيين reasoning_effort، يستخدم القالب max. إذا نفدت max_new_tokens أثناء الاستدلال، فإن الرسالة المُحلَّلة تحتوي على thinking دون content.

المحادثات متعددة الأدوار

أضِف الرسالة المُحلَّلة إلى السجل كما هي. يتدهور مخرَج Beam في غياب استدلالاته السابقة، والتي يقرأها قالب المحادثة من thinking (يُقبل أيضاً reasoning_content وreasoning). افتراضياً، يُعرض دور المساعد الذي لا يحتوي على استدلال مع كتلة استدلال فارغة. مرِّر allow_missing_thinking=False لرفع خطأ بدلاً من ذلك عند add_generation_prompt=True، وهو ما يُوصى به عند تقديم Beam.

messages.append(message)
messages.append({"role": "user", "content": "And why are sunsets red?"})
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)

استدعاء الأدوات

مرّر tools إلى كلٍّ من apply_chat_template() وparse_response(). عند استخدام tools، تُحوَّل الحُجج المُحلَّلة إلى الأنواع المحددة في مخطط كل أداة؛ أما بدونها، فتكون جميع الحُجج من نوع نص.

def get_weather(city: str):
    """
    Get the current weather in a city.

    Args:
        city: The city name.
    """
    return "Sunny, 22 C"


messages = [{"role": "user", "content": "What's the weather like in Paris right now?"}]
inputs = tokenizer.apply_chat_template(
    messages, tools=[get_weather], add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=2048)
generated = tokenizer.decode(outputs[0, inputs["input_ids"].shape[1] :])
message = tokenizer.parse_response(generated, prefix=inputs["input_ids"][0], tools=[get_weather])
print(message["tool_calls"])
# [{'type': 'function', 'function': {'name': 'get_weather', 'arguments': {'city': 'Paris'}}}]

messages.append(message)
for call in message["tool_calls"]:
    result = get_weather(**call["function"]["arguments"])
    messages.append({"role": "tool", "name": call["function"]["name"], "content": result})

ثم أعد التوليد من messages للحصول على الإجابة النهائية. نداءات الأدوات المُحلَّلة لا تحتوي على id، ويتطابق التنسيق بين النتائج والنداءات حسب الموضع، لذا أعد نتائج الأدوات بنفس ترتيب النداءات. يتوقف التوليد بعد إجابة نهائية (<|return|>) أو نداء أداة (<|call|>)؛ ويذكر generation_config.json كلاهما.

للبث، تُعيد get_response_parser() محلّلًا يمكنك feed() إليه مقاطع النص كما يتم توليدها. راجع تحليل الاستجابة لمزيد من التفاصيل.

ملاحظات

• حُجج القالب. إلى جانب reasoning_effort، يقبل قالب المحادثة model_identity (يحل محل السطر الأول من رسالة النظام)، وbuiltin_tools، وallow_missing_thinking. يجب أن يُسمّي builtin_tools أدوات search وbrowse فقط، وذلك فقط مع التعريفات التي تم تدريب Beam عليها. الأدوات الأخرى تحتاج فقط إلى tools. تُعرض رسائل system وdeveloper فقط في بداية المحادثة.
• التدريب. يحدد قالب المحادثة مخرجات المساعد لـ apply_chat_template(..., return_dict=True, return_assistant_tokens_mask=True)، لذا يتدرب SFTConfig(assistant_only_loss=True) الخاص بـ TRL على رموز المساعد فقط. يغطي القناع استدعاءات الأدوات والإجابة والاستدلال لكل دور من أدوار المساعد.
• لا توجد خسارة مساعدة. يقوم الموجِّه بتوازن عبء الخبراء من خلال انحيازه، لذا لا يحسب BeamForCausalLM أي خسارة لتوازن العبء. لا يزال output_router_logits=True يعيد قيم اللوجيتس الخاصة بالموجِّه.

BeamConfig

>>> from transformers import BeamConfig

>>> # Initializing a Beam configuration
>>> configuration = BeamConfig()

BeamModel

BeamForCausalLM