# Falcon3

## نظرة عامة

يمثل [Falcon3](https://falconllm.tii.ae/falcon3/index.html) تطورًا طبيعيًا عن الإصدارات السابقة، مع التركيز على توسيع قدرات النماذج في العلوم والرياضيات والبرمجة. تتضمن هذه النسخة خمسة نماذج أساسية: Falcon3-1B-Base وFalcon3-3B-Base وFalcon3-Mamba-7B-Base وFalcon3-7B-Base وFalcon3-10B-Base. أثناء تطوير هذه النماذج، قمنا بتضمين عدة ابتكارات رئيسية تهدف إلى تحسين أداء النماذج مع تقليل تكاليف التدريب:

تدريب مسبق واحد: أجرينا عملية تدريب مسبق واسعة النطاق واحدة على نموذج 7B، باستخدام 2048 من شرائح GPU من نوع H100، مع الاستفادة من 14 تريليون رمز تتضمن بيانات من الويب، والكود، وعلوم STEM، وبيانات عالية الجودة ومنسّقة ومتعددة اللغات. توسيع العمق لتحسين الاستدلال: بناءً على دراسات حديثة حول تأثير عمق النموذج، قمنا بتوسيع نموذج 7B ليصبح نموذجًا بـ 10B من المعلمات من خلال تكرار الطبقات الزائدة عن الحاجة، ومواصلة التدريب المسبق باستخدام 2 تريليون رمز من البيانات عالية الجودة. وقد أدى ذلك إلى Falcon3-10B-Base الذي يحقق أداءً رائدًا في مهام zero-shot وfew-shot للنماذج التي تقل معلماتها عن 13B. تقطير المعرفة للحصول على نماذج صغيرة أفضل: لتوفير بدائل مدمجة وفعالة، طورنا Falcon3-1B-Base وFalcon3-3B-Base بالاستفادة من تقنيات التقليم وتقطير المعرفة، باستخدام أقل من 100 تريليون رمز من البيانات عالية الجودة والمنسّقة، مما يعيد تعريف كفاءة التدريب المسبق.

## الموارد

- [منشور مدونة](https://huggingface.co/blog/falcon3)
- [النماذج على Huggingface](https://huggingface.co/collections/tiiuae/falcon3-67605ae03578be86e4e87026)