| --- |
| license: cc-by-nc-4.0 |
| gated: true |
| extra_gated_heading: "Accept the CC BY-NC 4.0 license" |
| extra_gated_description: "Access is granted automatically after you accept the license terms." |
| extra_gated_button_content: "Accept license" |
| extra_gated_prompt: "By requesting access, you agree to use and share these weights only under the CC BY-NC 4.0 terms. Commercial use is not permitted." |
| extra_gated_fields: |
| "I accept the CC BY-NC license terms and understand commercial use is not permitted": checkbox |
| language: |
| - ar |
| - en |
| library_name: transformers |
| pipeline_tag: text-generation |
| tags: |
| - arabic |
| - english |
| - base-model |
| - fine-tuning |
| --- |
| |
| # Operator 1B |
|
|
| **الناشر:** محمد الهاجري (Cultureyes) |
| **Publisher:** Mohamed Al Hajeri (Cultureyes) |
|
|
| ## من هنا أبدأ |
|
|
| تعلمنا من قيادتنا أن نستشرف المستقبل، وأن نواجه التحديات بثبات، وأن نبني بأيدينا ما نطمح إليه. كبرنا ونحن نؤمن بأن الظروف الصعبة ليست سببًا لانتظار طريق أسهل؛ بل دافعٌ لنبدأ بما نملك ونواصل العمل. من هذا الإيمان أبني من الإمارات. بدأت أتعلم وأبني بنية الذكاء الاصطناعي من الصفر؛ إذ أرى أن السيادة في هذا المجال لا تكتمل من دون امتلاك بنيته التحتية وتصميمها منذ البداية لتواكب النمو والتوسع. وتشمل مشاريعي نماذج ذكاء اصطناعي، ونظامًا وكيليًا، ومحركًا للاستدلال، وأدوات للتقييم، ومشاريع تتيح للآخرين التجربة والبناء. لكل مشروع غايته، لكنها تنطلق من روح واحدة: أن نبدأ، ونتعلم، ونتشارك ما نبنيه. |
|
|
| ## Building from here |
|
|
| Our leadership taught us to look ahead, face challenges with resolve, and build with our own hands. We grew up believing difficult circumstances are no reason to wait for an easier path; they are a reason to begin with what we have and keep working. From that belief, I’m building from the UAE. I began learning and building AI infrastructure from scratch because, in my view, there can be no AI sovereignty without owning that infrastructure and designing it to scale from the outset. My work includes AI models, an agentic operating system, an inference engine, evaluation tools, and projects that make room for others to experiment and build, too. Each has its own purpose, but they share one spirit: begin, learn, and share what we build. |
|
|
| > “To advance and learn while preserving our traditions and not losing sight of them.” — President Sheikh Mohamed bin Zayed, as reported by [The National](https://www.thenationalnews.com/news/uae/2024/05/29/president-sheikh-mohamed-concludes-important-visit-to-south-korea/) |
|
|
| That balance is the spirit I bring to this release: an Emirati conversation can reach nanotechnology, space and artificial intelligence, then return to the desert, firewood and coffee. President Sheikh Mohamed bin Zayed called this “the true Emirati.” I also hold close the message, recalled at the Union Parade, that “all tribes in the UAE are one tribe” ([The National](https://www.thenationalnews.com/news/uae/2024/12/07/we-are-one-tribe-emiratis-celebrate-uae-culture-and-tradition-at-annual-union-parade/)). |
|
|
| I’m releasing Operator 1B during UAE Innovates 2026 as my own contribution to enabling the UAE’s AI future. Built through the HajeriLM family and published by Cultureyes, it gives the next builder three points to inspect, continue training from, or fine-tune. I hope this work helps make it easier for more people here to shape what comes next. |
|
|
| ## Three checkpoints to build from |
|
|
| | Revision | Stage | Checkpoint | |
| | --- | --- | --- | |
| | `main` | Base model | U30,000, about 35.5B tokens seen | |
| | `u15600` | Earlier base model | U15,600, about 17.9B tokens seen | |
| | `sft1-u3000` | First supervised fine-tuning checkpoint | SFT update 3,000 | |
|
|
| The U30,000 and U15,600 revisions are base-model checkpoints. The SFT revision is a separate training stage; choose it when you want to continue from that SFT state. These are 1B-family checkpoints, not the separate [Operator 4B](https://huggingface.co/CULUREYES-stack/Operator-4B) model. |
|
|
| Each revision includes its matching tokenizer. U30,000 and U15,600 share the base tokenizer. SFT U3000 uses a same-size tokenizer with 188 vocabulary entries changed from the base tokenizer; shared tokens keep their IDs. Load the tokenizer from the same revision as the weights. |
|
|
| ## Architecture |
|
|
| - 1.136B parameters; 32 layers; hidden size 1,024 |
| - 8 query heads and 1 key/value head |
| - 253,595-token Arabic-English tokenizer with byte fallback |
| - 32,768 configured context positions |
| - RoPE theta 10,000; attention gates disabled |
| - Mixed BF16/FP32 saved weights |
|
|
| The 1B configuration reflects the original model at this stage. It does not use the later 4B model's RoPE theta or gated-attention settings. |
|
|
| ## Load and continue training |
|
|
| The Transformers wrapper accepts `labels` and returns shifted causal language-model loss. The base model can be used for continued pretraining or supervised fine-tuning; select the SFT revision to continue from SFT U3000. |
|
|
| ```python |
| from transformers import AutoModelForCausalLM, AutoTokenizer |
| |
| repo = "CULUREYES-stack/Operator-1B" |
| revision = "main" # choose "u15600" or "sft1-u3000" to select another checkpoint |
| tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision, trust_remote_code=True) |
| model = AutoModelForCausalLM.from_pretrained(repo, revision=revision, trust_remote_code=True) |
| ``` |
|
|
| For causal fine-tuning, pass `input_ids`, `attention_mask`, and `labels`; mask prompt and padding positions in `labels` with `-100`. The model shifts labels internally. Set `use_cache=False` while training. |
|
|
| This repository supplies the model and tokenizer. Choose your own dataset, objective, optimizer, and training setup. Check the license before using or redistributing model derivatives. |
|
|
| ## العربية |
|
|
| > «أن نتقدم ونتعلم مع الحفاظ على تقاليدنا وألا نغفل عنها» — صاحب السمو الشيخ محمد بن زايد آل نهيان، وفق ما نقلته [صحيفة وطنية](https://www.thenationalnews.com/news/uae/2024/05/29/president-sheikh-mohamed-concludes-important-visit-to-south-korea/). |
|
|
| هذه الموازنة هي الروح التي أضعها في هذا الإصدار: يتحدث الإماراتي عن التقنية والفضاء والذكاء الاصطناعي، ويحافظ في الوقت نفسه على صلته بالبر والحطب والقهوة. وقد وصف صاحب السمو الشيخ محمد بن زايد ذلك بأنه «الإماراتي الحقيقي». كما أستحضر الرسالة التي نقلها أحد المشاركين في مسيرة الاتحاد: «كل القبائل في الإمارات قبيلة واحدة» ([التغطية الصحفية لمسيرة الاتحاد](https://www.thenationalnews.com/news/uae/2024/12/07/we-are-one-tribe-emiratis-celebrate-uae-culture-and-tradition-at-annual-union-parade/)). |
|
|
| أُصدر هذا النموذج خلال الإمارات تبتكر 2026 بوصفه مساهمتي الشخصية في تمكين مستقبل الذكاء الاصطناعي في الإمارات. بنيته ضمن عائلة نماذج أعمل عليها، وأتيح ثلاث نقاط تدريب تُمكّن المطورين من فحص تطوره أو مواصلة التدريب أو تخصيصه. آمل أن يساعد هذا العمل على توسيع مشاركة المزيد من الناس هنا في رسم ما يأتي لاحقاً. ويتوفر أيضاً [إصدار أكبر من العائلة](https://huggingface.co/CULUREYES-stack/Operator-4B). |
|
|
| ### ثلاث نقاط للبناء عليها |
|
|
| | الفرع | المرحلة | نقطة الحفظ | |
| | --- | --- | --- | |
| | `main` | النموذج الأساسي | التحديث 30,000، بعد مشاهدة نحو 35.5 مليار رمز | |
| | `u15600` | نقطة أسبق من النموذج الأساسي | التحديث 15,600، بعد مشاهدة نحو 17.9 مليار رمز | |
| | `sft1-u3000` | أول نقطة بعد الضبط الدقيق بإشراف | نقطة التدريب 3,000 | |
|
|
| تتضمن النقطتان الأوليان من الجدول أوزان النموذج الأساسي، أما النقطة الثالثة فهي مرحلة تدريب منفصلة بعد الضبط الدقيق. يضم كل فرع مقسّم الرموز المطابق لأوزانه. يشترك الفرعان الأساسيان في المقسّم نفسه، بينما يستخدم فرع الضبط الدقيق مقسّماً يختلف في 188 مدخلاً من أصل 253,595، مع ثبات معرّفات الرموز المشتركة. حمّل مقسّم الرموز من الفرع نفسه الذي تحمّل منه الأوزان. |
|
|
| يتكوّن النموذج من 1.136 مليار معامل و32 طبقة، وبُعد مخفي قدره 1,024، مع 8 رؤوس للاستعلام ورأس واحد للمفتاح والقيمة. يضم مقسّم الرموز العربي والإنجليزي 253,595 رمزاً، مع احتياط للبايتات. والسياق مضبوط على 32,768 موضعاً. يستخدم النموذج الترميز الموضعي الدوراني بقيمة 10,000، ولا يتضمن بوابات انتباه. الأوزان المحفوظة مزيج من صيغتي دقة مختلفتين. |
|
|
| صيغتا الدقة: `BF16` و`FP32`. |
|
|
| تعكس هذه الإعدادات المرحلة الأصلية للنموذج. وهي تختلف عن إعدادات الإصدار الأكبر التي أضيفت لاحقاً. يقبل النموذج تسميات التدريب ويحسب خسارة اللغة السببية بعد إزاحتها. لمواصلة التدريب أو تخصيص النموذج، اختر نقطة الحفظ المناسبة، واجعل مواضع الموجهات والحشو خارج حساب الخسارة. المثال البرمجي في القسم الإنجليزي يوضح أسماء المدخلات المطلوبة. |
|
|
| ## License |
|
|
| CC BY-NC 4.0. Commercial use is not permitted under this license. Review the license before using, adapting, or redistributing the model. |
|
|
| ## الترخيص |
|
|
| يصدر هذا النموذج بموجب ترخيص المشاع الإبداعي: النسب إلى المؤلف، والاستخدام غير التجاري، الإصدار الرابع. يسمح الترخيص بالاستخدام والمشاركة والتعديل مع الإسناد لأغراض غير تجارية، ولا يسمح بالاستخدام التجاري. [اقرأ نص الترخيص الرسمي](https://creativecommons.org/licenses/by-nc/4.0/). |
|
|
| ## شكر وتقدير |
|
|
| أتقدم بالشكر إلى [AWS Cloud (@awscloud)](https://x.com/awscloud) على أرصدة الحوسبة السحابية التي ساعدتني على مواصلة هذا العمل، وإلى [NVIDIA Inception](https://www.nvidia.com/en-us/startups/) على ما يقدمه البرنامج من موارد ودعم للمبتكرين في الذكاء الاصطناعي. وأقدّر ما أتاحه لي ذلك من فرصة لمواصلة البناء باستقلالية من دولة الإمارات. |
|
|
| ## Acknowledgements |
|
|
| My thanks go to [AWS Cloud (@awscloud)](https://x.com/awscloud) for the cloud credits that helped me continue this work, and to [NVIDIA Inception](https://www.nvidia.com/en-us/startups/) for its resources and support for AI innovators. I’m grateful for the opportunity to keep building independently from the UAE. |
|
|
