MAXENITH-32B / README.md
Maxenith's picture
Upload README.md with huggingface_hub
3e9c9c4 verified
|
Raw History Blame Contribute Delete
5.89 kB
---
language:
- en
- ar
license: apache-2.0
library_name: transformers
tags:
- maxenith
- language-model
- reasoning
- coding
- agent
- arabic
---
# MAXENITH 32B / ماكسينيث 32B
## 🇬🇧 English
**MAXENITH 32B** is a 32-billion-parameter language model developed by the **Maxenith** organization.
It is an advanced causal language model designed with a strong focus on deep reasoning, structured problem-solving, and agent-oriented capabilities.
### Model Overview
| Property | Value |
| :--- | :--- |
| **Model** | MAXENITH 32B |
| **Parameter Count** | 32B |
| **Architecture** | Dense Transformer |
| **Languages** | Arabic, English |
| **Model Type** | Causal Language Model |
| **Primary Focus** | Reasoning, Coding, Agent Systems |
| **Framework** | PyTorch / Transformers |
### Development
The development process includes:
- **Reasoning**: Extensive training and refinement for multi-step mathematical and logical problem-solving.
- **GRPO**: Implementation of Group Relative Policy Optimization for self-verification and error correction.
- **Coding**: Advanced fine-tuning focused on programming, clean code generation, and software engineering principles.
- **Agent Capabilities**: Structured JSON outputs and tool-oriented interaction for API usage.
- **Recurrent Depth**: Architectural modifications to explore additional computational depth during inference (Latent Space).
### Usage (Standard)
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "Maxenith/MAXENITH-32B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
messages = [
{"role": "system", "content": "You are Max from Maxenith."},
{"role": "user", "content": "Explain how neural networks learn."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
outputs = model.generate(inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))
```
### Usage (4-bit Quantization for lower VRAM)
To run the model on GPUs with 24GB VRAM or less, use 4-bit quantization:
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
model_id = "Maxenith/MAXENITH-32B"
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
quantization_config=bnb_config,
device_map="auto"
)
```
### Limitations
Model performance depends on the task, prompt, inference configuration, and available computational resources. Reasoning accuracy, factual reliability, and coding performance should be evaluated through independent benchmarks. No guarantee of hallucination-free outputs is made.
### License
This model is released under the **Apache 2.0** license.
---
## 🇸🇦 العربية
**ماكسينيث 32B (MAXENITH 32B)** هو نموذج لغوي يضم 32 مليار معامل (Parameter)، تم تطويره بالكامل بواسطة منظمة **Maxenith**.
هو نموذج متقدم مصمم بتركيز قوي على الاستدلال العميق، حل المشكلات المنظم، والقدرات الموجهة للوكلاء الأذكياء (Agents).
### نظرة عامة على النموذج
| الخاصية | القيمة |
| :--- | :--- |
| **النموذج** | MAXENITH 32B |
| **عدد المعاملات** | 32 مليار |
| **البنية** | Dense Transformer |
| **اللغات** | العربية، الإنجليزية |
| **نوع النموذج** | نموذج لغوي سببي (Causal LM) |
| **التركيز الأساسي** | الاستدلال، البرمجة، أنظمة الوكلاء |
| **إطار العمل** | PyTorch / Transformers |
### عملية التطوير
تتضمن عملية التطوير ما يلي:
- **الاستدلال (Reasoning)**: تدريب مكثف لتحسين قدرات حل المشكلات الرياضية والمنطقية متعددة الخطوات.
- **التعلم المعزز (GRPO)**: تطبيق تقنية تحسين السياسة النسبية الجماعية للتحقق الذاتي وتصحيح الأخطاء.
- **البرمجة (Coding)**: ضبط دقيق متقدم يركز على كتابة الأكواد النظيفة وهندسة البرمجيات.
- **قدرات الوكيل (Agent)**: إخراج منظم بصيغة JSON والتفاعل الموجه للأدوات لاستخدام واجهات برمجة التطبيقات (APIs).
- **العمق المتكرر (Recurrent Depth)**: تعديلات معمارية لاستكشاف عمق حسابي إضافي أثناء التفكير (الفضاء الكامن).
### القيود
يعتمد أداء النموذج على المهمة، ونوع المطالبة (Prompt)، وإعدادات التشغيل، والموارد الحسابية المتاحة. يجب تقييم دقة الاستدلال والموثوقية البرمجية من خلال اختبارات مستقلة. لا يوجد ضمان لخلو المخرجات من الهلوسة (Hallucinations).
### الترخيص
تم إصدار هذا النموذج بموجب ترخيص **Apache 2.0**.
---
### عن منظمة Maxenith
Maxenith هي منظمة مستقلة لتطوير الذكاء الاصطناعي تركز على النماذج اللغوية، معماريات الاستدلال، تحسين النماذج، والأنظمة الذكية. يجمع عملها بين تطوير النماذج الأساسية والأساليب التدريبية والمعمارية التجريبية.