File size: 5,893 Bytes
3e9c9c4
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
---
language:
- en
- ar
license: apache-2.0
library_name: transformers
tags:
- maxenith
- language-model
- reasoning
- coding
- agent
- arabic
---

# MAXENITH 32B / ماكسينيث 32B

## 🇬🇧 English

**MAXENITH 32B** is a 32-billion-parameter language model developed by the **Maxenith** organization. 
It is an advanced causal language model designed with a strong focus on deep reasoning, structured problem-solving, and agent-oriented capabilities.

### Model Overview
| Property | Value |
| :--- | :--- |
| **Model** | MAXENITH 32B |
| **Parameter Count** | 32B |
| **Architecture** | Dense Transformer |
| **Languages** | Arabic, English |
| **Model Type** | Causal Language Model |
| **Primary Focus** | Reasoning, Coding, Agent Systems |
| **Framework** | PyTorch / Transformers |

### Development
The development process includes:
- **Reasoning**: Extensive training and refinement for multi-step mathematical and logical problem-solving.
- **GRPO**: Implementation of Group Relative Policy Optimization for self-verification and error correction.
- **Coding**: Advanced fine-tuning focused on programming, clean code generation, and software engineering principles.
- **Agent Capabilities**: Structured JSON outputs and tool-oriented interaction for API usage.
- **Recurrent Depth**: Architectural modifications to explore additional computational depth during inference (Latent Space).

### Usage (Standard)
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Maxenith/MAXENITH-32B"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [
    {"role": "system", "content": "You are Max from Maxenith."},
    {"role": "user", "content": "Explain how neural networks learn."}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
outputs = model.generate(inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))
```

### Usage (4-bit Quantization for lower VRAM)
To run the model on GPUs with 24GB VRAM or less, use 4-bit quantization:
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_id = "Maxenith/MAXENITH-32B"
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    quantization_config=bnb_config, 
    device_map="auto"
)
```

### Limitations
Model performance depends on the task, prompt, inference configuration, and available computational resources. Reasoning accuracy, factual reliability, and coding performance should be evaluated through independent benchmarks. No guarantee of hallucination-free outputs is made.

### License
This model is released under the **Apache 2.0** license.

---

## 🇸🇦 العربية

**ماكسينيث 32B (MAXENITH 32B)** هو نموذج لغوي يضم 32 مليار معامل (Parameter)، تم تطويره بالكامل بواسطة منظمة **Maxenith**. 
هو نموذج متقدم مصمم بتركيز قوي على الاستدلال العميق، حل المشكلات المنظم، والقدرات الموجهة للوكلاء الأذكياء (Agents).

### نظرة عامة على النموذج
| الخاصية | القيمة |
| :--- | :--- |
| **النموذج** | MAXENITH 32B |
| **عدد المعاملات** | 32 مليار |
| **البنية** | Dense Transformer |
| **اللغات** | العربية، الإنجليزية |
| **نوع النموذج** | نموذج لغوي سببي (Causal LM) |
| **التركيز الأساسي** | الاستدلال، البرمجة، أنظمة الوكلاء |
| **إطار العمل** | PyTorch / Transformers |

### عملية التطوير
تتضمن عملية التطوير ما يلي:
- **الاستدلال (Reasoning)**: تدريب مكثف لتحسين قدرات حل المشكلات الرياضية والمنطقية متعددة الخطوات.
- **التعلم المعزز (GRPO)**: تطبيق تقنية تحسين السياسة النسبية الجماعية للتحقق الذاتي وتصحيح الأخطاء.
- **البرمجة (Coding)**: ضبط دقيق متقدم يركز على كتابة الأكواد النظيفة وهندسة البرمجيات.
- **قدرات الوكيل (Agent)**: إخراج منظم بصيغة JSON والتفاعل الموجه للأدوات لاستخدام واجهات برمجة التطبيقات (APIs).
- **العمق المتكرر (Recurrent Depth)**: تعديلات معمارية لاستكشاف عمق حسابي إضافي أثناء التفكير (الفضاء الكامن).

### القيود
يعتمد أداء النموذج على المهمة، ونوع المطالبة (Prompt)، وإعدادات التشغيل، والموارد الحسابية المتاحة. يجب تقييم دقة الاستدلال والموثوقية البرمجية من خلال اختبارات مستقلة. لا يوجد ضمان لخلو المخرجات من الهلوسة (Hallucinations).

### الترخيص
تم إصدار هذا النموذج بموجب ترخيص **Apache 2.0**.

---

### عن منظمة Maxenith
Maxenith هي منظمة مستقلة لتطوير الذكاء الاصطناعي تركز على النماذج اللغوية، معماريات الاستدلال، تحسين النماذج، والأنظمة الذكية. يجمع عملها بين تطوير النماذج الأساسية والأساليب التدريبية والمعمارية التجريبية.