Thomas Seri commited on
docs: align exact verified metadata in README.md
Browse files
README.md
CHANGED
|
@@ -29,7 +29,7 @@ widget:
|
|
| 29 |
|
| 30 |
- 👤 **Autore:** Thomas Seri ([Sentinel LifeOS](https://github.com/Thomasseri/R-08))
|
| 31 |
- 🏛️ **Architettura:** Transformer Decoder-Only standard (GPT-2 style), Pre-LayerNorm, Weight Tying
|
| 32 |
-
- 📏 **Dimensione Parametri:** 44.
|
| 33 |
- 🔤 **Vocabolario:** 1.251 pezzi subword (`vocab_stages`, 1.2k), **identico a Sentinel R-08**
|
| 34 |
- 📚 **Dataset di Pretraining:** `v22_chinchilla_mix` (740M token, Chinchilla-optimal per ~45M parametri)
|
| 35 |
- 🏋️ **Addestramento:** 185.000 step di Pretraining + 10.000 step di Midtraining
|
|
|
|
| 29 |
|
| 30 |
- 👤 **Autore:** Thomas Seri ([Sentinel LifeOS](https://github.com/Thomasseri/R-08))
|
| 31 |
- 🏛️ **Architettura:** Transformer Decoder-Only standard (GPT-2 style), Pre-LayerNorm, Weight Tying
|
| 32 |
+
- 📏 **Dimensione Parametri:** 44.905.984 parametri unici (~44.9M)
|
| 33 |
- 🔤 **Vocabolario:** 1.251 pezzi subword (`vocab_stages`, 1.2k), **identico a Sentinel R-08**
|
| 34 |
- 📚 **Dataset di Pretraining:** `v22_chinchilla_mix` (740M token, Chinchilla-optimal per ~45M parametri)
|
| 35 |
- 🏋️ **Addestramento:** 185.000 step di Pretraining + 10.000 step di Midtraining
|