Thomas Seri commited on
docs: cross-link new Sentinel R-08 v7.2 model and update benchmark table
Browse files
README.md
CHANGED
|
@@ -20,12 +20,12 @@ widget:
|
|
| 20 |
# 🤖 R-08 Transformer Baseline 45M (Dense GPT-2 Control Model)
|
| 21 |
|
| 22 |
> [!NOTE]
|
| 23 |
-
> **Modello di Controllo per il Paragone con
|
| 24 |
-
> Questo modello Transformer denso da 44.9M parametri e 14 strati di attenzione con vocabolario a 1.2k pezzi è stato addestrato da **Thomas Seri** appositamente come modello di controllo per confrontare in modo scientifico, a parità di token e vocabolario, le prestazioni con
|
| 25 |
-
> -
|
| 26 |
-
> -
|
| 27 |
|
| 28 |
-
**Modello Dense Transformer di Controllo Diretto (~45M parametri, 14 strati di attenzione causale, Vocabolario 1.2k pezzi) addestrato per lo studio comparativo A/B di [Sentinel R-08](https://huggingface.co/Tom2701/R-08).**
|
| 29 |
|
| 30 |
- 👤 **Autore:** Thomas Seri ([Sentinel LifeOS](https://github.com/Thomasseri/R-08))
|
| 31 |
- 🏛️ **Architettura:** Transformer Decoder-Only standard (GPT-2 style), Pre-LayerNorm, Weight Tying
|
|
@@ -51,17 +51,17 @@ Per valutare in modo rigoroso, indipendente e scientificamente riproducibile le
|
|
| 51 |
|
| 52 |
## 📊 Benchmark Comparativi A/B (Risultati di Laboratorio)
|
| 53 |
|
| 54 |
-
| Metrica di Laboratorio | Sentinel R08 (v7 Pyramid) | Transformer Baseline (185k Pretrain) | Transformer Baseline (10k Midtrain) | Vantaggio Architetturale R08 |
|
| 55 |
-
| :--- | :---: | :---: | :---: | :---: |
|
| 56 |
-
| **Parametri Totali** | **44.5M** | 44.9M | 44.9M | Pesi equivalenti (~
|
| 57 |
-
| **Strati di Attenzione Densa** | **2 strati** | 14 strati | 14 strati | **-85.7% strati densi** |
|
| 58 |
-
| **Vocabolario Subword** | **1.251 pezzi** | 1.251 pezzi | 1.251 pezzi | Identico (1.2k) |
|
| 59 |
-
| **BLiMP-IT (Accuratezza Grammaticale)** | **80.95%** | 82.53% | **85.84%** | Competitivo con soli 2 strati |
|
| 60 |
-
| **MultiBLiMP (Ragionamento Sintattico)** | **73.46%** | 85.15% | **86.83%** | Solida base logica |
|
| 61 |
-
| **Resistenza Allucinazioni (Zero-Shot Truth Rate)** | **62.5%** *(Fatti IT 4/4)* | 56.2% | **68.8%** *(Fatti IT 4/4)* | R08
|
| 62 |
-
| **Throughput Training (MPS Apple Silicon)** | **~10.150 tok/s** | ~
|
| 63 |
-
| **Consumo Energetico per Token** | **2.3 mJ / token** | 3.3 mJ / token | 3.3 mJ / token | **-31.2% consumo energetico** 🔋 |
|
| 64 |
-
| **Impronta Memoria KV-Cache (a 512 token)** | **0.8 MB** *(2.1 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | **-85.7% traffico RAM/Cache** 💾 |
|
| 65 |
|
| 66 |
---
|
| 67 |
|
|
|
|
| 20 |
# 🤖 R-08 Transformer Baseline 45M (Dense GPT-2 Control Model)
|
| 21 |
|
| 22 |
> [!NOTE]
|
| 23 |
+
> **Modello di Controllo per il Paragone con l'Architettura Geodetica Sentinel R-08:**
|
| 24 |
+
> Questo modello Transformer denso da 44.9M parametri e 14 strati di attenzione con vocabolario a 1.2k pezzi è stato addestrato da **Thomas Seri** appositamente come modello di controllo per confrontare in modo scientifico, a parità di token e vocabolario, le prestazioni con la famiglia **Sentinel R-08**:
|
| 25 |
+
> - 🚀 **Nuovo Sentinel R-08 v7.2 (51.6M, 12 Hubs + 1D Conv):** [Tom2701/R-08-v7.2 su Hugging Face](https://huggingface.co/Tom2701/R-08-v7.2) | [GitHub v7.2](https://github.com/Thomasseri/R-08-v7.2)
|
| 26 |
+
> - 🌐 **Sentinel R-08 v7 Pyramid (44.5M):** [Tom2701/R-08 su Hugging Face](https://huggingface.co/Tom2701/R-08) | [GitHub](https://github.com/Thomasseri/R-08)
|
| 27 |
|
| 28 |
+
**Modello Dense Transformer di Controllo Diretto (~45M parametri, 14 strati di attenzione causale, Vocabolario 1.2k pezzi) addestrato per lo studio comparativo A/B di [Sentinel R-08](https://huggingface.co/Tom2701/R-08) e [Sentinel R-08 v7.2](https://huggingface.co/Tom2701/R-08-v7.2).**
|
| 29 |
|
| 30 |
- 👤 **Autore:** Thomas Seri ([Sentinel LifeOS](https://github.com/Thomasseri/R-08))
|
| 31 |
- 🏛️ **Architettura:** Transformer Decoder-Only standard (GPT-2 style), Pre-LayerNorm, Weight Tying
|
|
|
|
| 51 |
|
| 52 |
## 📊 Benchmark Comparativi A/B (Risultati di Laboratorio)
|
| 53 |
|
| 54 |
+
| Metrica di Laboratorio | Sentinel R08 (v7 Pyramid) | 🚀 [**Sentinel R-08 v7.2**](https://huggingface.co/Tom2701/R-08-v7.2) | Transformer Baseline (185k Pretrain) | Transformer Baseline (10k Midtrain) | Vantaggio Architetturale Famiglia R08 |
|
| 55 |
+
| :--- | :---: | :---: | :---: | :---: | :---: |
|
| 56 |
+
| **Parametri Totali** | **44.5M** | **51.6M** | 44.9M | 44.9M | Pesi equivalenti (~45-50M) |
|
| 57 |
+
| **Strati di Attenzione Densa** | **2 strati** | **2 strati** | 14 strati | 14 strati | **-85.7% strati densi** |
|
| 58 |
+
| **Vocabolario Subword** | **1.251 pezzi** | **1.251 pezzi** | 1.251 pezzi | 1.251 pezzi | Identico (1.2k) |
|
| 59 |
+
| **BLiMP-IT (Accuratezza Grammaticale)** | **80.95%** | **82.02%** 🏆 | 82.53% | **85.84%** | Competitivo con soli 2 strati |
|
| 60 |
+
| **MultiBLiMP (Ragionamento Sintattico)** | **73.46%** | **73.46%** | 85.15% | **86.83%** | Solida base logica |
|
| 61 |
+
| **Resistenza Allucinazioni (Zero-Shot Truth Rate)** | **62.5%** *(Fatti IT 4/4)* | **56.2%** *(Fatti 3/4)* | 56.2% | **68.8%** *(Fatti IT 4/4)* | R08 competitivo al Pretrain 185k |
|
| 62 |
+
| **Throughput Training (MPS Apple Silicon)** | **~10.150 tok/s** | **~7.200 tok/s** | ~8.650 tok/s | ~8.650 tok/s | Elevata efficienza computazionale |
|
| 63 |
+
| **Consumo Energetico per Token** | **2.3 mJ / token** | **2.4 mJ / token** | 3.3 mJ / token | 3.3 mJ / token | **-28.3% / -31.2% consumo energetico** 🔋 |
|
| 64 |
+
| **Impronta Memoria KV-Cache (a 512 token)** | **0.8 MB** *(2.1 MB/seq)* | **0.8 MB** *(2.1 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | **-85.7% traffico RAM/Cache** 💾 |
|
| 65 |
|
| 66 |
---
|
| 67 |
|