Align benchmark documentation with verified comparison
Browse files
README.md
CHANGED
|
@@ -117,33 +117,47 @@ flowchart TD
|
|
| 117 |
- **Instradamento Sparso $O(1)$:** Ciascun token viene instradato verso un unico polo regionale per volta: la capacità del modello sale da 44.5M a **51.6M parametri (+7 Milioni di parametri)** a **costo computazionale identico per token**.
|
| 118 |
|
| 119 |
|
| 120 |
-
## 📊 Benchmark Comparativi Completi di Laboratorio
|
| 121 |
|
| 122 |
-
|
|
|
|
|
|
|
| 123 |
|
| 124 |
| Metrica di Laboratorio | 🚀 **Sentinel R-08 v7.2 (51.6M)** | Sentinel R-08 v7 (44.5M) | Transformer Baseline (44.9M) | Vantaggio Architetturale R-08 v7.2 |
|
| 125 |
| :--- | :---: | :---: | :---: | :---: |
|
| 126 |
-
| **Parametri Totali** |
|
| 127 |
-
| **Strati di Attenzione Densa** |
|
| 128 |
-
| **BLiMP-IT (Accuratezza Linguistica IT)** |
|
| 129 |
-
| **MultiBLiMP (Ragionamento Logico IT)** |
|
| 130 |
-
| **Resistenza Allucinazioni (Truth Rate)** |
|
| 131 |
-
| **BLiMP Standard Inglese (Cross-Lingua)** |
|
| 132 |
-
| **Stuttering / Balbuzie nei Test Aperti** |
|
| 133 |
-
| **Traffico RAM KV-Cache (a 512 token)** |
|
| 134 |
-
| **RAM Totale Necessaria per Inferenza** |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 135 |
|
| 136 |
|
| 137 |
-
### 2. Confronto tra modelli Sentinel e Transformer di controllo
|
| 138 |
|
| 139 |
Un confronto con modelli open esterni (Pythia-70M, GPT-2, OPT, GPT-Neo) sugli stessi benchmark italiani non è ancora stato eseguito con uno script riproducibile. Le versioni precedenti di questa pagina riportavano numeri per questi modelli che non erano verificati: sono stati rimossi il 6/11/2026 e verranno ripubblicati solo dopo una misura reale.
|
| 140 |
|
| 141 |
-
|
| 142 |
-
| :--- | :--- | :---: | :---: | :---: | :---: | :---: |
|
| 143 |
-
| [**Transformer Baseline**](https://huggingface.co/SentinelHub/R-08-Transformer-Baseline) | Baseline di Controllo | 44.9M | 14 strati | 85.84% | 54.00% | ~220 MB |
|
| 144 |
-
| 🌐 [**R08 v7 Pyramid**](https://huggingface.co/SentinelHub/R-08) | Thomas Seri / Sentinel | 44.5M | **2 strati** | 80.95% | 52.80% | ~120 MB |
|
| 145 |
-
| 🚀 **R08-v7.2 (Rob)** | **Thomas Seri / Sentinel** | **51.6M** | **2 strati** | **82.02%** | **55.00%** | **~130 MB** |
|
| 146 |
-
| 🌟 [**R08-v7.2a (DA ZERO)**](https://github.com/Thomasseri/R-08-v7.2a) | **Thomas Seri / Sentinel** | **51.6M** | **2 strati** | **82.51%** | **49.20%** | **~130 MB** |
|
| 147 |
|
| 148 |
|
| 149 |
## 📋 Specifiche Tecniche Ufficiali & Architettura Hardware
|
|
|
|
| 117 |
- **Instradamento Sparso $O(1)$:** Ciascun token viene instradato verso un unico polo regionale per volta: la capacità del modello sale da 44.5M a **51.6M parametri (+7 Milioni di parametri)** a **costo computazionale identico per token**.
|
| 118 |
|
| 119 |
|
| 120 |
+
## ~~📊 Benchmark Comparativi Completi di Laboratorio — archivio~~
|
| 121 |
|
| 122 |
+
> **Archivio.** I valori sottostanti sono mantenuti barrati per tracciabilità, ma provengono da corse con budget o protocolli non identici. Non sono una prova di prestazioni relative, RAM reale, energia, eliminazione di loop o causalità architetturale.
|
| 123 |
+
|
| 124 |
+
### ~~1. Studio A/B Diretto: Sentinel R-08 v7.2 vs v7 vs Transformer Baseline~~
|
| 125 |
|
| 126 |
| Metrica di Laboratorio | 🚀 **Sentinel R-08 v7.2 (51.6M)** | Sentinel R-08 v7 (44.5M) | Transformer Baseline (44.9M) | Vantaggio Architetturale R-08 v7.2 |
|
| 127 |
| :--- | :---: | :---: | :---: | :---: |
|
| 128 |
+
| **Parametri Totali** | ~~51,6M~~ | ~~44,5M~~ | ~~44,9M~~ | ~~confronto storico~~ |
|
| 129 |
+
| **Strati di Attenzione Densa** | ~~2~~ | ~~2~~ | ~~14~~ | ~~confronto storico~~ |
|
| 130 |
+
| **BLiMP-IT (Accuratezza Linguistica IT)** | ~~82,02%~~ | ~~80,95%~~ | ~~85,84%~~ | ~~protocolli diversi~~ |
|
| 131 |
+
| **MultiBLiMP (Ragionamento Logico IT)** | ~~73,46%~~ | ~~73,46%~~ | ~~86,83%~~ | ~~protocolli diversi~~ |
|
| 132 |
+
| **Resistenza Allucinazioni (Truth Rate)** | ~~56,2%~~ | ~~62,5%~~ | ~~68,8%~~ | ~~n=16: non conclusivo~~ |
|
| 133 |
+
| **BLiMP Standard Inglese (Cross-Lingua)** | ~~55,00%~~ | ~~52,80%~~ | ~~54,00%~~ | ~~ritirato~~ |
|
| 134 |
+
| **Stuttering / Balbuzie nei Test Aperti** | ~~completamente eliminata~~ | ~~presente~~ | ~~assente~~ | ~~non benchmarkizzato~~ |
|
| 135 |
+
| **Traffico RAM KV-Cache (a 512 token)** | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~5,6 MB~~ | ~~solo stima strutturale~~ |
|
| 136 |
+
| **RAM Totale Necessaria per Inferenza** | ~~120–150 MB~~ | ~~110–130 MB~~ | ~~190–250 MB~~ | ~~ritirato~~ |
|
| 137 |
+
|
| 138 |
+
## Confronto aggiornato e verificato (post-midtraining, 10k step)
|
| 139 |
+
|
| 140 |
+
Stesso set di valutazione per tutte le colonne: **BLiMP-IT n=3.481**, **MultiBLiMP n=2.916** e 16 prompt zero-shot. I punteggi non dimostrano un vantaggio causale dell'architettura; `n.d.` significa non misurato con un protocollo hardware identico.
|
| 141 |
+
|
| 142 |
+
| Metrica | R-08 v7 | R-08 v7.2 | R-08 v7.2a | Transformer baseline |
|
| 143 |
+
| :--- | :---: | :---: | :---: | :---: |
|
| 144 |
+
| Parametri | 44,6M | 51,6M | 51,6M | 44,906M |
|
| 145 |
+
| Strati di attenzione densa | 2 | 2 | 2 | 14 |
|
| 146 |
+
| Vocabolario | 1.251 | 1.251 | 1.251 | 1.251 |
|
| 147 |
+
| BLiMP-IT | 80,95% | 82,02% | 82,51% | **85,84%** |
|
| 148 |
+
| MultiBLiMP | 73,46% | 73,46% | 76,71% | **86,83%** |
|
| 149 |
+
| Zero-shot (16 prompt) | 10/16 | 9/16 | 9/16 | 11/16 |
|
| 150 |
+
| Throughput training | n.d. | n.d. | n.d. | n.d. |
|
| 151 |
+
| KV-cache a 512 token | ~0,8 MB* | ~0,8 MB* | ~0,8 MB* | ~5,6 MB* |
|
| 152 |
+
|
| 153 |
+
\* Stima strutturale della cache, non misura di RAM di picco, batteria o consumo energetico.
|
| 154 |
|
| 155 |
|
| 156 |
+
### ~~2. Confronto tra modelli Sentinel e Transformer di controllo — archivio~~
|
| 157 |
|
| 158 |
Un confronto con modelli open esterni (Pythia-70M, GPT-2, OPT, GPT-Neo) sugli stessi benchmark italiani non è ancora stato eseguito con uno script riproducibile. Le versioni precedenti di questa pagina riportavano numeri per questi modelli che non erano verificati: sono stati rimossi il 6/11/2026 e verranno ripubblicati solo dopo una misura reale.
|
| 159 |
|
| 160 |
+
> La tabella precedente includeva BLiMP inglese e RAM non ottenuti con un protocollo riproducibile comune; è stata ritirata. Il confronto verificato è la tabella immediatamente sopra.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 161 |
|
| 162 |
|
| 163 |
## 📋 Specifiche Tecniche Ufficiali & Architettura Hardware
|