SentinelHub commited on
Commit
05fbb17
·
verified ·
1 Parent(s): d7a1515

Align benchmark documentation with verified comparison

Browse files
Files changed (1) hide show
  1. README.md +32 -18
README.md CHANGED
@@ -117,33 +117,47 @@ flowchart TD
117
  - **Instradamento Sparso $O(1)$:** Ciascun token viene instradato verso un unico polo regionale per volta: la capacità del modello sale da 44.5M a **51.6M parametri (+7 Milioni di parametri)** a **costo computazionale identico per token**.
118
 
119
 
120
- ## 📊 Benchmark Comparativi Completi di Laboratorio
121
 
122
- ### 1. Studio A/B Diretto: Sentinel R-08 v7.2 vs v7 vs Transformer Baseline
 
 
123
 
124
  | Metrica di Laboratorio | 🚀 **Sentinel R-08 v7.2 (51.6M)** | Sentinel R-08 v7 (44.5M) | Transformer Baseline (44.9M) | Vantaggio Architetturale R-08 v7.2 |
125
  | :--- | :---: | :---: | :---: | :---: |
126
- | **Parametri Totali** | **51.6M** | 44.5M | 44.9M | **+7.04M parametri (Hub 12)** |
127
- | **Strati di Attenzione Densa** | **2 strati** | **2 strati** | 14 strati | **-85.7% strati densi** |
128
- | **BLiMP-IT (Accuratezza Linguistica IT)** | **82.02%** | 80.95% | 85.84% | **+1.07% salto netto su v7** |
129
- | **MultiBLiMP (Ragionamento Logico IT)** | **73.46%** | 73.46% | 86.83% | **Stabilità perfetta** |
130
- | **Resistenza Allucinazioni (Truth Rate)** | **56.2%** *(Fatti 3/4, Scienza 3/4)* | 62.5% *(Fatti 4/4)* | 68.8% | Allineato ai foundation model |
131
- | **BLiMP Standard Inglese (Cross-Lingua)** | **55.00%** 📈 | 52.80% | 54.00% | **+2.20% generalizzazione** |
132
- | **Stuttering / Balbuzie nei Test Aperti** | **Completamente Eliminata** ✅ | Presente su loop lunghi | Assente | **Risolto con Conv 1D ($k=4$)** |
133
- | **Traffico RAM KV-Cache (a 512 token)** | **0.8 MB** *(2.1 MB/seq)* 💾 | **0.8 MB** *(2.1 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | **-85.7% traffico RAM/Cache** |
134
- | **RAM Totale Necessaria per Inferenza** | **~120 - 150 MB** | **~110 - 130 MB** | ~190 - 250 MB | **Gira su qualsiasi Edge device** |
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
135
 
136
 
137
- ### 2. Confronto tra modelli Sentinel e Transformer di controllo
138
 
139
  Un confronto con modelli open esterni (Pythia-70M, GPT-2, OPT, GPT-Neo) sugli stessi benchmark italiani non è ancora stato eseguito con uno script riproducibile. Le versioni precedenti di questa pagina riportavano numeri per questi modelli che non erano verificati: sono stati rimossi il 6/11/2026 e verranno ripubblicati solo dopo una misura reale.
140
 
141
- | Modello | Creatore | Parametri | Strati Attenzione | BLiMP-IT (Italiano) | BLiMP Inglese | RAM Minima Richiesta |
142
- | :--- | :--- | :---: | :---: | :---: | :---: | :---: |
143
- | [**Transformer Baseline**](https://huggingface.co/SentinelHub/R-08-Transformer-Baseline) | Baseline di Controllo | 44.9M | 14 strati | 85.84% | 54.00% | ~220 MB |
144
- | 🌐 [**R08 v7 Pyramid**](https://huggingface.co/SentinelHub/R-08) | Thomas Seri / Sentinel | 44.5M | **2 strati** | 80.95% | 52.80% | ~120 MB |
145
- | 🚀 **R08-v7.2 (Rob)** | **Thomas Seri / Sentinel** | **51.6M** | **2 strati** | **82.02%** | **55.00%** | **~130 MB** |
146
- | 🌟 [**R08-v7.2a (DA ZERO)**](https://github.com/Thomasseri/R-08-v7.2a) | **Thomas Seri / Sentinel** | **51.6M** | **2 strati** | **82.51%** | **49.20%** | **~130 MB** |
147
 
148
 
149
  ## 📋 Specifiche Tecniche Ufficiali & Architettura Hardware
 
117
  - **Instradamento Sparso $O(1)$:** Ciascun token viene instradato verso un unico polo regionale per volta: la capacità del modello sale da 44.5M a **51.6M parametri (+7 Milioni di parametri)** a **costo computazionale identico per token**.
118
 
119
 
120
+ ## ~~📊 Benchmark Comparativi Completi di Laboratorio — archivio~~
121
 
122
+ > **Archivio.** I valori sottostanti sono mantenuti barrati per tracciabilità, ma provengono da corse con budget o protocolli non identici. Non sono una prova di prestazioni relative, RAM reale, energia, eliminazione di loop o causalità architetturale.
123
+
124
+ ### ~~1. Studio A/B Diretto: Sentinel R-08 v7.2 vs v7 vs Transformer Baseline~~
125
 
126
  | Metrica di Laboratorio | 🚀 **Sentinel R-08 v7.2 (51.6M)** | Sentinel R-08 v7 (44.5M) | Transformer Baseline (44.9M) | Vantaggio Architetturale R-08 v7.2 |
127
  | :--- | :---: | :---: | :---: | :---: |
128
+ | **Parametri Totali** | ~~51,6M~~ | ~~44,5M~~ | ~~44,9M~~ | ~~confronto storico~~ |
129
+ | **Strati di Attenzione Densa** | ~~2~~ | ~~2~~ | ~~14~~ | ~~confronto storico~~ |
130
+ | **BLiMP-IT (Accuratezza Linguistica IT)** | ~~82,02%~~ | ~~80,95%~~ | ~~85,84%~~ | ~~protocolli diversi~~ |
131
+ | **MultiBLiMP (Ragionamento Logico IT)** | ~~73,46%~~ | ~~73,46%~~ | ~~86,83%~~ | ~~protocolli diversi~~ |
132
+ | **Resistenza Allucinazioni (Truth Rate)** | ~~56,2%~~ | ~~62,5%~~ | ~~68,8%~~ | ~~n=16: non conclusivo~~ |
133
+ | **BLiMP Standard Inglese (Cross-Lingua)** | ~~55,00%~~ | ~~52,80%~~ | ~~54,00%~~ | ~~ritirato~~ |
134
+ | **Stuttering / Balbuzie nei Test Aperti** | ~~completamente eliminata~~ | ~~presente~~ | ~~assente~~ | ~~non benchmarkizzato~~ |
135
+ | **Traffico RAM KV-Cache (a 512 token)** | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~5,6 MB~~ | ~~solo stima strutturale~~ |
136
+ | **RAM Totale Necessaria per Inferenza** | ~~120–150 MB~~ | ~~110–130 MB~~ | ~~190–250 MB~~ | ~~ritirato~~ |
137
+
138
+ ## Confronto aggiornato e verificato (post-midtraining, 10k step)
139
+
140
+ Stesso set di valutazione per tutte le colonne: **BLiMP-IT n=3.481**, **MultiBLiMP n=2.916** e 16 prompt zero-shot. I punteggi non dimostrano un vantaggio causale dell'architettura; `n.d.` significa non misurato con un protocollo hardware identico.
141
+
142
+ | Metrica | R-08 v7 | R-08 v7.2 | R-08 v7.2a | Transformer baseline |
143
+ | :--- | :---: | :---: | :---: | :---: |
144
+ | Parametri | 44,6M | 51,6M | 51,6M | 44,906M |
145
+ | Strati di attenzione densa | 2 | 2 | 2 | 14 |
146
+ | Vocabolario | 1.251 | 1.251 | 1.251 | 1.251 |
147
+ | BLiMP-IT | 80,95% | 82,02% | 82,51% | **85,84%** |
148
+ | MultiBLiMP | 73,46% | 73,46% | 76,71% | **86,83%** |
149
+ | Zero-shot (16 prompt) | 10/16 | 9/16 | 9/16 | 11/16 |
150
+ | Throughput training | n.d. | n.d. | n.d. | n.d. |
151
+ | KV-cache a 512 token | ~0,8 MB* | ~0,8 MB* | ~0,8 MB* | ~5,6 MB* |
152
+
153
+ \* Stima strutturale della cache, non misura di RAM di picco, batteria o consumo energetico.
154
 
155
 
156
+ ### ~~2. Confronto tra modelli Sentinel e Transformer di controllo — archivio~~
157
 
158
  Un confronto con modelli open esterni (Pythia-70M, GPT-2, OPT, GPT-Neo) sugli stessi benchmark italiani non è ancora stato eseguito con uno script riproducibile. Le versioni precedenti di questa pagina riportavano numeri per questi modelli che non erano verificati: sono stati rimossi il 6/11/2026 e verranno ripubblicati solo dopo una misura reale.
159
 
160
+ > La tabella precedente includeva BLiMP inglese e RAM non ottenuti con un protocollo riproducibile comune; è stata ritirata. Il confronto verificato è la tabella immediatamente sopra.
 
 
 
 
 
161
 
162
 
163
  ## 📋 Specifiche Tecniche Ufficiali & Architettura Hardware