SentinelHub commited on
Commit
ae9aab8
·
verified ·
1 Parent(s): ce40bbe

Align benchmark documentation with verified comparison

Browse files
Files changed (1) hide show
  1. README.md +28 -9
README.md CHANGED
@@ -103,9 +103,11 @@ Mentre i Large Language Model convenzionali si affidano al solito Transformer "p
103
  - R08 è progettato nativamente per accoppiarsi al motore ontologico a 4 livelli della piattaforma [Sentinel LifeOS](https://www.sentinelhub.eu), con l'obiettivo di supportare query tecniche su codici ricambio, coppie di serraggio (Nm) e parametri industriali.
104
 
105
 
106
- ## 📊 Benchmark Comparativi di Laboratorio & Studio A/B (~45M - 125M)
107
 
108
- ### 1. Studio A/B Diretto: Sentinel R08 (v7 Pyramid) vs Transformer Baseline (Chinchilla 185k)
 
 
109
 
110
  > [!IMPORTANT]
111
  > **Modello di Controllo Open Source per il Paragone Scientifico (Vocabolario 1.2k pezzi):**
@@ -119,13 +121,30 @@ Per quantificare scientificamente il contributo dell'**architettura a 3 sfere ge
119
 
120
  | Metrica di Laboratorio | Sentinel R08 (v7) | 🚀 [**R-08 v7.2**](https://huggingface.co/SentinelHub/R-08-v7.2) | 🌟 [**R-08 v7.2a DA ZERO**](https://github.com/Thomasseri/R-08-v7.2a) | Transformer Baseline (185k Pre) | Transformer Baseline (10k Mid) | Vantaggio Architetturale R08 |
121
  | :--- | :---: | :---: | :---: | :---: | :---: | :---: |
122
- | **Parametri Totali** | **44.5M** | **51.6M** | **51.6M** | 44.9M | 44.9M | Pesi equivalenti (~45-51M) |
123
- | **Strati di Attenzione Densa** | **2 strati** | **2 strati** | **2 strati** | 14 strati | 14 strati | **-85.7% strati densi** |
124
- | **BLiMP-IT (Accuratezza Linguistica)** | **80.95%** | **82.02%** | **82.51%** | 82.53% | 85.84% | Competitivo con soli 2 strati |
125
- | **MultiBLiMP (Ragionamento Sintattico)** | **73.46%** | **73.46%** | **76.71%** | 85.15% | 86.83% | Nuovo picco geodetico (+3.25%) |
126
- | **Resistenza Allucinazioni (Zero-Shot)** | **62.5%** *(Fatti 4/4)* | **56.2%** *(Fatti 3/4)* | **56.2%** *(Fatti 4/4 100%)* | 56.2% | 68.8% | Zero allucinazioni su fatti reali |
127
- | **Throughput Training (MPS)** | **~10.150 tok/s** | **~7.200 tok/s** | **~7.694 tok/s** | ~8.650 tok/s | ~8.650 tok/s | Elevata efficienza computazionale |
128
- | **Impronta Memoria KV-Cache (512 ctx)** | **0.8 MB** | **0.8 MB** | **0.8 MB** | 5.6 MB | 5.6 MB | **-85.7% traffico RAM/Cache (7× più leggero)** 💾 |
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
129
 
130
 
131
  ## 📈 Grafici Lineari di Efficienza Hardware & Token
 
103
  - R08 è progettato nativamente per accoppiarsi al motore ontologico a 4 livelli della piattaforma [Sentinel LifeOS](https://www.sentinelhub.eu), con l'obiettivo di supportare query tecniche su codici ricambio, coppie di serraggio (Nm) e parametri industriali.
104
 
105
 
106
+ ## ~~📊 Benchmark Comparativi di Laboratorio & Studio A/B (~45M - 125M) — archivio~~
107
 
108
+ > **Archivio.** La tabella seguente conserva i numeri pubblicati in precedenza, ma combina budget e protocolli diversi; perciò non costituisce un A/B rigoroso e non va usata per dedurre velocità, RAM reale, energia o causalità architetturale. I valori sono mantenuti barrati per tracciabilità.
109
+
110
+ ### ~~1. Studio A/B Diretto: Sentinel R08 (v7 Pyramid) vs Transformer Baseline (Chinchilla 185k)~~
111
 
112
  > [!IMPORTANT]
113
  > **Modello di Controllo Open Source per il Paragone Scientifico (Vocabolario 1.2k pezzi):**
 
121
 
122
  | Metrica di Laboratorio | Sentinel R08 (v7) | 🚀 [**R-08 v7.2**](https://huggingface.co/SentinelHub/R-08-v7.2) | 🌟 [**R-08 v7.2a DA ZERO**](https://github.com/Thomasseri/R-08-v7.2a) | Transformer Baseline (185k Pre) | Transformer Baseline (10k Mid) | Vantaggio Architetturale R08 |
123
  | :--- | :---: | :---: | :---: | :---: | :---: | :---: |
124
+ | **Parametri Totali** | ~~44.5M~~ | ~~51.6M~~ | ~~51.6M~~ | ~~44.9M~~ | ~~44.9M~~ | ~~Pesi equivalenti (~45-51M)~~ |
125
+ | **Strati di Attenzione Densa** | ~~2 strati~~ | ~~2 strati~~ | ~~2 strati~~ | ~~14 strati~~ | ~~14 strati~~ | ~~−85,7% strati densi~~ |
126
+ | **BLiMP-IT (Accuratezza Linguistica)** | ~~80,95%~~ | ~~82,02%~~ | ~~82,51%~~ | ~~82,53%~~ | ~~85,84%~~ | ~~confronto non omogeneo~~ |
127
+ | **MultiBLiMP (Ragionamento Sintattico)** | ~~73,46%~~ | ~~73,46%~~ | ~~76,71%~~ | ~~85,15%~~ | ~~86,83%~~ | ~~confronto non omogeneo~~ |
128
+ | **Resistenza Allucinazioni (Zero-Shot)** | ~~62,5%~~ | ~~56,2%~~ | ~~56,2%~~ | ~~56,2%~~ | ~~68,8%~~ | ~~n=16: non conclusivo~~ |
129
+ | **Throughput Training (MPS)** | ~~circa 10.150 tok/s~~ | ~~circa 7.200 tok/s~~ | ~~circa 7.694 tok/s~~ | ~~circa 8.650 tok/s~~ | ~~circa 8.650 tok/s~~ | ~~ritirato: setup non omogeneo~~ |
130
+ | **Impronta Memoria KV-Cache (512 ctx)** | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~5,6 MB~~ | ~~5,6 MB~~ | ~~stima strutturale, non RAM/energia misurata~~ |
131
+
132
+ ## Confronto aggiornato e verificato (post-midtraining, 10k step)
133
+
134
+ Stesso set di valutazione per tutte le colonne: **BLiMP-IT n=3.481**, **MultiBLiMP n=2.916** e 16 prompt zero-shot. I punteggi descrivono qualità linguistica; non dimostrano un vantaggio causale dell'architettura. Il throughput è riportato come `n.d.` finché non sarà rimisurato con protocollo identico.
135
+
136
+ | Metrica | R-08 v7 | R-08 v7.2 | R-08 v7.2a | Transformer baseline |
137
+ | :--- | :---: | :---: | :---: | :---: |
138
+ | Parametri | 44,6M | 51,6M | 51,6M | 44,906M |
139
+ | Strati di attenzione densa | 2 | 2 | 2 | 14 |
140
+ | Vocabolario | 1.251 | 1.251 | 1.251 | 1.251 |
141
+ | BLiMP-IT | 80,95% | 82,02% | 82,51% | **85,84%** |
142
+ | MultiBLiMP | 73,46% | 73,46% | 76,71% | **86,83%** |
143
+ | Zero-shot (16 prompt) | 10/16 | 9/16 | 9/16 | 11/16 |
144
+ | Throughput training | n.d. | n.d. | n.d. | n.d. |
145
+ | KV-cache a 512 token | ~0,8 MB* | ~0,8 MB* | ~0,8 MB* | ~5,6 MB* |
146
+
147
+ \* Stima strutturale della cache, non misura di RAM di picco, batteria o consumo energetico.
148
 
149
 
150
  ## 📈 Grafici Lineari di Efficienza Hardware & Token