Align benchmark documentation with verified comparison
Browse files
README.md
CHANGED
|
@@ -103,9 +103,11 @@ Mentre i Large Language Model convenzionali si affidano al solito Transformer "p
|
|
| 103 |
- R08 è progettato nativamente per accoppiarsi al motore ontologico a 4 livelli della piattaforma [Sentinel LifeOS](https://www.sentinelhub.eu), con l'obiettivo di supportare query tecniche su codici ricambio, coppie di serraggio (Nm) e parametri industriali.
|
| 104 |
|
| 105 |
|
| 106 |
-
## 📊 Benchmark Comparativi di Laboratorio & Studio A/B (~45M - 125M)
|
| 107 |
|
| 108 |
-
|
|
|
|
|
|
|
| 109 |
|
| 110 |
> [!IMPORTANT]
|
| 111 |
> **Modello di Controllo Open Source per il Paragone Scientifico (Vocabolario 1.2k pezzi):**
|
|
@@ -119,13 +121,30 @@ Per quantificare scientificamente il contributo dell'**architettura a 3 sfere ge
|
|
| 119 |
|
| 120 |
| Metrica di Laboratorio | Sentinel R08 (v7) | 🚀 [**R-08 v7.2**](https://huggingface.co/SentinelHub/R-08-v7.2) | 🌟 [**R-08 v7.2a DA ZERO**](https://github.com/Thomasseri/R-08-v7.2a) | Transformer Baseline (185k Pre) | Transformer Baseline (10k Mid) | Vantaggio Architetturale R08 |
|
| 121 |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: |
|
| 122 |
-
| **Parametri Totali** |
|
| 123 |
-
| **Strati di Attenzione Densa** |
|
| 124 |
-
| **BLiMP-IT (Accuratezza Linguistica)** |
|
| 125 |
-
| **MultiBLiMP (Ragionamento Sintattico)** |
|
| 126 |
-
| **Resistenza Allucinazioni (Zero-Shot)** |
|
| 127 |
-
| **Throughput Training (MPS)** |
|
| 128 |
-
| **Impronta Memoria KV-Cache (512 ctx)** |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 129 |
|
| 130 |
|
| 131 |
## 📈 Grafici Lineari di Efficienza Hardware & Token
|
|
|
|
| 103 |
- R08 è progettato nativamente per accoppiarsi al motore ontologico a 4 livelli della piattaforma [Sentinel LifeOS](https://www.sentinelhub.eu), con l'obiettivo di supportare query tecniche su codici ricambio, coppie di serraggio (Nm) e parametri industriali.
|
| 104 |
|
| 105 |
|
| 106 |
+
## ~~📊 Benchmark Comparativi di Laboratorio & Studio A/B (~45M - 125M) — archivio~~
|
| 107 |
|
| 108 |
+
> **Archivio.** La tabella seguente conserva i numeri pubblicati in precedenza, ma combina budget e protocolli diversi; perciò non costituisce un A/B rigoroso e non va usata per dedurre velocità, RAM reale, energia o causalità architetturale. I valori sono mantenuti barrati per tracciabilità.
|
| 109 |
+
|
| 110 |
+
### ~~1. Studio A/B Diretto: Sentinel R08 (v7 Pyramid) vs Transformer Baseline (Chinchilla 185k)~~
|
| 111 |
|
| 112 |
> [!IMPORTANT]
|
| 113 |
> **Modello di Controllo Open Source per il Paragone Scientifico (Vocabolario 1.2k pezzi):**
|
|
|
|
| 121 |
|
| 122 |
| Metrica di Laboratorio | Sentinel R08 (v7) | 🚀 [**R-08 v7.2**](https://huggingface.co/SentinelHub/R-08-v7.2) | 🌟 [**R-08 v7.2a DA ZERO**](https://github.com/Thomasseri/R-08-v7.2a) | Transformer Baseline (185k Pre) | Transformer Baseline (10k Mid) | Vantaggio Architetturale R08 |
|
| 123 |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: |
|
| 124 |
+
| **Parametri Totali** | ~~44.5M~~ | ~~51.6M~~ | ~~51.6M~~ | ~~44.9M~~ | ~~44.9M~~ | ~~Pesi equivalenti (~45-51M)~~ |
|
| 125 |
+
| **Strati di Attenzione Densa** | ~~2 strati~~ | ~~2 strati~~ | ~~2 strati~~ | ~~14 strati~~ | ~~14 strati~~ | ~~−85,7% strati densi~~ |
|
| 126 |
+
| **BLiMP-IT (Accuratezza Linguistica)** | ~~80,95%~~ | ~~82,02%~~ | ~~82,51%~~ | ~~82,53%~~ | ~~85,84%~~ | ~~confronto non omogeneo~~ |
|
| 127 |
+
| **MultiBLiMP (Ragionamento Sintattico)** | ~~73,46%~~ | ~~73,46%~~ | ~~76,71%~~ | ~~85,15%~~ | ~~86,83%~~ | ~~confronto non omogeneo~~ |
|
| 128 |
+
| **Resistenza Allucinazioni (Zero-Shot)** | ~~62,5%~~ | ~~56,2%~~ | ~~56,2%~~ | ~~56,2%~~ | ~~68,8%~~ | ~~n=16: non conclusivo~~ |
|
| 129 |
+
| **Throughput Training (MPS)** | ~~circa 10.150 tok/s~~ | ~~circa 7.200 tok/s~~ | ~~circa 7.694 tok/s~~ | ~~circa 8.650 tok/s~~ | ~~circa 8.650 tok/s~~ | ~~ritirato: setup non omogeneo~~ |
|
| 130 |
+
| **Impronta Memoria KV-Cache (512 ctx)** | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~5,6 MB~~ | ~~5,6 MB~~ | ~~stima strutturale, non RAM/energia misurata~~ |
|
| 131 |
+
|
| 132 |
+
## Confronto aggiornato e verificato (post-midtraining, 10k step)
|
| 133 |
+
|
| 134 |
+
Stesso set di valutazione per tutte le colonne: **BLiMP-IT n=3.481**, **MultiBLiMP n=2.916** e 16 prompt zero-shot. I punteggi descrivono qualità linguistica; non dimostrano un vantaggio causale dell'architettura. Il throughput è riportato come `n.d.` finché non sarà rimisurato con protocollo identico.
|
| 135 |
+
|
| 136 |
+
| Metrica | R-08 v7 | R-08 v7.2 | R-08 v7.2a | Transformer baseline |
|
| 137 |
+
| :--- | :---: | :---: | :---: | :---: |
|
| 138 |
+
| Parametri | 44,6M | 51,6M | 51,6M | 44,906M |
|
| 139 |
+
| Strati di attenzione densa | 2 | 2 | 2 | 14 |
|
| 140 |
+
| Vocabolario | 1.251 | 1.251 | 1.251 | 1.251 |
|
| 141 |
+
| BLiMP-IT | 80,95% | 82,02% | 82,51% | **85,84%** |
|
| 142 |
+
| MultiBLiMP | 73,46% | 73,46% | 76,71% | **86,83%** |
|
| 143 |
+
| Zero-shot (16 prompt) | 10/16 | 9/16 | 9/16 | 11/16 |
|
| 144 |
+
| Throughput training | n.d. | n.d. | n.d. | n.d. |
|
| 145 |
+
| KV-cache a 512 token | ~0,8 MB* | ~0,8 MB* | ~0,8 MB* | ~5,6 MB* |
|
| 146 |
+
|
| 147 |
+
\* Stima strutturale della cache, non misura di RAM di picco, batteria o consumo energetico.
|
| 148 |
|
| 149 |
|
| 150 |
## 📈 Grafici Lineari di Efficienza Hardware & Token
|