SentinelHub
/

R-08-Transformer-Baseline

@@ -1,22 +1,17 @@
 ---
 language:
 - it
-license: other
-tags:
-- transformer
-- gpt2
-- baseline
-- benchmark
-- chinchilla
-- causal-lm
-- pytorch
-datasets:
-- v22_chinchilla_mix
 pipeline_tag: text-generation
-widget:
-- text: "La capitale d'Italia è "
-license_name: r08-non-commercial-ethical-license-v2.0
-license_link: LICENSE.md
 ---
 <p align="center">
@@ -28,10 +23,11 @@ license_link: LICENSE.md
 > [!NOTE]
 > **Modello di Controllo per il Paragone con l'Architettura Geodetica Sentinel R-08:**
 > Questo modello Transformer denso da 44.9M parametri e 14 strati di attenzione con vocabolario a 1.2k pezzi è stato addestrato da **Thomas Seri** appositamente come modello di controllo per confrontare in modo scientifico, a parità di token e vocabolario, le prestazioni con la famiglia **Sentinel R-08**:
-> - 🚀 **Nuovo Sentinel R-08 v7.2 (51.6M, 12 Hubs + 1D Conv):** [Tom2701/R-08-v7.2 su Hugging Face](https://huggingface.co/Tom2701/R-08-v7.2) | [GitHub v7.2](https://github.com/Thomasseri/R-08-v7.2)
-> - 🌐 **Sentinel R-08 v7 Pyramid (44.5M):** [Tom2701/R-08 su Hugging Face](https://huggingface.co/Tom2701/R-08) | [GitHub](https://github.com/Thomasseri/R-08)
-**Modello Dense Transformer di Controllo Diretto (~45M parametri, 14 strati di attenzione causale, Vocabolario 1.2k pezzi) addestrato per lo studio comparativo A/B di [Sentinel R-08](https://huggingface.co/Tom2701/R-08) e [Sentinel R-08 v7.2](https://huggingface.co/Tom2701/R-08-v7.2).**
 - 👤 **Autore:** Thomas Seri ([Sentinel LifeOS](https://github.com/Thomasseri/R-08))
 - 🏛️ **Architettura:** Transformer Decoder-Only standard (GPT-2 style), Pre-LayerNorm, Weight Tying
@@ -39,7 +35,7 @@ license_link: LICENSE.md
 - 🔤 **Vocabolario:** 1.251 pezzi subword (`vocab_stages`, 1.2k), **identico a Sentinel R-08**
 - 📚 **Dataset di Pretraining:** `v22_chinchilla_mix` (740M token, Chinchilla-optimal per ~45M parametri)
 - 🏋️ **Addestramento:** 185.000 step di Pretraining + 10.000 step di Midtraining
-- 🔗 **Modello Target Comparato:** [Sentinel R-08 (v7 Pyramid 3-Spheres Mesh)](https://huggingface.co/Tom2701/R-08)
 ---
@@ -57,17 +53,27 @@ Per valutare in modo rigoroso, indipendente e scientificamente riproducibile le
 ## 📊 Benchmark Comparativi A/B (Risultati di Laboratorio)
-| Metrica di Laboratorio | Sentinel R08 (v7 Pyramid) | 🚀 [**Sentinel R-08 v7.2**](https://huggingface.co/Tom2701/R-08-v7.2) | Transformer Baseline (185k Pretrain) | Transformer Baseline (10k Midtrain) | Vantaggio Architetturale Famiglia R08 |
-| :--- | :---: | :---: | :---: | :---: | :---: |
-| **Parametri Totali** | **44.5M** | **51.6M** | 44.9M | 44.9M | Pesi equivalenti (~45-50M) |
-| **Strati di Attenzione Densa** | **2 strati** | **2 strati** | 14 strati | 14 strati | **-85.7% strati densi** |
-| **Vocabolario Subword** | **1.251 pezzi** | **1.251 pezzi** | 1.251 pezzi | 1.251 pezzi | Identico (1.2k) |
-| **BLiMP-IT (Accuratezza Grammaticale)** | **80.95%** | **82.02%** 🏆 | 82.53% | **85.84%** | Competitivo con soli 2 strati |
-| **MultiBLiMP (Ragionamento Sintattico)** | **73.46%** | **73.46%** | 85.15% | **86.83%** | Solida base logica |
-| **Resistenza Allucinazioni (Zero-Shot Truth Rate)** | **62.5%** *(Fatti IT 4/4)* | **56.2%** *(Fatti 3/4)* | 56.2% | **68.8%** *(Fatti IT 4/4)* | R08 competitivo al Pretrain 185k |
-| **Throughput Training (MPS Apple Silicon)** | **~10.150 tok/s** | **~7.200 tok/s** | ~8.650 tok/s | ~8.650 tok/s | Elevata efficienza computazionale |
-| **Consumo Energetico per Token** | **2.3 mJ / token** | **2.4 mJ / token** | 3.3 mJ / token | 3.3 mJ / token | **-28.3% / -31.2% consumo energetico** 🔋 |
-| **Impronta Memoria KV-Cache (a 512 token)** | **0.8 MB** *(2.1 MB/seq)* | **0.8 MB** *(2.1 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | **-85.7% traffico RAM/Cache** 💾 |
 ---
@@ -139,8 +145,8 @@ Il modello baseline di controllo è rilasciato per ricerca non commerciale e rip
   title = {R-08 Transformer Baseline 45M: Dense GPT-2 Control Benchmark for Geodesic Mesh Networks},
   year = {2026},
   publisher = {Hugging Face / GitHub},
-  howpublished = {\url{https://huggingface.co/Tom2701/R-08-Transformer-Baseline}}
 }
 ```
-🔗 **Progetto Principale Sentinel R-08:** [https://github.com/Thomasseri/R-08](https://github.com/Thomasseri/R-08) | [https://huggingface.co/Tom2701/R-08](https://huggingface.co/Tom2701/R-08)

 ---
+license: other
+license_name: sentinel-r08-non-commercial-v2
+license_link: LICENSE.md
 language:
 - it
 pipeline_tag: text-generation
+library_name: custom_code
+tags:
+- sentinel
+- r08
+- geodesic-neural-network
+- italian
+- edge-ai
 ---
 <p align="center">
 > [!NOTE]
 > **Modello di Controllo per il Paragone con l'Architettura Geodetica Sentinel R-08:**
 > Questo modello Transformer denso da 44.9M parametri e 14 strati di attenzione con vocabolario a 1.2k pezzi è stato addestrato da **Thomas Seri** appositamente come modello di controllo per confrontare in modo scientifico, a parità di token e vocabolario, le prestazioni con la famiglia **Sentinel R-08**:
+> - 🌟 **Nuovo Sentinel R-08 v7.2a DA ZERO (51.6M, 12 Hubs, Record 82.51% BLiMP-IT):** [Tom2701/R-08-v7.2a su Hugging Face](https://huggingface.co/SentinelHub/R-08-v7.2a) | [GitHub v7.2a](https://github.com/Thomasseri/R-08-v7.2a)
+> - 🚀 **Sentinel R-08 v7.2 Warm-Start (51.6M, 12 Hubs + 1D Conv):** [Tom2701/R-08-v7.2 su Hugging Face](https://huggingface.co/SentinelHub/R-08-v7.2) | [GitHub v7.2](https://github.com/Thomasseri/R-08-v7.2)
+> - 🌐 **Sentinel R-08 v7 Pyramid (44.5M):** [Tom2701/R-08 su Hugging Face](https://huggingface.co/SentinelHub/R-08) | [GitHub](https://github.com/Thomasseri/R-08)
+**Modello Dense Transformer di Controllo Diretto (~45M parametri, 14 strati di attenzione causale, Vocabolario 1.2k pezzi) addestrato per lo studio comparativo A/B di [Sentinel R-08](https://huggingface.co/SentinelHub/R-08) e [Sentinel R-08 v7.2](https://huggingface.co/SentinelHub/R-08-v7.2).**
 - 👤 **Autore:** Thomas Seri ([Sentinel LifeOS](https://github.com/Thomasseri/R-08))
 - 🏛️ **Architettura:** Transformer Decoder-Only standard (GPT-2 style), Pre-LayerNorm, Weight Tying
 - 🔤 **Vocabolario:** 1.251 pezzi subword (`vocab_stages`, 1.2k), **identico a Sentinel R-08**
 - 📚 **Dataset di Pretraining:** `v22_chinchilla_mix` (740M token, Chinchilla-optimal per ~45M parametri)
 - 🏋️ **Addestramento:** 185.000 step di Pretraining + 10.000 step di Midtraining
+- 🔗 **Modello Target Comparato:** [Sentinel R-08 (v7 Pyramid 3-Spheres Mesh)](https://huggingface.co/SentinelHub/R-08)
 ---
 ## 📊 Benchmark Comparativi A/B (Risultati di Laboratorio)
+| Metrica di Laboratorio | Sentinel R08 (v7) | 🚀 [**Sentinel R-08 v7.2**](https://huggingface.co/SentinelHub/R-08-v7.2) | 🌟 [**Sentinel R-08 v7.2a**](https://github.com/Thomasseri/R-08-v7.2a) | Transformer Baseline (185k Pre) | Transformer Baseline (10k Mid) | Vantaggio Architetturale Famiglia R08 |
+| :--- | :---: | :---: | :---: | :---: | :---: | :---: |
+| **Parametri Totali** | **44.5M** | **51.6M** | **51.6M** | 44.9M | 44.9M | Pesi equivalenti (~45-51M) |
+| **Strati di Attenzione Densa** | **2 strati** | **2 strati** | **2 strati** | 14 strati | 14 strati | **-85.7% strati densi** |
+| **Vocabolario Subword** | **1.251 pezzi** | **1.251 pezzi** | **1.251 pezzi** | 1.251 pezzi | 1.251 pezzi | Identico (1.2k) |
+| **BLiMP-IT (Accuratezza Grammaticale)** | **80.95%** | **82.02%** | **82.51%** 🏆 | 82.53% | **85.84%** | R08 record 82.51% con soli 2 strati |
+| **MultiBLiMP (Ragionamento Sintattico)** | **73.46%** | **73.46%** | **76.71%** 🏆 | 85.15% | **86.83%** | Solida base logica |
+| **Resistenza Allucinazioni (Zero-Shot)** | **62.5%** *(Fatti 4/4)* | **56.2%** *(Fatti 3/4)* | **56.2%** *(Fatti 4/4 100%)* | 56.2% | **68.8%** *(Fatti 4/4)* | R08 zero allucinazioni sui fatti |
+| **Throughput Training (MPS)** | **~10.150 tok/s** | **~7.200 tok/s** | **~7.694 tok/s** | ~8.650 tok/s | ~8.650 tok/s | Elevata efficienza computazionale |
+| **Consumo Energetico per Token** | **2.3 mJ / tok** | **2.4 mJ / tok** | **2.4 mJ / tok** | 3.3 mJ / tok | 3.3 mJ / tok | **-27.3% / -30.3% consumo energetico** 🔋 |
+| **Impronta Memoria KV-Cache (512 ctx)** | **0.8 MB** *(2.1 MB/seq)* | **0.8 MB** *(2.1 MB/seq)* | **0.8 MB** *(2.1 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | **-85.7% traffico RAM/Cache** 💾 |
+---
+## 📈 Grafici Lineari di Efficienza Hardware & Token
+### 1. Curva di Efficienza dei Token (Loss vs Token Visti)
+![Curva di Efficienza Token](./assets/efficiency_loss_curve.svg)
+### 2. Footprint Memoria RAM KV-Cache vs Lunghezza Contesto
+![Curva di Efficienza RAM KV-Cache](./assets/kv_cache_ram_curve.svg)
 ---
   title = {R-08 Transformer Baseline 45M: Dense GPT-2 Control Benchmark for Geodesic Mesh Networks},
   year = {2026},
   publisher = {Hugging Face / GitHub},
+  howpublished = {\url{https://huggingface.co/SentinelHub/R-08-Transformer-Baseline}}
 }
 ```
+🔗 **Progetto Principale Sentinel R-08:** [https://github.com/Thomasseri/R-08](https://github.com/Thomasseri/R-08) | [https://huggingface.co/SentinelHub/R-08](https://huggingface.co/SentinelHub/R-08)