Correzioni 7/11/2026: aggiornamento tecnico e metriche hardware A6 verificate
Browse files
README.md
CHANGED
|
@@ -1,17 +1,22 @@
|
|
| 1 |
---
|
|
|
|
|
|
|
| 2 |
license: other
|
| 3 |
license_name: sentinel-r08-non-commercial-v2
|
| 4 |
license_link: LICENSE.md
|
| 5 |
-
language:
|
| 6 |
-
- it
|
| 7 |
-
pipeline_tag: text-generation
|
| 8 |
-
library_name: custom_code
|
| 9 |
tags:
|
| 10 |
-
-
|
| 11 |
-
-
|
| 12 |
-
-
|
| 13 |
-
-
|
| 14 |
-
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 15 |
---
|
| 16 |
|
| 17 |
<p align="center">
|
|
@@ -39,13 +44,25 @@ tags:
|
|
| 39 |
|
| 40 |
---
|
| 41 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 42 |
> ### 💼 Investment, Compute Grants & Enterprise Licensing (Investimenti & Partnership Industriali)
|
| 43 |
> 🇬🇧 **Sentinel** is scaling the **Geodesic Pyramidal Sphere Architecture (`R-08`)** from 50M to **110M–1B+ parameters**, with **a patent application filed at the Italian Patent and Trademark Office (UIBM)**.
|
| 44 |
> **Open to Seed / Deep-Tech Investment, GPU/TPU Compute Grants, and Enterprise R&D Partnerships.**
|
| 45 |
> 🇮🇹 **Aperto a Investimenti Seed / Deep-Tech, Grant Computazionali GPU/TPU e Licenze Industriali Enterprise.**
|
| 46 |
> 📩 **Contact Founder & Inventor Thomas Seri:** 🌐 **[www.sentinelhub.eu](https://www.sentinelhub.eu)** | 🐙 **[GitHub (@Thomasseri)](https://github.com/Thomasseri)** | 🤗 **[Hugging Face (@SentinelHub)](https://huggingface.co/SentinelHub)** | 💬 **[Open an Inquiry / Issue](https://github.com/Thomasseri/R-08/issues/new)**
|
| 47 |
|
| 48 |
-
---
|
| 49 |
|
| 50 |
## 🎯 Obiettivo Scientifico dello Studio A/B
|
| 51 |
|
|
@@ -57,7 +74,6 @@ Per valutare in modo rigoroso, indipendente e scientificamente riproducibile le
|
|
| 57 |
- **Transformer Baseline:** **14 strati di attenzione densa continua** token-to-token ($d_{\text{model}}=512$, 8 teste).
|
| 58 |
- **Sentinel R-08 (v7 Pyramid):** **Soli 2 strati di attenzione densa** assistiti da 3 geosfere triangolari a 80 facce e centro piramidale a 1-hop.
|
| 59 |
|
| 60 |
-
---
|
| 61 |
|
| 62 |
## 📊 Benchmark Comparativi A/B (Risultati di Laboratorio)
|
| 63 |
|
|
@@ -72,7 +88,6 @@ Per valutare in modo rigoroso, indipendente e scientificamente riproducibile le
|
|
| 72 |
| **Throughput Training (MPS)** | **~10.150 tok/s** | **~7.200 tok/s** | **~7.694 tok/s** | ~8.650 tok/s | ~8.650 tok/s | Elevata efficienza computazionale |
|
| 73 |
| **Impronta Memoria KV-Cache (512 ctx)** | **0.8 MB** *(2.1 MB/seq)* | **0.8 MB** *(2.1 MB/seq)* | **0.8 MB** *(2.1 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | **-85.7% traffico RAM/Cache** 💾 |
|
| 74 |
|
| 75 |
-
---
|
| 76 |
|
| 77 |
## 📈 Grafici Lineari di Efficienza Hardware & Token
|
| 78 |
|
|
@@ -82,7 +97,6 @@ Per valutare in modo rigoroso, indipendente e scientificamente riproducibile le
|
|
| 82 |
### 2. Footprint Memoria RAM KV-Cache vs Lunghezza Contesto
|
| 83 |

|
| 84 |
|
| 85 |
-
---
|
| 86 |
|
| 87 |
## 🔬 Considerazioni e Riscontri Scientifici
|
| 88 |
|
|
@@ -92,7 +106,6 @@ Per valutare in modo rigoroso, indipendente e scientificamente riproducibile le
|
|
| 92 |
2. **Efficienza Geodetica di R-08:**
|
| 93 |
- Sentinel R-08 raggiunge l'**80.95%** su BLiMP-IT eliminando l'85.7% dell'attenzione densa e sostituendola con il routing sferico triangolare a 80 facce, dimostrando un'efficienza ideale per Edge AI e dispositivi embedded a batteria.
|
| 94 |
|
| 95 |
-
---
|
| 96 |
|
| 97 |
## 🚀 Utilizzo Rapido (Inference Quickstart)
|
| 98 |
|
|
@@ -125,7 +138,6 @@ risposta = model.generate(
|
|
| 125 |
print(prompt + risposta)
|
| 126 |
```
|
| 127 |
|
| 128 |
-
---
|
| 129 |
|
| 130 |
## 📦 Checkpoint & File Inclusi
|
| 131 |
|
|
@@ -135,7 +147,6 @@ Nel repository sono inclusi tutti i formati per ricerca e inferenza mobile:
|
|
| 135 |
- **`model_pretrain_185k.safetensors` (174 MB):** Checkpoint dopo 185.000 step di pretraining Chinchilla puro (82.53% BLiMP-IT).
|
| 136 |
- **`tokenizer.json` & `tokenizer_config.json`:** Compatibilità standard Hugging Face `AutoTokenizer`.
|
| 137 |
|
| 138 |
-
---
|
| 139 |
|
| 140 |
## 📜 Licenza, Etica e Citazione
|
| 141 |
|
|
|
|
| 1 |
---
|
| 2 |
+
language:
|
| 3 |
+
- it
|
| 4 |
license: other
|
| 5 |
license_name: sentinel-r08-non-commercial-v2
|
| 6 |
license_link: LICENSE.md
|
|
|
|
|
|
|
|
|
|
|
|
|
| 7 |
tags:
|
| 8 |
+
- transformer
|
| 9 |
+
- gpt2
|
| 10 |
+
- baseline
|
| 11 |
+
- benchmark
|
| 12 |
+
- chinchilla
|
| 13 |
+
- causal-lm
|
| 14 |
+
- pytorch
|
| 15 |
+
datasets:
|
| 16 |
+
- v22_chinchilla_mix
|
| 17 |
+
pipeline_tag: text-generation
|
| 18 |
+
widget:
|
| 19 |
+
- text: "La capitale d'Italia è "
|
| 20 |
---
|
| 21 |
|
| 22 |
<p align="center">
|
|
|
|
| 44 |
|
| 45 |
---
|
| 46 |
|
| 47 |
+
## ⚠️ Correzioni e Aggiornamento Tecnico (7 novembre 2026)
|
| 48 |
+
|
| 49 |
+
Abbiamo ricontrollato il codice pubblicato e le misure hardware su Apple M1 Max (`float32`, benchmark A6 con lettura energetica PMU isolata). Qui sotto gli errori corretti, i dati dichiarati in precedenza e quelli misurati ora:
|
| 50 |
+
|
| 51 |
+
| # | Voce | Prima (dichiarato / codice precedente) | Ora (misurato / corretto) | Stato |
|
| 52 |
+
|---|---|---|---|---|
|
| 53 |
+
| 1 | Avvio moduli Python (`modeling_geodesic.py`, `geodesic_stages*_model.py`, `modeling_transformer.py`) | Pronti all'uso | `SyntaxError` all'import perché `from __future__ import annotations` si trovava dopo l'intestazione di licenza | **Corretto** in questo aggiornamento (spostata la riga di import in cima al file; licenza invariata) |
|
| 54 |
+
| 2 | Caricamento `model.safetensors` con Faccia di Veglia (`watchman.*`) | `load_state_dict(strict=True)` e rotazione finale non accoppiata | Falliva per 8 buffer deterministici `watchman.*` non inclusi nel file `.safetensors`, e `inject_geodesic_nonlinear_entanglement` non applicava la pre-rotazione ortogonale `q_0^T` abbinata a `q_lic` | **Corretto** in `modeling_geodesic.py` e `watchman_keystone_r08.py`; corretto anche l'URL di fallback verso `SentinelHub/R-08-v7.2a` (pesi disponibili nelle **GitHub Releases**) |
|
| 55 |
+
| 3 | Memoria in inferenza (`float32`, Apple M1 Max) | Footprint RAM totale indicato come `~120–140 MB` (`~240 MB` Transformer) | **Memoria GPU MPS di picco**: `214,6 MB` (`Cristallo-50M`, `46,4M` param), `261,4 MB` (`Transformer`, `58,9M` param), `375,8 MB` (`R-08 3 sfere`, `57,1M` param). **RAM processo (RSS)** dopo caricamento `mmap=True`: `401–461 MB` | Aggiornato con le misure reali del benchmark A6 |
|
| 56 |
+
| 4 | Velocità ed energia per token generato (decodifica continua 64→192 token su M1 Max `float32`) | Indicati `~140 tok/s` in generazione singola | **Velocità media misurata**: `19,2 ± 1,5 tok/s` (`R-08 3 sfere`), `44,7 ± 2,5 tok/s` (`Cristallo-50M`), `83,2 ± 1,1 tok/s` (`Transformer`). **Energia netta per token**: `331 ± 28 mJ/tok` (`Cristallo`), `342 ± 50 mJ/tok` (`Transformer`), `521 ± 85 mJ/tok` (`R-08 3 sfere`, potenza istantanea `+9,8 W`) | Aggiornato con i dati misurati in utilizzo reale (inferenza) |
|
| 57 |
+
|
| 58 |
+
---
|
| 59 |
+
|
| 60 |
> ### 💼 Investment, Compute Grants & Enterprise Licensing (Investimenti & Partnership Industriali)
|
| 61 |
> 🇬🇧 **Sentinel** is scaling the **Geodesic Pyramidal Sphere Architecture (`R-08`)** from 50M to **110M–1B+ parameters**, with **a patent application filed at the Italian Patent and Trademark Office (UIBM)**.
|
| 62 |
> **Open to Seed / Deep-Tech Investment, GPU/TPU Compute Grants, and Enterprise R&D Partnerships.**
|
| 63 |
> 🇮🇹 **Aperto a Investimenti Seed / Deep-Tech, Grant Computazionali GPU/TPU e Licenze Industriali Enterprise.**
|
| 64 |
> 📩 **Contact Founder & Inventor Thomas Seri:** 🌐 **[www.sentinelhub.eu](https://www.sentinelhub.eu)** | 🐙 **[GitHub (@Thomasseri)](https://github.com/Thomasseri)** | 🤗 **[Hugging Face (@SentinelHub)](https://huggingface.co/SentinelHub)** | 💬 **[Open an Inquiry / Issue](https://github.com/Thomasseri/R-08/issues/new)**
|
| 65 |
|
|
|
|
| 66 |
|
| 67 |
## 🎯 Obiettivo Scientifico dello Studio A/B
|
| 68 |
|
|
|
|
| 74 |
- **Transformer Baseline:** **14 strati di attenzione densa continua** token-to-token ($d_{\text{model}}=512$, 8 teste).
|
| 75 |
- **Sentinel R-08 (v7 Pyramid):** **Soli 2 strati di attenzione densa** assistiti da 3 geosfere triangolari a 80 facce e centro piramidale a 1-hop.
|
| 76 |
|
|
|
|
| 77 |
|
| 78 |
## 📊 Benchmark Comparativi A/B (Risultati di Laboratorio)
|
| 79 |
|
|
|
|
| 88 |
| **Throughput Training (MPS)** | **~10.150 tok/s** | **~7.200 tok/s** | **~7.694 tok/s** | ~8.650 tok/s | ~8.650 tok/s | Elevata efficienza computazionale |
|
| 89 |
| **Impronta Memoria KV-Cache (512 ctx)** | **0.8 MB** *(2.1 MB/seq)* | **0.8 MB** *(2.1 MB/seq)* | **0.8 MB** *(2.1 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | 5.6 MB *(14.7 MB/seq)* | **-85.7% traffico RAM/Cache** 💾 |
|
| 90 |
|
|
|
|
| 91 |
|
| 92 |
## 📈 Grafici Lineari di Efficienza Hardware & Token
|
| 93 |
|
|
|
|
| 97 |
### 2. Footprint Memoria RAM KV-Cache vs Lunghezza Contesto
|
| 98 |

|
| 99 |
|
|
|
|
| 100 |
|
| 101 |
## 🔬 Considerazioni e Riscontri Scientifici
|
| 102 |
|
|
|
|
| 106 |
2. **Efficienza Geodetica di R-08:**
|
| 107 |
- Sentinel R-08 raggiunge l'**80.95%** su BLiMP-IT eliminando l'85.7% dell'attenzione densa e sostituendola con il routing sferico triangolare a 80 facce, dimostrando un'efficienza ideale per Edge AI e dispositivi embedded a batteria.
|
| 108 |
|
|
|
|
| 109 |
|
| 110 |
## 🚀 Utilizzo Rapido (Inference Quickstart)
|
| 111 |
|
|
|
|
| 138 |
print(prompt + risposta)
|
| 139 |
```
|
| 140 |
|
|
|
|
| 141 |
|
| 142 |
## 📦 Checkpoint & File Inclusi
|
| 143 |
|
|
|
|
| 147 |
- **`model_pretrain_185k.safetensors` (174 MB):** Checkpoint dopo 185.000 step di pretraining Chinchilla puro (82.53% BLiMP-IT).
|
| 148 |
- **`tokenizer.json` & `tokenizer_config.json`:** Compatibilità standard Hugging Face `AutoTokenizer`.
|
| 149 |
|
|
|
|
| 150 |
|
| 151 |
## 📜 Licenza, Etica e Citazione
|
| 152 |
|