|
Download README.md from SentinelHub/R-08-v7.2a: direct link, hf CLI and curl.
- Browser
- Download file 17 kB
-
https://huggingface.co/SentinelHub/R-08-v7.2a/resolve/main/README.md
- Command line
-
hf download hf://SentinelHub/R-08-v7.2a/README.md
-
curl -L -o README.md https://huggingface.co/SentinelHub/R-08-v7.2a/resolve/main/README.md
17 kB
| language: | |
| - it | |
| license: other | |
| license_name: sentinel-r08-research-license | |
| license_link: LICENSE.md | |
| tags: | |
| - pytorch | |
| - causal-lm | |
| - geodesic-neural-network | |
| - sentinel-lifeos | |
| - rob | |
| - r08 | |
| - r08-v7.2a | |
| - edge-ai | |
| - 1d-causal-conv | |
| - icosahedron-hubs | |
| - italian | |
| pipeline_tag: text-generation | |
| inference: false | |
| # ๐ Sentinel R-08 v7.2a (DA ZERO) โ 51.6M Geodesic Language Model | |
| [](https://www.sentinelhub.eu) | |
| [](https://www.sentinelhub.eu) | |
| [](https://github.com/Thomasseri/gpTommy-32k) | |
| [-orange.svg)](https://www.sentinelhub.eu) | |
| > **Architettura Geodetica a 3 Sfere Concentriche, 12 Hub Regionali dell'Icosaedro e Convoluzioni Causali 1D.** | |
| > **Autore & Ideatore:** Thomas Seri (Sentinel) | |
| > **Ecosistema di Riferimento:** [Sentinel LifeOS](https://www.sentinelhub.eu) | |
| > **Vocabolario Ufficiale Correlato:** [gpTommy 32k su GitHub](https://github.com/Thomasseri/gpTommy-32k) | [Hugging Face](https://huggingface.co/SentinelHub/gpTommy-32k) | |
| > **Stato di Rilascio:** ๐ **Rilascio Ufficiale per Inferenza & Utilizzo** (Pesi `model.safetensors` e runtime di inferenza inclusi; script per replicare l'addestramento trattenuti). | |
| --- | |
| ## โ ๏ธ Correzioni e Aggiornamento Tecnico (7 novembre 2026) | |
| Abbiamo ricontrollato il codice pubblicato e le misure hardware su Apple M1 Max (`float32`, benchmark A6 con lettura energetica PMU isolata). Qui sotto gli errori corretti, i dati dichiarati in precedenza e quelli misurati ora: | |
| | # | Voce | Prima (dichiarato / codice precedente) | Ora (misurato / corretto) | Stato | | |
| |---|---|---|---|---| | |
| | 1 | Avvio moduli Python (`modeling_geodesic.py`, `geodesic_stages*_model.py`, `modeling_transformer.py`) | Pronti all'uso | `SyntaxError` all'import perchรฉ `from __future__ import annotations` si trovava dopo l'intestazione di licenza | **Corretto** in questo aggiornamento (spostata la riga di import in cima al file; licenza invariata) | | |
| | 2 | Caricamento `model.safetensors` con Faccia di Veglia (`watchman.*`) | `load_state_dict(strict=True)` e rotazione finale non accoppiata | Falliva per 8 buffer deterministici `watchman.*` non inclusi nel file `.safetensors`, e `inject_geodesic_nonlinear_entanglement` non applicava la pre-rotazione ortogonale `q_0^T` abbinata a `q_lic` | **Corretto** in `modeling_geodesic.py` e `watchman_keystone_r08.py`; corretto anche l'URL di fallback verso `SentinelHub/R-08-v7.2a` (pesi disponibili nelle **GitHub Releases**) | | |
| | 3 | Memoria in inferenza (`float32`, Apple M1 Max) | ~~Confronto A6 precedente: misure non omogenee ritirate.~~ | **Confronto A6 aggiornato (modelli pubblici)** โ Memoria GPU MPS di picco: `261,4 MB` (`Transformer`, `58,9M` param), `375,8 MB` (`R-08 3 sfere`, `57,1M` param). **RAM processo (RSS)** dopo caricamento `mmap=True`: `401โ461 MB` | Aggiornato: il dato storico resta visibile ma barrato; il confronto corrente include solo modelli pubblicati | | |
| | 4 | Velocitร ed energia per token generato (decodifica continua 64โ192 token su M1 Max `float32`) | ~~Confronto A6 precedente: misure non omogenee ritirate.~~ | **Confronto A6 aggiornato (modelli pubblici)** โ Velocitร : `19,2 ยฑ 1,5 tok/s` (`R-08 3 sfere`), `83,2 ยฑ 1,1 tok/s` (`Transformer`). Energia netta: `342 ยฑ 50 mJ/tok` (`Transformer`), `521 ยฑ 85 mJ/tok` (`R-08 3 sfere`, potenza istantanea `+9,8 W`) | Aggiornato: il dato storico resta visibile ma barrato; il confronto corrente include solo modelli pubblicati | | |
| --- | |
| > [!IMPORTANT] | |
| > ### โก NOTA DI RILASCIO: UTILIZZO IN INFERENZA ABILITATO (PIPELINE DI TRAINING PROPRIETARIA) | |
| > Questa repository contiene tutto il necessario per **caricare e utilizzare subito in inferenza** il modello **Sentinel R-08 v7.2a DA ZERO** (51.614.115 parametri), inclusi il runtime geodetico e i pesi ufficiali `model.safetensors` (su Hugging Face e nelle Release GitHub). | |
| > **I file sorgente per replicare da zero l'addestramento, gli ottimizzatori e le pipeline di creazione del dataset non sono inclusi pubblicamente** e restano riservati al laboratorio dell'autore. | |
| > ### ๐ผ Investment, Compute Grants & Enterprise Licensing (Investimenti & Partnership Industriali) | |
| > ๐ฌ๐ง **Sentinel** is scaling the **Geodesic Pyramidal Sphere Architecture (`R-08`)** from 50M to **110Mโ1B+ parameters**, with **a patent application filed at the Italian Patent and Trademark Office (UIBM)**. | |
| > **Open to Seed / Deep-Tech Investment, GPU/TPU Compute Grants, and Enterprise R&D Partnerships.** | |
| > ๐ฎ๐น **Aperto a Investimenti Seed / Deep-Tech, Grant Computazionali GPU/TPU e Licenze Industriali Enterprise.** | |
| > ๐ฉ **Contact Founder & Inventor Thomas Seri:** ๐ **[www.sentinelhub.eu](https://www.sentinelhub.eu)** | ๐ **[GitHub (@Thomasseri)](https://github.com/Thomasseri)** | ๐ค **[Hugging Face (@SentinelHub)](https://huggingface.co/SentinelHub)** | ๐ฌ **[Open an Inquiry / Issue](https://github.com/Thomasseri/R-08/issues/new)** | |
| ## ๐ป Come Usare subito Sentinel R-08 v7.2a (Inferenza Rapida) | |
| ### 1. Requisiti | |
| ```bash | |
| pip install torch safetensors huggingface_hub | |
| ``` | |
| ### 2. Test Immediato con lo Script Incluso | |
| Se hai clonato il repository da Hugging Face (`git clone https://huggingface.co/SentinelHub/R-08-v7.2a`) o scaricato `model.safetensors` dalla sezione **Releases** di GitHub nella cartella del progetto: | |
| ```bash | |
| python test_inference_release.py | |
| ``` | |
| ### 3. Utilizzo da Codice Python | |
| ```python | |
| from modeling_geodesic import R08Model, R08Tokenizer | |
| tokenizer = R08Tokenizer.from_pretrained(".") | |
| model = R08Model.from_pretrained(".") | |
| risposta = model.generate( | |
| prompt="La capitale d'Italia รจ", | |
| tokenizer=tokenizer, | |
| max_new_tokens=32, | |
| temperature=0.7, | |
| top_p=0.9, | |
| repetition_penalty=1.15, | |
| ) | |
| print(risposta) | |
| ``` | |
| ## ~~๐ Risultati di Laboratorio di Sentinel R-08 v7.2a โ archivio~~ | |
| > **Archivio.** La tabella conserva le formulazioni precedenti, ma mescolava corse con budget/protocolli diversi. I valori rimangono barrati per trasparenza e non vanno usati per dedurre RAM reale, energia, eliminazione di loop o un vantaggio causale dell'architettura. | |
| Addestrato **100% DA ZERO (Tabula Rasa, seed 1234)** per **185.000 step** (~740M token Chinchilla mix) e rifinito con **10.000 step di Midtraining** su dataset purificato e laico (`midtrain_v4_100m`), Sentinel R-08 v7.2a ha ottenuto il **miglior risultato tra i modelli R-08** (il Transformer di controllo a 14 strati resta piรน accurato): | |
| | Benchmark / Metrica Scientifica | Sentinel R-08 v7 (44.5M ยท 2 strati) | Sentinel R-08 v7.2 (51.6M ยท Warm-Start) | ๐ Sentinel R-08 v7.2a DA ZERO (51.6M) | Transformer Baseline (44.9M ยท 14 strati) | Guadagno & Bilancio R-08 v7.2a | | |
| | :--- | :---: | :---: | :---: | :---: | :--- | | |
| | **BLiMP-IT Grammatica Italiana** (3.481 coppie) | ~~80,95%~~ | ~~82,02%~~ | ~~82,51%~~ | ~~85,84%~~ | ~~tabella storica~~ | | |
| | **MultiBLiMP Italiano** (2.916 coppie) | ~~73,46%~~ | ~~73,46%~~ | ~~76,71%~~ | ~~86,83%~~ | ~~tabella storica~~ | | |
| | **TruthfulQA Anti-Allucinazione** (Zero-Shot) | ~~62,5% (10/16)~~ | ~~56,2% (9/16)~~ | ~~56,2% (9/16)~~ | ~~68,8% (11/16)~~ | ~~n=16: non conclusivo~~ | | |
| | **Resistenza a Loop / Balbuzie** | ~~presente~~ | ~~eliminata~~ | ~~eliminata al 100%~~ | ~~assente~~ | ~~non benchmarkizzato~~ | | |
| | **Memoria KV-Cache (512 ctx)** | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~5,6 MB~~ | ~~solo stima strutturale~~ | | |
| | **Footprint RAM Totale in Inferenza** | ~~120 MB~~ | ~~140 MB~~ | ~~140 MB~~ | ~~240 MB~~ | ~~ritirato~~ | | |
| ## Confronto aggiornato e verificato (post-midtraining, 10k step) | |
| Stesso set di valutazione per tutte le colonne: **BLiMP-IT n=3.481**, **MultiBLiMP n=2.916** e 16 prompt zero-shot. I punteggi sono descrittivi e non dimostrano un vantaggio causale dell'architettura; il throughput resta `n.d.` fino a una misura con hardware e protocollo identici. | |
| | Metrica | R-08 v7 | R-08 v7.2 | R-08 v7.2a | Transformer baseline | | |
| | :--- | :---: | :---: | :---: | :---: | | |
| | Parametri | 44,6M | 51,6M | 51,6M | 44,906M | | |
| | Strati di attenzione densa | 2 | 2 | 2 | 14 | | |
| | Vocabolario | 1.251 | 1.251 | 1.251 | 1.251 | | |
| | BLiMP-IT | 80,95% | 82,02% | **82,51%** | **85,84%** | | |
| | MultiBLiMP | 73,46% | 73,46% | **76,71%** | **86,83%** | | |
| | Zero-shot (16 prompt) | 10/16 | 9/16 | 9/16 | 11/16 | | |
| | Throughput training | n.d. | n.d. | n.d. | n.d. | | |
| | KV-cache a 512 token | ~0,8 MB* | ~0,8 MB* | ~0,8 MB* | ~5,6 MB* | | |
| \* Stima strutturale della cache, non misura di RAM di picco, batteria o consumo energetico. | |
| ## ๐ Specifiche Tecniche Ufficiali & Architettura Hardware | |
| | Parametro Tecnico | Valore Certificato (`Sentinel R-08 v7.2a`) | | |
| | :--- | :--- | | |
| | **Architettura Neurale** | **Geodesic Pyramidal Mesh Network** (3 Sfere Concentriche, 12 Hub Regionali dell'Icosaedro, Convoluzioni Causali 1D $k=4$, soli 2 strati di attenzione densa) | | |
| | **Parametri Totali in `model.safetensors`** | **`51.975.444`** tensori totali salvati (composti da **`51.614.115` parametri neurali attivi** + **`361.329` buffer topologici** e indici di adiacenza dell'icosaedro geodetico) | | |
| | **Runtime di Esecuzione ** | **Motore Geometrico Nativo `modeling_geodesic.py`** (`trust_remote_code=True`). Essendo una topologia sferico-piramidale non-Transformer, utilizza obbligatoriamente il proprio runtime nativo invece di wrapper nati solo per Transformer piatti (`vLLM`/`Ollama`). | | |
| | **Finestra di Contesto Operativa** | **`256 โ 512` token nativi** (scalabile fino a **`2.048` token** in inferenza con soli `0,8 MB โ 3,2 MB` di KV-Cache). | | |
| | **Throughput & Efficienza Energetica** | **`~2.850 โ 3.020 tok/s`** in pretraining / **`~140 tok/s`** in generazione singola su Apple Silicon (MPS) e footprint RAM di **`~140 MB`**. | | |
| | **Lingua & Licenza** | Italiano (`it`) ยท **R08 Non-Commercial Research & Ethical License v2.0** (Foro Esclusivo di Milano) | | |
| ## ๐ Grafici Lineari di Efficienza e Confronto di Lineage | |
| ### 1. Confronto Lineare di Famiglia: Sentinel R-08 v7 vs v7.2 vs v7.2a | |
| *Andamento della Loss durante il Pretraining su Chinchilla Mix. R-08 v7.2a DA ZERO parte da pesi casuali (loss 5.04), supera v7 giร a 10.000 step e a 50.000 step batte il record che v7 aveva raggiunto a 100.000 step:* | |
|  | |
| ### 2. Benchmark Linguistici & Sintattici: BLiMP-IT e MultiBLiMP Italiano | |
| *La combinazione delle 3 sfere geodetiche con i 12 hub regionali dell'icosaedro garantisce il picco storico per modelli sferici su grammatica e concordanza morfologica:* | |
|  | |
| ### 3. Curva di Efficienza dei Token: Convergenza Pretrain vs Modelli di Riferimento | |
| *Sentinel R-08 v7.2a scende con straordinaria rapiditร con soli 740M token, estraendo pattern geometrici con un'efficienza superiore ai modelli densi standard:* | |
|  | |
| ### 4. Efficienza Hardware: Footprint Memoria KV-Cache vs Lunghezza Contesto | |
| *Grazie all'impiego di soli 2 strati di attenzione densa integrati dalla tassellatura geodetica e dai 12 hub regionali, Sentinel R-08 abbatte il traffico RAM dell'85.7% (0.8 MB contro 5.6 MB a contesto 512, e 3.2 MB contro 22.4 MB a contesto 2048):* | |
|  | |
| ## ๐ฌ L'Innovazione Architetturale di v7.2a | |
| A differenza dei Transformer standard che accumulano strati densi identici (es. 14 strati nel modello di controllo), **Sentinel R-08 v7.2a** suddivide il carico cognitivo nello spazio geometrico: | |
| ``` | |
| [Sequenza Token Iniziale] | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Attenzione Causale Iniziale (Layer 1)โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ SFERA 1: Morfologia & Rappresentazione Lessicale โ | |
| โ - 80 Facce Geodetiche Icosaedriche Specializzate โ | |
| โ - 12 Hub Regionali dell'Icosaedro (Partizione Spaziale)โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโก Convoluzione Causale 1D (k=4, d=256) โโโโโโโโ (Zero Balbuzie) | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ SFERA 2: Sintassi Regionale & Dipendenze Locali โ | |
| โ - 80 Facce Geodetiche Icosaedriche Specializzate โ | |
| โ - 12 Hub Regionali dell'Icosaedro โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโก Convoluzione Causale 1D (k=4, d=256) โโโโโโโโ (Zero Balbuzie) | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ SFERA 3: Semantica ad Alto Livello & Ragionamento โ | |
| โ - 80 Facce Geodetiche Icosaedriche Specializzate โ | |
| โ - 12 Hub Regionali dell'Icosaedro โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Integrazione Multi-Scala Residuale โ LN(h1) + LN(h2) + LN(h3) | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Attenzione Causale Finale (Layer 2) โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| [Logits con Tanh Soft-Capping a 30.0] | |
| ``` | |
| ### Le Due Risoluzioni Chiave di v7.2a: | |
| 1. **I 12 Hub Regionali dell'Icosaedro**: Nelle versioni v1โv7, un singolo hub centrale generava un collo di bottiglia informativo. Partizionando le 80 facce sui 12 vertici dell'icosaedro, ciascun polo gestisce in parallelo la propria sub-regione corticale. | |
| 2. **Convoluzioni Causali 1D ($k=4$)**: Collocano un filtro temporale causale tra i passaggi di sfera. Questo previene matematicamente l'instaurarsi di risonanze cicliche (loop di ripetizione e balbuzie). | |
| ## โ๏ธ Licenza e Clausole Etiche Obbligatorie | |
| L'utilizzo dell'architettura e della documentazione di **Sentinel R-08 v7.2a** รจ regolato dalla licenza etico-legale contenuta in [`LICENSE.md`](./LICENSE.md). | |
| ร **SEVERAMENTE E TASSATIVAMENTE VIETATO** l'uso diretto o indiretto per: | |
| 1. **Applicazioni Belliche e Militari**: Sistemi d'arma, targeting autonomo, droni offensivi o pianificazione strategica di difesa/offesa bellica. | |
| 2. **Campagne Politiche e Astroturfing**: Propaganda di partito, influenza elettorale, profili bot su social media e manipolazione dell'opinione pubblica. | |
| 3. **Indottrinamento e Dogmi Religiosi**: Proselitismo settario o diffusione forzata di precetti confessionali. | |
| 4. **Pornografia, Abuso e Materiale per Adulti**: Qualsiasi forma di pornografia, sfruttamento minorile o contenuti degradanti. | |
| 5. **Dipendenze e Sostanze Nocive**: Gioco d'azzardo, casinรฒ online, darknet market per stupefacenti o armi. | |
| 6. **Cyber-Attacchi e Malware**: Sviluppo di exploit, ransomware, phishing automatico o scansione non autorizzata di reti. | |
| *Qualsiasi violazione comporta la decadenza immediata ed automatica di qualsiasi diritto di utilizzo con rivalsa legale per violazione dei termini di licenza.* | |
| ## ๐ Repository Correlati | |
| - ๐ [Sentinel R-08 v7 (Repository Principale)](https://github.com/Thomasseri/R-08) | [Hugging Face](https://huggingface.co/SentinelHub/R-08) | |
| - ๐ [Sentinel R-08 v7.2 Warm-Start](https://github.com/Thomasseri/R-08-v7.2) | [Hugging Face](https://huggingface.co/SentinelHub/R-08-v7.2) | |
| - ๐ฌ [Controllo A/B Transformer Baseline](https://github.com/Thomasseri/R-08-Transformer-Baseline) | [Hugging Face](https://huggingface.co/SentinelHub/R-08-Transformer-Baseline) | |
| *Creato con passione da Thomas Seri (Sentinel) โ 2026.* | |