|
Download README.md from SentinelHub/R-08: direct link, hf CLI and curl.
- Browser
- Download file 18.9 kB
-
https://huggingface.co/SentinelHub/R-08/resolve/main/README.md
- Command line
-
hf download hf://SentinelHub/R-08/README.md
-
curl -L -o README.md https://huggingface.co/SentinelHub/R-08/resolve/main/README.md
18.9 kB
| language: | |
| - it | |
| license: other | |
| license_name: sentinel-r08-research-license | |
| license_link: LICENSE.md | |
| tags: | |
| - pytorch | |
| - causal-lm | |
| - geodesic-neural-network | |
| - sentinel-lifeos | |
| - rob | |
| - r08 | |
| - italian | |
| pipeline_tag: text-generation | |
| inference: false | |
| <p align="center"> | |
| <img src="assets/r08_logo.jpg" width="320" alt="Sentinel R08 — Pocket Core" style="border-radius: 16px;" /> | |
| </p> | |
| # R08 (Rob) — Geodesic Mesh Neural Network (Pyramidal Sphere 50M) | |
| ### *Il Cuore Neurale Geometrico di SENTINEL LifeOS* | |
| [-orange.svg)](https://github.com/Thomasseri/R-08) | |
| [](https://www.sentinelhub.eu) | |
| [](https://www.sentinelhub.eu) | |
| [](https://github.com/Thomasseri/R-08) | |
| [](https://github.com/Thomasseri/R-08) | |
| [-yellow.svg)](https://github.com/Thomasseri/R-08) | |
| [](LICENSE.md) | |
| **Nome Ufficiale del Modello:** **R08** *(per gli amici **Rob**, da Robot)* | |
| **Progetto Padre & Ecosistema:** **[Sentinel LifeOS](https://www.sentinelhub.eu)** *(Il Sistema Operativo di Vita e Gestione)* | |
| **Sito Ufficiale:** **[www.sentinelhub.eu](https://www.sentinelhub.eu)** | |
| **Autore & Ideatore:** Thomas Seri (Sentinel) | |
| **Organizzazione:** SentinelHub | |
| **Hardware di Sviluppo:** Apple Silicon (Metal Performance Shaders - MPS) | |
| **Versione Successiva Evoluta:** 🚀 [**Sentinel R-08 v7.2 (51.6M)**](https://huggingface.co/SentinelHub/R-08-v7.2) | [GitHub v7.2](https://github.com/Thomasseri/R-08-v7.2) | |
| **Nuovo modello:** 🌟 [**Sentinel R-08 v7.2a DA ZERO (51.6M)**](https://github.com/Thomasseri/R-08-v7.2a) | [Hugging Face v7.2a](https://huggingface.co/SentinelHub/R-08-v7.2a) | |
| > [!TIP] | |
| > ### 🚀 È Rilasciato il Nuovo Modello Sentinel R08-v7.2 (51.6M) & v7.2a DA ZERO | |
| > L'evoluzione neurale geometrica di Sentinel LifeOS è ora disponibile con **Convoluzioni Causali 1D Inter-Stadio ($k=4$)** e **12 Hub Regionali dell'Icosaedro**: | |
| > - **BLiMP-IT: 82.02% (v7.2) e 82.51% (v7.2a DA ZERO), il migliore tra gli R-08** (Transformer di controllo a 14 strati: 85.84%) | |
| > - **MultiBLiMP: 76.71% (v7.2a)** (Transformer di controllo: 86.83%) | |
| > - **Eliminazione totale di loop e balbuzie ciclica** nei testi lunghi | |
| > - **-85.7% di memoria KV-Cache** rispetto al Transformer di controllo (2 strati di attenzione contro 14) | |
| > - 🌟 **GitHub v7.2a:** [Thomasseri/R-08-v7.2a](https://github.com/Thomasseri/R-08-v7.2a) | [SentinelHub/R-08-v7.2a](https://huggingface.co/SentinelHub/R-08-v7.2a) | |
| > - 🐙 **GitHub v7.2:** [Thomasseri/R-08-v7.2](https://github.com/Thomasseri/R-08-v7.2) | [SentinelHub/R-08-v7.2](https://huggingface.co/SentinelHub/R-08-v7.2) | |
| --- | |
| ## ⚠️ Correzioni e Aggiornamento Tecnico (7 novembre 2026) | |
| Abbiamo ricontrollato il codice pubblicato e le misure hardware su Apple M1 Max (`float32`, benchmark A6 con lettura energetica PMU isolata). Qui sotto gli errori corretti, i dati dichiarati in precedenza e quelli misurati ora: | |
| | # | Voce | Prima (dichiarato / codice precedente) | Ora (misurato / corretto) | Stato | | |
| |---|---|---|---|---| | |
| | 1 | Avvio moduli Python (`modeling_geodesic.py`, `geodesic_stages*_model.py`, `modeling_transformer.py`) | Pronti all'uso | `SyntaxError` all'import perché `from __future__ import annotations` si trovava dopo l'intestazione di licenza | **Corretto** in questo aggiornamento (spostata la riga di import in cima al file; licenza invariata) | | |
| | 2 | Caricamento `model.safetensors` con Faccia di Veglia (`watchman.*`) | `load_state_dict(strict=True)` e rotazione finale non accoppiata | Falliva per 8 buffer deterministici `watchman.*` non inclusi nel file `.safetensors`, e `inject_geodesic_nonlinear_entanglement` non applicava la pre-rotazione ortogonale `q_0^T` abbinata a `q_lic` | **Corretto** in `modeling_geodesic.py` e `watchman_keystone_r08.py`; corretto anche l'URL di fallback verso `SentinelHub/R-08-v7.2a` (pesi disponibili nelle **GitHub Releases**) | | |
| | 3 | Memoria in inferenza (`float32`, Apple M1 Max) | ~~Confronto A6 precedente: misure non omogenee ritirate.~~ | **Confronto A6 aggiornato (modelli pubblici)** — Memoria GPU MPS di picco: `261,4 MB` (`Transformer`, `58,9M` param), `375,8 MB` (`R-08 3 sfere`, `57,1M` param). **RAM processo (RSS)** dopo caricamento `mmap=True`: `401–461 MB` | Aggiornato: il dato storico resta visibile ma barrato; il confronto corrente include solo modelli pubblicati | | |
| | 4 | Velocità ed energia per token generato (decodifica continua 64→192 token su M1 Max `float32`) | ~~Confronto A6 precedente: misure non omogenee ritirate.~~ | **Confronto A6 aggiornato (modelli pubblici)** — Velocità: `19,2 ± 1,5 tok/s` (`R-08 3 sfere`), `83,2 ± 1,1 tok/s` (`Transformer`). Energia netta: `342 ± 50 mJ/tok` (`Transformer`), `521 ± 85 mJ/tok` (`R-08 3 sfere`, potenza istantanea `+9,8 W`) | Aggiornato: il dato storico resta visibile ma barrato; il confronto corrente include solo modelli pubblicati | | |
| --- | |
| > ### 💼 Investment, Compute Grants & Enterprise Licensing (Investimenti & Partnership Industriali) | |
| > 🇬🇧 **Sentinel** is scaling the **Geodesic Pyramidal Sphere Architecture (`R-08`)** from 50M to **110M–1B+ parameters**, with **a patent application filed at the Italian Patent and Trademark Office (UIBM)**. | |
| > **Open to Seed / Deep-Tech Investment, GPU/TPU Compute Grants, and Enterprise R&D Partnerships.** | |
| > 🇮🇹 **Aperto a Investimenti Seed / Deep-Tech, Grant Computazionali GPU/TPU e Licenze Industriali Enterprise.** | |
| > 📩 **Contact Founder & Inventor Thomas Seri:** 🌐 **[www.sentinelhub.eu](https://www.sentinelhub.eu)** | 🐙 **[GitHub (@Thomasseri)](https://github.com/Thomasseri)** | 🤗 **[Hugging Face (@SentinelHub)](https://huggingface.co/SentinelHub)** | 💬 **[Open an Inquiry / Issue](https://github.com/Thomasseri/R-08/issues/new)** | |
| ## 🧭 Cos'è Sentinel LifeOS e perché nasce R08 | |
| **Sentinel** è più di un software: è un **LifeOS (Sistema Operativo di Vita)** progettato per unificare in un unico ecosistema gli **obiettivi personali**, il **controllo economico**, la **gestione aziendale**, l'**automazione industriale (PLC)** e la **manutenzione predittiva dei macchinari**. | |
| Mentre i sistemi tradizionali sono frammentati tra decine di app ed Excel, Sentinel rimette la persona e l'azienda al centro. Per dare a Sentinel una vera intelligenza operativa autonoma, locale e non dipendente da cloud esterni, è nato **R08 (Rob)**: un modello neurale compatto da 45 Milioni di parametri basato su una geometria interamente nuova. | |
| ## 🌟 L'Innovazione Architetturale di R08 | |
| Mentre i Large Language Model convenzionali si affidano al solito Transformer "piatto" a matrici dense con complessità quadratica $O(N^2)$, **R08** introduce una topologia sferico-piramidale non-euclidea: | |
| 1. **Topologia a Sfera Geodetica (Buckminster Fuller)**: | |
| - I pesi e le rappresentazioni concettuali sono distribuiti sulle **80 facce triangolari di un icosaedro geodetico regolarizzato** a 42 vertici proiettato su una sfera 3D. | |
| - Ogni token viene instradato nello spazio geometrico sferico, favorendo un clustering naturale dei concetti affini e riducendo drasticamente le allucinazioni. | |
| 2. **Centro Piramidale (Pyramidal Center Hub a 1-Hop)**: | |
| - Al centro della sfera risiede un super-nodo piramidale connesso a tutte le 80 facce triangolari (753.408 parametri dedicati). | |
| - Consente lo scambio istantaneo di informazioni globali polo-polo in un solo passaggio, eliminando i colli di bottiglia. | |
| 3. **Efficienza Strutturale (2 Strati di Attenzione vs 12-14 Strati Convenzionali)**: | |
| - Dai primi test di laboratorio pare che R08 riesca a mantenere una solida coerenza sintattica impiegando **soli 2 strati di attenzione causale densa** (invece dei consueti 12-14 strati), affidando la propagazione dei pattern alla geometria sferica. | |
| 4. **Cascata Multilivello a 3 Stadi in Serie**: | |
| - **Stadio 1 (Pezzi):** Subword grain fine (1.251 token). | |
| - **Stadio 2 (Parole):** Lessico esteso (17.908 token). | |
| - **Stadio 3 (Unioni):** Sintagmi e unioni concettuali (20.006 token). | |
| 5. **Integrazione con Sentinel Knowledge Ecosystem**: | |
| - R08 è progettato nativamente per accoppiarsi al motore ontologico a 4 livelli della piattaforma [Sentinel LifeOS](https://www.sentinelhub.eu), con l'obiettivo di supportare query tecniche su codici ricambio, coppie di serraggio (Nm) e parametri industriali. | |
| ## ~~📊 Benchmark Comparativi di Laboratorio & Studio A/B (~45M - 125M) — archivio~~ | |
| > **Archivio.** La tabella seguente conserva i numeri pubblicati in precedenza, ma combina budget e protocolli diversi; perciò non costituisce un A/B rigoroso e non va usata per dedurre velocità, RAM reale, energia o causalità architetturale. I valori sono mantenuti barrati per tracciabilità. | |
| ### ~~1. Studio A/B Diretto: Sentinel R08 (v7 Pyramid) vs Transformer Baseline (Chinchilla 185k)~~ | |
| > [!IMPORTANT] | |
| > **Modello di Controllo Open Source per il Paragone Scientifico (Vocabolario 1.2k pezzi):** | |
| > Per consentire alla community scientifica di replicare ed esaminare in modo trasparente tutti i risultati comparativi rispetto all'architettura a **geoide piramidale (Sentinel R-08)**, il modello Transformer denso di controllo utilizzato per il benchmark (44.9M parametri, 14 strati di attenzione causale, stesso identico dataset Chinchilla e stesso vocabolario a 1.2k pezzi subword) è interamente accessibile con codice sorgente e pesi safetensors: | |
| > - 🐙 **GitHub:** [Thomasseri/R-08-Transformer-Baseline](https://github.com/Thomasseri/R-08-Transformer-Baseline) | |
| > - 🤗 **Hugging Face Hub:** [SentinelHub/R-08-Transformer-Baseline](https://huggingface.co/SentinelHub/R-08-Transformer-Baseline) | |
| Per quantificare scientificamente il contributo dell'**architettura a 3 sfere geodetiche e centro piramidale** rispetto all'architettura standard a matrici dense, è stato condotto un esperimento di controllo A/B rigoroso: | |
| - **Pari Dati e Token:** Entrambi i modelli sono stati addestrati sullo stesso identico corpus (`v22_chinchilla_mix`, 0.74B token Chinchilla-optimal), stesso vocabolario a 1.251 pezzi (`vocab_stages`), stesso batch size e stesso hardware di sviluppo (Apple Silicon MPS). | |
| - **Confronto Strutturale:** **Sentinel R08** (v7 Pyramid, 44.5M) impiega **soli 2 strati di attenzione densa** integrati da 3 stadi di geosfere a 80 facce e centro piramidale a 1-hop; la **[Transformer Baseline](https://huggingface.co/SentinelHub/R-08-Transformer-Baseline)** (44.9M) adotta 14 strati di attenzione causale densa standard (GPT-2 style). Il codice sorgente e i checkpoint safetensors della baseline sono liberamente consultabili e scaricabili su [GitHub](https://github.com/Thomasseri/R-08-Transformer-Baseline) e [Hugging Face](https://huggingface.co/SentinelHub/R-08-Transformer-Baseline). | |
| | Metrica di Laboratorio | Sentinel R08 (v7) | 🚀 [**R-08 v7.2**](https://huggingface.co/SentinelHub/R-08-v7.2) | 🌟 [**R-08 v7.2a DA ZERO**](https://github.com/Thomasseri/R-08-v7.2a) | Transformer Baseline (185k Pre) | Transformer Baseline (10k Mid) | Vantaggio Architetturale R08 | | |
| | :--- | :---: | :---: | :---: | :---: | :---: | :---: | | |
| | **Parametri Totali** | ~~44.5M~~ | ~~51.6M~~ | ~~51.6M~~ | ~~44.9M~~ | ~~44.9M~~ | ~~Pesi equivalenti (~45-51M)~~ | | |
| | **Strati di Attenzione Densa** | ~~2 strati~~ | ~~2 strati~~ | ~~2 strati~~ | ~~14 strati~~ | ~~14 strati~~ | ~~−85,7% strati densi~~ | | |
| | **BLiMP-IT (Accuratezza Linguistica)** | ~~80,95%~~ | ~~82,02%~~ | ~~82,51%~~ | ~~82,53%~~ | ~~85,84%~~ | ~~confronto non omogeneo~~ | | |
| | **MultiBLiMP (Ragionamento Sintattico)** | ~~73,46%~~ | ~~73,46%~~ | ~~76,71%~~ | ~~85,15%~~ | ~~86,83%~~ | ~~confronto non omogeneo~~ | | |
| | **Resistenza Allucinazioni (Zero-Shot)** | ~~62,5%~~ | ~~56,2%~~ | ~~56,2%~~ | ~~56,2%~~ | ~~68,8%~~ | ~~n=16: non conclusivo~~ | | |
| | **Throughput Training (MPS)** | ~~circa 10.150 tok/s~~ | ~~circa 7.200 tok/s~~ | ~~circa 7.694 tok/s~~ | ~~circa 8.650 tok/s~~ | ~~circa 8.650 tok/s~~ | ~~ritirato: setup non omogeneo~~ | | |
| | **Impronta Memoria KV-Cache (512 ctx)** | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~0,8 MB~~ | ~~5,6 MB~~ | ~~5,6 MB~~ | ~~stima strutturale, non RAM/energia misurata~~ | | |
| ## Confronto aggiornato e verificato (post-midtraining, 10k step) | |
| Stesso set di valutazione per tutte le colonne: **BLiMP-IT n=3.481**, **MultiBLiMP n=2.916** e 16 prompt zero-shot. I punteggi descrivono qualità linguistica; non dimostrano un vantaggio causale dell'architettura. Il throughput è riportato come `n.d.` finché non sarà rimisurato con protocollo identico. | |
| | Metrica | R-08 v7 | R-08 v7.2 | R-08 v7.2a | Transformer baseline | | |
| | :--- | :---: | :---: | :---: | :---: | | |
| | Parametri | 44,6M | 51,6M | 51,6M | 44,906M | | |
| | Strati di attenzione densa | 2 | 2 | 2 | 14 | | |
| | Vocabolario | 1.251 | 1.251 | 1.251 | 1.251 | | |
| | BLiMP-IT | 80,95% | 82,02% | 82,51% | **85,84%** | | |
| | MultiBLiMP | 73,46% | 73,46% | 76,71% | **86,83%** | | |
| | Zero-shot (16 prompt) | 10/16 | 9/16 | 9/16 | 11/16 | | |
| | Throughput training | n.d. | n.d. | n.d. | n.d. | | |
| | KV-cache a 512 token | ~0,8 MB* | ~0,8 MB* | ~0,8 MB* | ~5,6 MB* | | |
| \* Stima strutturale della cache, non misura di RAM di picco, batteria o consumo energetico. | |
| ## 📈 Grafici Lineari di Efficienza Hardware & Token | |
| ### 1. Curva di Efficienza dei Token (Loss vs Token Visti) | |
|  | |
| ### 2. Footprint Memoria RAM KV-Cache vs Lunghezza Contesto | |
|  | |
| #### Insight Ingegneristico dello Studio A/B: | |
| 1. **Compromesso qualità / memoria:** Il Transformer a 14 strati densi ottiene una precisione grammaticale superiore (85.84% contro 80.95% – 82.51% su BLiMP-IT, 86.83% contro 73.46% – 76.71% su MultiBLiMP), ma richiede **7 volte più memoria di KV-Cache** in RAM (5.6 MB contro 0.8 MB a 512 token). | |
| 2. **Geometria Geodetica:** Sentinel R08 raggiunge l'**80.95% – 82.51%** su BLiMP-IT con **soli 2 strati di attenzione**, a circa 3–5 punti dal Transformer a 14 strati: un compromesso interessante per dispositivi con poca memoria. | |
| 3. **L'evoluzione di R-08 v7.2:** L'ipotesi sperimentale è stata validata con successo: con l'introduzione delle **Convoluzioni Causali 1D inter-sfera ($k=4$)** e dei **12 Poli Hub regionali dell'Icosaedro**, la generazione ha debellato i loop di balbuzie e l'accuratezza è balzata all'**82.02%** (vedi [R-08 v7.2](https://huggingface.co/SentinelHub/R-08-v7.2)). | |
| ### 2. Confronto con modelli esterni | |
| Un confronto con modelli open esterni (Pythia-70M, GPT-2, OPT, GPT-Neo) sugli stessi benchmark italiani non è ancora stato eseguito con uno script riproducibile. Le versioni precedenti di questa pagina riportavano numeri per questi modelli che non erano verificati: sono stati rimossi il 6/11/2026 e verranno ripubblicati solo dopo una misura reale. | |
| > [!NOTE] | |
| > - **Aperto alla Community:** Trattandosi di un'architettura sperimentale non convenzionale, questi numeri di laboratorio attendono ulteriori riscontri e repliche indipendenti. Il codice e i pesi sono 100% open source proprio per invitare ricercatori, ingegneri e appassionati a testare il modello nei loro ambienti e a condividere feedback, limiti o suggerimenti. | |
| ## 🚀 Utilizzo Rapido (Inference Quickstart) | |
| Il modello può essere eseguito localmente su qualsiasi computer (Mac Metal MPS, GPU CUDA o CPU) in 3 righe di codice: | |
| ```python | |
| from modeling_geodesic import R08Model, R08Tokenizer | |
| # 1. Carica Tokenizer e Modello dai pesi safetensors (Hugging Face Hub) | |
| tokenizer = R08Tokenizer.from_pretrained("SentinelHub/R-08") | |
| model = R08Model.from_pretrained("SentinelHub/R-08") | |
| # 2. Genera testo con sampling e repetition penalty | |
| prompt = "Utente: Ciao, come stai?\nAssistente:" | |
| risposta = model.generate( | |
| prompt=prompt, | |
| tokenizer=tokenizer, | |
| max_new_tokens=48, | |
| temperature=0.7, | |
| top_p=0.9, | |
| repetition_penalty=1.15 | |
| ) | |
| print(risposta) | |
| ``` | |
| ## 🔒 Proprietà Intellettuale & Licenza | |
| Il modello **R08** e il sistema **Sentinel LifeOS** sono distribuiti sotto la licenza **Sentinel R08 Non-Commercial Research & Ethical License** (consultabile in [`LICENSE.md`](LICENSE.md)). | |
| - ✅ **Consentito:** Studio personale, ricerca accademica, test di riproducibilità e citazione scientifica. | |
| - ❌ **Vietato a Scopi di Lucro:** Qualsiasi utilizzo commerciale, vendita, sublicenza o incorporazione in prodotti for-profit senza licenza commerciale scritta rilasciata da Sentinel. | |
| - 🚫 **Divieti Etici Assoluti (Acceptable Use Policy):** È severamente vietato qualsiasi impiego per scopi militari/bellici/armi, attacchi informatici/malware, campagne politiche e propaganda di partito, indottrinamento religioso, pornografia/sfruttamento sessuale, promozione di dipendenze (gioco d'azzardo/stupefacenti), decisioni mediche/finanziarie autonome non supervisionate o sorveglianza biometrica lesiva dei diritti umani. | |
| - 🛡️ **Tutela Marchio & Esonero Responsabilità:** Marchi "Sentinel" e "Thomas Seri" protetti contro uso non autorizzato. Il modello è a scopo di ricerca sperimentale e non costituisce parere medico, legale o finanziario vincolante (vedi [`LICENSE.md`](LICENSE.md)). | |
| ## 📋 Specifiche Tecniche Ufficiali & Architettura Hardware | |
| | Parametro Tecnico | Valore Certificato (`Sentinel R-08 v7.0`) | | |
| | :--- | :--- | | |
| | **Architettura Neurale** | **Geodesic Pyramidal Mesh Network** (3 Sfere Concentriche a 80 facce icosaedriche + Super-Nodo Piramidale Centrale, soli 2 strati di attenzione densa) | | |
| | **Parametri Totali in `model.safetensors`** | **`44.936.996`** tensori totali salvati (composti da **`44.575.667` parametri neurali attivi** + **`361.329` buffer topologici** e indici di adiacenza dell'icosaedro geodetico) | | |
| | **Runtime di Esecuzione** | **Motore Geometrico Nativo `modeling_geodesic.py`** (`trust_remote_code=True`). Essendo una topologia sferico-piramidale non-Transformer, utilizza obbligatoriamente il proprio runtime nativo invece di wrapper nati solo per Transformer piatti. | | |
| | **Finestra di Contesto Operativa** | **`256 – 512` token nativi** (valutata fino a **`2.048` token** in inferenza con soli `0,8 MB – 3,2 MB` di KV-Cache). | | |
| | **Benchmark** | **`80,95%` su BLiMP-IT** (3.481 coppie) e **`73,46%` su MultiBLiMP Italiano** (2.916 coppie). TruthfulQA ridotto: `62,5%` (10/16 domande, campione troppo piccolo per confronti). Footprint RAM **`~120 MB`**. | | |
| | **Lingua & Licenza** | Italiano (`it`) · **R08 Non-Commercial Research & Ethical License v2.0** (Foro Esclusivo di Milano) | | |