ThingsAI's picture
Upload folder using huggingface_hub
15b55f4 verified
|
Raw History Blame Contribute Delete
2.28 kB
metadata
license: apache-2.0
language:
  - it
  - en
pipeline_tag: text-generation
tags:
  - text-generation
  - conversational
  - instruct
  - small-language-model
  - italian
  - english
  - gated-deltanet
  - muon
library_name: safetensors
base_model: BranchingNLP/Grace-G1-55M

Grace-G1-55M-Instruct

Versione instruction-tuned di BranchingNLP/Grace-G1-55M: un assistente conversazionale bilingue IT/EN da 55M parametri, della famiglia Grace di BranchingNLP. Addestrato da zero, poi SFT.

Cos'è e cosa non è

È un modello giocattolo/di ricerca da 55M: conversa, si presenta, chiacchiera. Non è una calcolatrice né un'enciclopedia.

  • ✅ saluti, small talk, battute, risposte brevi, presentazione di sé
  • ⚠️ single-turn: dà il meglio una domanda alla volta; sul multi-turn lungo deriva
  • ❌ fatti: inventa date, nomi e luoghi con grande sicurezza (è un 55M, non ha conoscenza affidabile)
  • ❌ matematica/ragionamento: inaffidabile a questa taglia

Chat template

<|im_start|><|system|>{system}<|im_end|>
<|im_start|><|user|>{messaggio}<|im_end|>
<|im_start|><|assistant|>

Il modello genera <|thinking|>...<|/thinking|> seguito dalla risposta, e chiude con <|im_end|>. System prompt usato in training: "Sei Grace, un'assistente AI creata da BranchingNLP. Rispondi in modo utile e preciso."

Uso

Vedi chat_grace.py (incluso) per un esempio completo di inferenza col template corretto:

python3 chat_grace.py --model . --temp 0.8 --rep-penalty 1.3 --no-history

(--no-history consigliato: a 55M il single-turn rende meglio.) Richiede GPU + fla (kernel Triton).

Addestramento

SFT su un mix bilingue di conversazioni, small talk, problemi di matematica a parole generati da codice, ed esempi di identità. Base: BranchingNLP/Grace-G1-55M (10B token).

Architettura

Ibrido Gated DeltaNet 3:1 + attenzione gated, ottimizzatore Muon. d_model 512, 12 layer, 8/2 heads, SwiGLU 1408, vocab 32768, context 2048. Dettagli nel base.

Licenza

Apache-2.0 (pesi e codice). I dataset mantengono le licenze originali.