Grace-G1-55M

Grace-G1-55M è un modello linguistico base (non instruction-tuned), bilingue italiano/inglese, addestrato da zero da BranchingNLP. Fa parte della famiglia Grace (55M → 1B), orientata a modelli generalisti piccoli ed efficienti, open source.

⚠️ Questo è il modello base: completa il testo, non segue istruzioni. Per l'assistente conversazionale vedi Grace-G1-55M-Instruct.

Architettura

Ibrido lineare/attenzione con ottimizzatore Muon:

Parametri 55.0M
Mixer Gated DeltaNet (flash-linear-attention) in rapporto 3:1 con attenzione piena gated
Attenzione GQA + QK-norm + RoPE + output gate sigmoide (stile Qwen3-Next)
d_model / layer 512 / 12
Heads (attn) 8 query / 2 kv
GDN heads / head_dim 4 / 64
FFN SwiGLU, d_ff 1408
Norm RMSNorm (pre-norm)
Vocab 32768 (BPE)
Context 2048 token
Ottimizzatore Muon (matrici 2D) + AdamW (embedding/norme)

Addestramento

  • 10B token (~182 token/parametro, regime di over-training)
  • Schedule WSD (warmup-stable-decay), decay nell'ultimo 20%
  • Mix bilingue IT/EN: web (FineWeb-Edu, FineWeb2-it, Nemotron-CC), Wikipedia, libri, codice, matematica, Q&A
  • Val loss finale: 2.5733
  • Hardware: singola RTX 3070 (8GB)

Limiti

  • 55M parametri: conoscenza fattuale limitata, inventa fatti (date, nomi, luoghi). È un modello piccolo, non un'enciclopedia.
  • La matematica e il ragionamento del base sono deboli (migliorano nella versione Instruct dopo SFT).
  • Richiede GPU + fla (kernel Triton): i layer Gated DeltaNet non girano su CPU.

Uso

import json, torch
from safetensors.torch import load_file
from proxy_arch import LM   # incluso in questo repo
from transformers import AutoTokenizer

cfg = json.load(open("config.json"))
variant = "hybrid" if cfg["variant"].startswith("hyb") else cfg["variant"]
model = LM(variant, cfg["vocab"], cfg["d"], cfg["layers"], cfg["heads"], cfg["kv"],
           cfg["ff"], cfg["seq"], cfg["gdn_heads"], cfg["gdn_head_dim"],
           cfg["attn_every"], cfg.get("mixer", "gdn")).cuda()
model.load_state_dict(load_file("model.safetensors"))
model.eval()

tok = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
ids = tok("La capitale d'Italia è", add_special_tokens=False)["input_ids"]
x = torch.tensor([[tok.bos_token_id] + ids], device="cuda")
for _ in range(60):
    with torch.autocast("cuda", torch.bfloat16):
        nxt = model(x[:, -cfg["seq"]:])[0, -1].argmax()
    x = torch.cat([x, nxt.view(1, 1)], 1)
print(tok.decode(x[0].tolist(), skip_special_tokens=True))

Requisiti: pip install torch fla-core transformers safetensors + GPU CUDA.

Licenza

Pesi e codice: Apache-2.0. I dataset di addestramento mantengono le loro licenze originali (vedi le fonti sopra).

Citazione

@misc{grace_g1_55m,
  title  = {Grace-G1-55M},
  author = {Di Nicola, Michelangelo},
  year   = {2026},
  howpublished = {\url{https://huggingface.co/BranchingNLP/Grace-G1-55M}}
}
Downloads last month
89
Safetensors
Model size
55M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for BranchingNLP/Grace-G1-55M

Finetunes
1 model

Collection including BranchingNLP/Grace-G1-55M