Grace
Collection
4 items • Updated
Grace-G1-55M è un modello linguistico base (non instruction-tuned), bilingue italiano/inglese, addestrato da zero da BranchingNLP. Fa parte della famiglia Grace (55M → 1B), orientata a modelli generalisti piccoli ed efficienti, open source.
⚠️ Questo è il modello base: completa il testo, non segue istruzioni. Per l'assistente conversazionale vedi Grace-G1-55M-Instruct.
Ibrido lineare/attenzione con ottimizzatore Muon:
| Parametri | 55.0M |
| Mixer | Gated DeltaNet (flash-linear-attention) in rapporto 3:1 con attenzione piena gated |
| Attenzione | GQA + QK-norm + RoPE + output gate sigmoide (stile Qwen3-Next) |
| d_model / layer | 512 / 12 |
| Heads (attn) | 8 query / 2 kv |
| GDN heads / head_dim | 4 / 64 |
| FFN | SwiGLU, d_ff 1408 |
| Norm | RMSNorm (pre-norm) |
| Vocab | 32768 (BPE) |
| Context | 2048 token |
| Ottimizzatore | Muon (matrici 2D) + AdamW (embedding/norme) |
fla (kernel Triton): i layer Gated DeltaNet non girano su CPU.import json, torch
from safetensors.torch import load_file
from proxy_arch import LM # incluso in questo repo
from transformers import AutoTokenizer
cfg = json.load(open("config.json"))
variant = "hybrid" if cfg["variant"].startswith("hyb") else cfg["variant"]
model = LM(variant, cfg["vocab"], cfg["d"], cfg["layers"], cfg["heads"], cfg["kv"],
cfg["ff"], cfg["seq"], cfg["gdn_heads"], cfg["gdn_head_dim"],
cfg["attn_every"], cfg.get("mixer", "gdn")).cuda()
model.load_state_dict(load_file("model.safetensors"))
model.eval()
tok = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
ids = tok("La capitale d'Italia è", add_special_tokens=False)["input_ids"]
x = torch.tensor([[tok.bos_token_id] + ids], device="cuda")
for _ in range(60):
with torch.autocast("cuda", torch.bfloat16):
nxt = model(x[:, -cfg["seq"]:])[0, -1].argmax()
x = torch.cat([x, nxt.view(1, 1)], 1)
print(tok.decode(x[0].tolist(), skip_special_tokens=True))
Requisiti: pip install torch fla-core transformers safetensors + GPU CUDA.
Pesi e codice: Apache-2.0. I dataset di addestramento mantengono le loro licenze originali (vedi le fonti sopra).
@misc{grace_g1_55m,
title = {Grace-G1-55M},
author = {Di Nicola, Michelangelo},
year = {2026},
howpublished = {\url{https://huggingface.co/BranchingNLP/Grace-G1-55M}}
}