IMMA — Italiano Modesto per la Modulistica Aziendale

IMMA — Italiano Modesto per la Modulistica Aziendale

Autore: Matteo Benedetto (@enne2-or-more) — because he was bored

Esperimento didattico, non un prodotto. Ricetta, dati, training e valutazione sono stati fatti in una giornata, come esercizio su un modello piccolo e un compito stretto. I numeri sono misurati con cura, ma il risultato è sicuramente migliorabile: pochi dati, iperparametri non ottimizzati, valutazione costruita in casa. Va letto così.

Adattatore DoRA/LoRA per LiquidAI/LFM3-1.7B che scrive e rivede testi tecnico-professionali in italiano: email, verbali, procedure, note di escalation, relazioni, piani di collaudo, offerte, comunicazioni di servizio.

Risponde a domande generali e usa i tool, ma dove dà il meglio è il documento: chiudere un verbale, correggere una mail, dire che un testo è già corretto e non va toccato.

English TL;DR — A DoRA/LoRA adapter for LFM3-1.7B specialized in Italian technical/business documents. On an in-house 650-prompt benchmark it satisfies 80.6% of format constraints (base model: 49.5%), uses 3.4% replaceable anglicisms (base: 48.8%), and returns already-correct text unchanged 90% of the time (base: 0%). Q8_0 GGUF: 161 tok/s single stream, ~366 tok/s at 8 concurrent sessions on an 8 GB laptop GPU. Methodology, negative results and significance tests are all published below. IMMA is a self-deprecating acronym; see §1. This is a one-day didactic experiment, not a product: definitely improvable.


1. Il nome

IMMA è una sigla, non un nome proprio: Italiano Modesto per la Modulistica Aziendale. Le sigle non promettono familiarità, promettono un perimetro. Questo perimetro è: documenti tecnico-professionali in italiano, e nient'altro. Il marchio lo dice: una segretaria professionale di una certa età, occhiali storti, crocchia, giacca, e un ghigno che non promette niente di buono. Non sorride per metterti a tuo agio: sogghigna perché la tua pratica è in ritardo.

Non è un motore di ricerca né un risolutore di problemi, ma non è nemmeno sprovveduto: risponde a domande generali, fa i conti, usa i tool. Dove dà il meglio è il documento. I difetti ci sono, e sono elencati in §5 e §6. Se il nome ti ricorda qualcosa, è voluto: ma qui non c'è nessun confronto, e nessuna classifica.

Cosa è, in una riga: un adattatore specialistico su LFM3-1.7B (pretraining Liquid AI), 1,73 miliardi di parametri, contesto nativo 262.144 token, addestrato con 2.013 esempi curati e valutato con 650 richieste e test di significatività. I limiti sono in §6, i tentativi falliti in §5.

2. Risultati misurati

650 richieste in italiano tecnico/aziendale (25 tipi di documento × 26 varianti), temperatura 0,7, giudizio deterministico per item (vincoli di formato, lessico, lunghezza, struttura).

metrica base LFM3-1.7B IMMA-1
vincoli di formato rispettati 49,5% (322/650) 80,6% (524/650)
anglicismi sostituibili 48,8% 3,4%
segnaposto lasciati nel testo ([Nome]) 39,2% 0,9%
Markdown dentro documenti formali 90,6% 0,3%
parole inventate 31,2% 10,5%
frasi oltre 45 parole 32,5% 22,9%
testo già corretto restituito identico 0% 90%
correzione minima (un solo errore) esatta 0% 50%
conoscenza delle derivazioni (sonda, 16 item) 62% 88%
congiuntivo (sonda, 20 frasi con reggenze obbligatorie) 20% 70%

Prestazioni (GGUF Q8_0, RTX PRO 2000 Blackwell Laptop 8 GB, llama.cpp b12212): 161 tok/s a singola sessione, 366 tok/s aggregati con 8 sessioni, 16 slot con KV q8_0.

Il congiuntivo. È stata la prima cosa misurata e la più imbarazzante per un modello italiano: su 20 frasi con reggenze obbligatorie (ritengo che, è necessario che, benché, affinché, purché, prima che, nonostante, sebbene, periodo ipotetico) il modello base stava a 4/20. Sbagliava nei due modi classici: indicativo al posto del congiuntivo («Ritengo che la soluzione è adeguata») e infinito al posto del verbo flesso («Prima che la modifica andare in produzione»). Con 60 coppie di drill nel dataset la sonda sale a 14/20. Restano due famiglie di errore, entrambe documentate: l'ausiliare al plurale («che i colleghi siano verificati i requisiti» invece di «abbiano verificato») e, quando la frase va riscritta per intero, una deriva linguistica verso lo spagnolo («andegue en producción»). Sonda riproducibile: eval/probe_congiuntivo.py, temperatura 0.

3. Addestramento

Base LFM3-1.7B (1,73 B, tri-hybrid: 13 short-conv gated + 5 sliding-window attention + 6 global attention, contesto 256 K), caricata in bf16 — non quantizzata durante il training.

Adattatore: DoRA + rsLoRA, r=16, α=32, dropout 0,05, target q_proj, k_proj, v_proj, o_proj, w1, w2, w3, gate_proj.

componente dati righe parole di risposta
curato a mano (regole, drill, dominio) 1.224 14.240
esempi identity / minimal-edit (×2) 272 11.680
morfologia derivazionale (×2) 264 2.556
self-distillation filtrata 193 25.743
replay generico di dominio 60 8.104

Iperparametri: 2 epoche, batch 4 × accumulo 8, max_length 768, packing off, assistant_only_loss=True, NEFTune α=5, lr 2e-4 coseno, warmup 60. Risultato: 126 step, 21,6 minuti, VRAM di picco 5,52 GB, loss 0,428, accuratezza sui token 96,1%.

4. Metodologia: le sette scelte che hanno prodotto il guadagno

Ogni punto è misurato; tre sono correzioni di errori commessi nelle iterazioni precedenti.

1. Separare il gergo legittimo dai termini da tradurre. La prima metrica contava backup, server, log, cloud, gateway come «anglicismi», e il modello è stato addestrato a riscriverli: sbagliato. Il registro (eval/terms.json) distingue 51 termini di gergo accettato da 30 sostituibili. La metrica corretta è passata da 23,7% a 16,8% senza toccare il modello: il difetto era del misuratore.

2. Esempi identity: insegnare quando non toccare niente. Con sole istruzioni «riscrivi questo», il modello impara che tutto va riscritto: sulla sonda, il base restituisce identico lo 0% dei testi già corretti. Con 68 coppie «testo corretto → testo identico» e 68 di correzione minima, le riscritture inutili scendono al 10% — e restano al 10% anche cambiando iperparametri.

3. Misurare la miscela in token, non in righe. Il mix sembrava 71% dati curati; contando i token di risposta supervisionati era 72% replay generico. Portato al 37%: il segnale utile è più che raddoppiato.

4. assistant_only_loss. Calcolare la loss anche sui prompt insegna a ripetere le istruzioni. Il template di LFM3 contiene già i marcatori {% generation %}: si abilita direttamente (verifica: 37% dei token in loss, <|im_end|> incluso, così impara anche a fermarsi).

5. Due epoche. Quattro e cinque epoche danno loss migliore e risultato peggiore: oltre le due passate l'instruction-following degrada mentre la loss continua a scendere.

6. Niente DPO su questi difetti. Il DPO ha dimezzato gli anglicismi gonfiando le frasi (25,7% → 37,1% oltre 45 parole): bias di lunghezza, mitigato dal filtro sulle coppie ma non eliminato, con peggioramento significativo sulla conformità ai vincoli (p=0,016).

7. Significatività prima delle conclusioni. Con 650 item e McNemar esatto + bootstrap appaiato: +6,2 pp (p=0,0013) reale; +3,2 pp (p=0,085) rumore; −2,9 pp (p=0,148) rumore. Senza il test avremmo dichiarato miglioramenti e peggioramenti inesistenti. Soglia di rilevabilità: ~4,9 pp.

5. Cosa NON ha funzionato

tentativo esito
post-processing deterministico (titoli, anglicismi, segnaposto) Funzionava e riscriveva anche il gergo legittimo: una toppa sopra la metrica sbagliata. Sostituito dai dati.
DPO sui residui Anglicismi 23,7%→10,3%, ma frasi lunghe 25,7%→37,1% e p=0,016 contro sui vincoli.
DoRA r=8, lr=1e-4 (baseline da letteratura) Sotto-addestra: −8,9 pp, p<0,0001. Vittoriosi: r=16, α=32, rsLoRA, lr 2e-4.
merge di adattatori DoRA (add_weighted_adapter, cat) Output degenerato: i vettori di magnitudine di DoRA non si sommano come le matrici low-rank.
titoli in MAIUSCOLO COLLAUDO si spezza in 4 subword rare contro 3 (coll+aud+o): il modello deriva in COLLUDATO, VOLLELIO DI COLLUDATO. Non si corregge con i dati: si evita la condizione.

Expanding Brain: chiedere a un chatbot italiano cos'è la Torre Eiffel, chiedere a IMMA un verbale di collaudo, misurare tutto con McNemar, scrivere COLLAUDO in maiuscolo

Template: Expanding Brain. L'ultimo gradino di illuminazione produce COLLUDATO: in maiuscolo la parola si spezza in subword rare e il modello inventa forme che non esistono in nessuna lingua. Alcune classi di errore non si correggono con più dati, ma evitando la condizione che le produce.

6. Limiti noti

  • Morfologia in scrittura libera: le derivazioni esplicite si sono imparate (62% → 88% su sonda), ma l'invenzione lessicale spontanea cala solo da 12,0% a 10,5% (p=0,38). Residui tipici: raccoglimento per raccolta, rimborsamento per rimborso.
  • Lunghezza: 22,9% dei testi contiene almeno una frase oltre 45 parole.
  • Segnaposto residui (0,9%) in contesti molto strutturati.
  • 1,7 B di parametri: nessun ragionamento multi-passo, nessun uso agentico, niente conoscenza fattuale affidata alla memoria — serve retrieval.
  • Nessun documento reale di una specifica azienda: lessico interno, nomi dei sistemi e format di firma vanno aggiunti con un fine-tuning mirato.

7. Uso

llama.cpp (≥ b12212):

llama-server -hf enne2-or-more/IMMA-1.7B-IT-Tech-GGUF:Q8_0 \
  --jinja -c 8192 -ngl 999 -fa on --cache-type-k q8_0 --cache-type-v q8_0 \
  --temp 0.1 --top-k 50 --repeat-penalty 1.1

System prompt consigliato:

Sei un assistente per la comunicazione tecnica e aziendale in italiano.
Scrivi in italiano formale e corretto, con terminologia tecnica precisa e registro professionale.
Usa i formati numerici italiani (1.234,56 / 12,5%).

Obbligatorio: chat_template_kwargs={"enable_thinking": false}. Con il ragionamento attivo il modello pensa in inglese e consuma il budget senza produrre risposta, a meno di ≥ 2.000 token.

Con transformers/peft:

from transformers import AutoModelForCausalLM
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained("LiquidAI/LFM3-1.7B",
                                            trust_remote_code=True, dtype="bfloat16",
                                            device_map={"": 0})
model = PeftModel.from_pretrained(base, "enne2-or-more/IMMA-1.7B-IT-Tech")

8. Riproducibilità

eval/ contiene l'harness completo: prompts.jsonl (650 richieste), terms.json (registro terminologico), metrics.py, signif.py (McNemar esatto + bootstrap 20.000), run_texts.py (generazione con 8 sessioni), probe_identity.py, probe_morphology.py, probe_facts.py (fatti, tabelline, tool calling), probe_congiuntivo.py (20 frasi).

python metrics.py texts_imma.jsonl
python signif.py texts_base.jsonl texts_imma.jsonl

9. Licenza e attribuzione

  • Base: LiquidAI/LFM3-1.7B, licenza LFM Open License v1.0 (uso commerciale consentito sotto i 10 M$ di ricavi annui; sopra serve un accordo con Liquid AI). Questo adattatore eredita la licenza.
  • Replay: antoniogr7/italian-sft-curated (Apache-2.0, derivato da DeepMount00/OpenItalianData).
  • Il resto del dataset (regole, drill, identity/minimal-edit, morfologia, sonde) è scritto a mano.
  • La self-distillation usa output filtrati di una versione precedente di questo stesso adattatore.
  • IMMA è una sigla inventata. Le assonanze con nomi propri di altri progetti sono intenzionali e non implicano alcun rapporto, patrocinio o valutazione su di essi.
  • Il marchio grafico è una parodia del genere, ai sensi dell'eccezione di parodia: stessa tavolozza e stesso impianto (faccina flat monocroma, testa e spalle) di un logo di prodotto esistente, personaggio opposto — una professionista dal ghigno cattivo al posto di una bambina sorridente. Non è affiliato, né approvato, né riconducibile al titolare del marchio originale.

Citazione

@misc{imma_2026,
  title  = {IMMA: Italiano Modesto per la Modulistica Aziendale — DoRA adapter for Italian
            technical and business writing},
  author = {Matteo Benedetto},
  year   = {2026},
  note   = {Adapter for LiquidAI/LFM3-1.7B; one-day didactic experiment; parody name,
            serious measurements},
  url    = {https://huggingface.co/enne2-or-more/IMMA-1.7B-IT-Tech}
}
Downloads last month
59
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for enne2-or-more/IMMA-1.7B-IT-Tech

Adapter
(31)
this model

Dataset used to train enne2-or-more/IMMA-1.7B-IT-Tech