Instructions to use enne2-or-more/IMMA-1.7B-IT-Tech with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use enne2-or-more/IMMA-1.7B-IT-Tech with PEFT:
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("LiquidAI/LFM3-1.7B") model = PeftModel.from_pretrained(base_model, "enne2-or-more/IMMA-1.7B-IT-Tech") - Notebooks
- Google Colab
- Kaggle
IMMA — Italiano Modesto per la Modulistica Aziendale
Autore: Matteo Benedetto (@enne2-or-more) — because he was bored
Esperimento didattico, non un prodotto. Ricetta, dati, training e valutazione sono stati fatti in una giornata, come esercizio su un modello piccolo e un compito stretto. I numeri sono misurati con cura, ma il risultato è sicuramente migliorabile: pochi dati, iperparametri non ottimizzati, valutazione costruita in casa. Va letto così.
Adattatore DoRA/LoRA per LiquidAI/LFM3-1.7B che scrive e rivede testi tecnico-professionali in italiano: email, verbali, procedure, note di escalation, relazioni, piani di collaudo, offerte, comunicazioni di servizio.
Risponde a domande generali e usa i tool, ma dove dà il meglio è il documento: chiudere un verbale, correggere una mail, dire che un testo è già corretto e non va toccato.
English TL;DR — A DoRA/LoRA adapter for LFM3-1.7B specialized in Italian technical/business documents. On an in-house 650-prompt benchmark it satisfies 80.6% of format constraints (base model: 49.5%), uses 3.4% replaceable anglicisms (base: 48.8%), and returns already-correct text unchanged 90% of the time (base: 0%). Q8_0 GGUF: 161 tok/s single stream, ~366 tok/s at 8 concurrent sessions on an 8 GB laptop GPU. Methodology, negative results and significance tests are all published below. IMMA is a self-deprecating acronym; see §1. This is a one-day didactic experiment, not a product: definitely improvable.
1. Il nome
IMMA è una sigla, non un nome proprio: Italiano Modesto per la Modulistica Aziendale. Le sigle non promettono familiarità, promettono un perimetro. Questo perimetro è: documenti tecnico-professionali in italiano, e nient'altro. Il marchio lo dice: una segretaria professionale di una certa età, occhiali storti, crocchia, giacca, e un ghigno che non promette niente di buono. Non sorride per metterti a tuo agio: sogghigna perché la tua pratica è in ritardo.
Non è un motore di ricerca né un risolutore di problemi, ma non è nemmeno sprovveduto: risponde a domande generali, fa i conti, usa i tool. Dove dà il meglio è il documento. I difetti ci sono, e sono elencati in §5 e §6. Se il nome ti ricorda qualcosa, è voluto: ma qui non c'è nessun confronto, e nessuna classifica.
Cosa è, in una riga: un adattatore specialistico su LFM3-1.7B (pretraining Liquid AI), 1,73 miliardi di parametri, contesto nativo 262.144 token, addestrato con 2.013 esempi curati e valutato con 650 richieste e test di significatività. I limiti sono in §6, i tentativi falliti in §5.
2. Risultati misurati
650 richieste in italiano tecnico/aziendale (25 tipi di documento × 26 varianti), temperatura 0,7, giudizio deterministico per item (vincoli di formato, lessico, lunghezza, struttura).
| metrica | base LFM3-1.7B | IMMA-1 |
|---|---|---|
| vincoli di formato rispettati | 49,5% (322/650) | 80,6% (524/650) |
| anglicismi sostituibili | 48,8% | 3,4% |
segnaposto lasciati nel testo ([Nome]) |
39,2% | 0,9% |
| Markdown dentro documenti formali | 90,6% | 0,3% |
| parole inventate | 31,2% | 10,5% |
| frasi oltre 45 parole | 32,5% | 22,9% |
| testo già corretto restituito identico | 0% | 90% |
| correzione minima (un solo errore) esatta | 0% | 50% |
| conoscenza delle derivazioni (sonda, 16 item) | 62% | 88% |
| congiuntivo (sonda, 20 frasi con reggenze obbligatorie) | 20% | 70% |
Prestazioni (GGUF Q8_0, RTX PRO 2000 Blackwell Laptop 8 GB, llama.cpp b12212): 161 tok/s a singola sessione, 366 tok/s aggregati con 8 sessioni, 16 slot con KV q8_0.
Il congiuntivo. È stata la prima cosa misurata e la più imbarazzante per un modello italiano: su 20
frasi con reggenze obbligatorie (ritengo che, è necessario che, benché, affinché, purché, prima che,
nonostante, sebbene, periodo ipotetico) il modello base stava a 4/20. Sbagliava nei due modi
classici: indicativo al posto del congiuntivo («Ritengo che la soluzione è adeguata») e infinito al
posto del verbo flesso («Prima che la modifica andare in produzione»). Con 60 coppie di drill nel
dataset la sonda sale a 14/20. Restano due famiglie di errore, entrambe documentate: l'ausiliare al
plurale («che i colleghi siano verificati i requisiti» invece di «abbiano verificato») e, quando
la frase va riscritta per intero, una deriva linguistica verso lo spagnolo («andegue en producción»).
Sonda riproducibile: eval/probe_congiuntivo.py, temperatura 0.
3. Addestramento
Base LFM3-1.7B (1,73 B, tri-hybrid: 13 short-conv gated + 5 sliding-window attention + 6 global attention, contesto 256 K), caricata in bf16 — non quantizzata durante il training.
Adattatore: DoRA + rsLoRA, r=16, α=32, dropout 0,05, target
q_proj, k_proj, v_proj, o_proj, w1, w2, w3, gate_proj.
| componente dati | righe | parole di risposta |
|---|---|---|
| curato a mano (regole, drill, dominio) | 1.224 | 14.240 |
| esempi identity / minimal-edit (×2) | 272 | 11.680 |
| morfologia derivazionale (×2) | 264 | 2.556 |
| self-distillation filtrata | 193 | 25.743 |
| replay generico di dominio | 60 | 8.104 |
Iperparametri: 2 epoche, batch 4 × accumulo 8, max_length 768, packing off,
assistant_only_loss=True, NEFTune α=5, lr 2e-4 coseno, warmup 60. Risultato: 126 step,
21,6 minuti, VRAM di picco 5,52 GB, loss 0,428, accuratezza sui token 96,1%.
4. Metodologia: le sette scelte che hanno prodotto il guadagno
Ogni punto è misurato; tre sono correzioni di errori commessi nelle iterazioni precedenti.
1. Separare il gergo legittimo dai termini da tradurre. La prima metrica contava backup,
server, log, cloud, gateway come «anglicismi», e il modello è stato addestrato a riscriverli:
sbagliato. Il registro (eval/terms.json) distingue 51 termini di gergo accettato da 30
sostituibili. La metrica corretta è passata da 23,7% a 16,8% senza toccare il modello: il difetto era
del misuratore.
2. Esempi identity: insegnare quando non toccare niente. Con sole istruzioni «riscrivi questo», il modello impara che tutto va riscritto: sulla sonda, il base restituisce identico lo 0% dei testi già corretti. Con 68 coppie «testo corretto → testo identico» e 68 di correzione minima, le riscritture inutili scendono al 10% — e restano al 10% anche cambiando iperparametri.
3. Misurare la miscela in token, non in righe. Il mix sembrava 71% dati curati; contando i token di risposta supervisionati era 72% replay generico. Portato al 37%: il segnale utile è più che raddoppiato.
4. assistant_only_loss. Calcolare la loss anche sui prompt insegna a ripetere le istruzioni. Il
template di LFM3 contiene già i marcatori {% generation %}: si abilita direttamente (verifica: 37%
dei token in loss, <|im_end|> incluso, così impara anche a fermarsi).
5. Due epoche. Quattro e cinque epoche danno loss migliore e risultato peggiore: oltre le due passate l'instruction-following degrada mentre la loss continua a scendere.
6. Niente DPO su questi difetti. Il DPO ha dimezzato gli anglicismi gonfiando le frasi (25,7% → 37,1% oltre 45 parole): bias di lunghezza, mitigato dal filtro sulle coppie ma non eliminato, con peggioramento significativo sulla conformità ai vincoli (p=0,016).
7. Significatività prima delle conclusioni. Con 650 item e McNemar esatto + bootstrap appaiato: +6,2 pp (p=0,0013) reale; +3,2 pp (p=0,085) rumore; −2,9 pp (p=0,148) rumore. Senza il test avremmo dichiarato miglioramenti e peggioramenti inesistenti. Soglia di rilevabilità: ~4,9 pp.
5. Cosa NON ha funzionato
| tentativo | esito |
|---|---|
| post-processing deterministico (titoli, anglicismi, segnaposto) | Funzionava e riscriveva anche il gergo legittimo: una toppa sopra la metrica sbagliata. Sostituito dai dati. |
| DPO sui residui | Anglicismi 23,7%→10,3%, ma frasi lunghe 25,7%→37,1% e p=0,016 contro sui vincoli. |
| DoRA r=8, lr=1e-4 (baseline da letteratura) | Sotto-addestra: −8,9 pp, p<0,0001. Vittoriosi: r=16, α=32, rsLoRA, lr 2e-4. |
merge di adattatori DoRA (add_weighted_adapter, cat) |
Output degenerato: i vettori di magnitudine di DoRA non si sommano come le matrici low-rank. |
| titoli in MAIUSCOLO | COLLAUDO si spezza in 4 subword rare contro 3 (coll+aud+o): il modello deriva in COLLUDATO, VOLLELIO DI COLLUDATO. Non si corregge con i dati: si evita la condizione. |
Template: Expanding Brain. L'ultimo gradino di illuminazione produce
COLLUDATO: in maiuscolo la parola si spezza in subword rare e il modello inventa forme che
non esistono in nessuna lingua. Alcune classi di errore non si correggono con più dati, ma evitando la
condizione che le produce.
6. Limiti noti
- Morfologia in scrittura libera: le derivazioni esplicite si sono imparate (62% → 88% su sonda),
ma l'invenzione lessicale spontanea cala solo da 12,0% a 10,5% (p=0,38). Residui tipici:
raccoglimentoperraccolta,rimborsamentoperrimborso. - Lunghezza: 22,9% dei testi contiene almeno una frase oltre 45 parole.
- Segnaposto residui (0,9%) in contesti molto strutturati.
- 1,7 B di parametri: nessun ragionamento multi-passo, nessun uso agentico, niente conoscenza fattuale affidata alla memoria — serve retrieval.
- Nessun documento reale di una specifica azienda: lessico interno, nomi dei sistemi e format di firma vanno aggiunti con un fine-tuning mirato.
7. Uso
llama.cpp (≥ b12212):
llama-server -hf enne2-or-more/IMMA-1.7B-IT-Tech-GGUF:Q8_0 \
--jinja -c 8192 -ngl 999 -fa on --cache-type-k q8_0 --cache-type-v q8_0 \
--temp 0.1 --top-k 50 --repeat-penalty 1.1
System prompt consigliato:
Sei un assistente per la comunicazione tecnica e aziendale in italiano.
Scrivi in italiano formale e corretto, con terminologia tecnica precisa e registro professionale.
Usa i formati numerici italiani (1.234,56 / 12,5%).
Obbligatorio: chat_template_kwargs={"enable_thinking": false}. Con il ragionamento attivo il
modello pensa in inglese e consuma il budget senza produrre risposta, a meno di ≥ 2.000 token.
Con transformers/peft:
from transformers import AutoModelForCausalLM
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("LiquidAI/LFM3-1.7B",
trust_remote_code=True, dtype="bfloat16",
device_map={"": 0})
model = PeftModel.from_pretrained(base, "enne2-or-more/IMMA-1.7B-IT-Tech")
8. Riproducibilità
eval/ contiene l'harness completo: prompts.jsonl (650 richieste), terms.json (registro
terminologico), metrics.py, signif.py (McNemar esatto + bootstrap 20.000), run_texts.py
(generazione con 8 sessioni), probe_identity.py, probe_morphology.py, probe_facts.py (fatti,
tabelline, tool calling), probe_congiuntivo.py (20 frasi).
python metrics.py texts_imma.jsonl
python signif.py texts_base.jsonl texts_imma.jsonl
9. Licenza e attribuzione
- Base: LiquidAI/LFM3-1.7B, licenza LFM Open License v1.0 (uso commerciale consentito sotto i 10 M$ di ricavi annui; sopra serve un accordo con Liquid AI). Questo adattatore eredita la licenza.
- Replay: antoniogr7/italian-sft-curated (Apache-2.0, derivato da DeepMount00/OpenItalianData).
- Il resto del dataset (regole, drill, identity/minimal-edit, morfologia, sonde) è scritto a mano.
- La self-distillation usa output filtrati di una versione precedente di questo stesso adattatore.
- IMMA è una sigla inventata. Le assonanze con nomi propri di altri progetti sono intenzionali e non implicano alcun rapporto, patrocinio o valutazione su di essi.
- Il marchio grafico è una parodia del genere, ai sensi dell'eccezione di parodia: stessa tavolozza e stesso impianto (faccina flat monocroma, testa e spalle) di un logo di prodotto esistente, personaggio opposto — una professionista dal ghigno cattivo al posto di una bambina sorridente. Non è affiliato, né approvato, né riconducibile al titolare del marchio originale.
Citazione
@misc{imma_2026,
title = {IMMA: Italiano Modesto per la Modulistica Aziendale — DoRA adapter for Italian
technical and business writing},
author = {Matteo Benedetto},
year = {2026},
note = {Adapter for LiquidAI/LFM3-1.7B; one-day didactic experiment; parody name,
serious measurements},
url = {https://huggingface.co/enne2-or-more/IMMA-1.7B-IT-Tech}
}
- Downloads last month
- 59