MissawB/irl-guard-decision-laya

IRL Guard — decision model (Laya fine-tuné)

Decision model d'IRL Guard : à partir d'un state JSON (charte de la chaîne en langage naturel, catégorie du stream, mode domicile, élément vu à l'écran), il répond à trois questions typées — action (diffuser / flouter / pause), risque et gravité — avec des probabilités calibrées. Fine-tuné à partir de convaiinnovations/laya-multilingual sur MissawB/irl-guard-decisions.

Utilisation

Sur CPU, sans serveur, avec le paquet laya :

import laya
agent = laya.load("MissawB/irl-guard-decision-laya")
reponse = agent.predict(state, questions)

C'est le modèle par défaut d'IRL Guard (--decider combine, decideur.modele: laya-local).

Résultats

Précision de l'action, F1 macro, taux de fuite (cas à protéger que l'approche diffuse), calibration (ECE) et coût moyen par décision, sur 1 000 cas par jeu.

Chartes vues

toujours-diffuser : Toujours diffuser (plancher), regles : Règles, xgboost : XGBoost, laya : Laya brut, laya-ft : Laya fine-tuné, qwen-ft : Qwen3.5-0.8B fine-tuné, combine-laya : Règles + Laya fine-tuné, combine-qwen : Règles + Qwen fine-tuné

Approche	Action	F1 macro	Fuite	ECE	Coût moyen
toujours-diffuser	44.8 %	0.206	100.0 %	0.552	8.53
regles	38.5 %	0.331	23.7 %	0.615	3.37
xgboost	60.3 %	0.605	14.7 %	0.034	1.96
laya	38.1 %	0.303	36.2 %	0.281	4.31
laya-ft	91.2 %	0.909	2.4 %	0.078	0.34
qwen-ft	94.6 %	0.945	1.8 %	0.015	0.20
combine-laya	69.2 %	0.697	0.9 %	0.256	0.50
combine-qwen	71.3 %	0.716	0.9 %	0.257	0.42

Chartes non vues

toujours-diffuser : Toujours diffuser (plancher), regles : Règles, xgboost : XGBoost, laya : Laya brut, laya-ft : Laya fine-tuné, qwen-ft : Qwen3.5-0.8B fine-tuné, combine-laya : Règles + Laya fine-tuné, combine-qwen : Règles + Qwen fine-tuné

Approche	Action	F1 macro	Fuite	ECE	Coût moyen
toujours-diffuser	43.4 %	0.202	100.0 %	0.566	8.93
regles	42.9 %	0.387	22.6 %	0.571	3.33
xgboost	45.5 %	0.424	40.1 %	0.196	4.37
laya	35.9 %	0.289	47.5 %	0.293	5.35
laya-ft	79.9 %	0.783	14.7 %	0.039	1.41
qwen-ft	84.6 %	0.831	13.6 %	0.067	1.19
combine-laya	67.1 %	0.676	3.7 %	0.220	0.85
combine-qwen	69.7 %	0.697	3.7 %	0.238	0.73

Limites

• Les chartes « non vues » sont des formulations et des combinaisons de clauses absentes de l'entraînement, mais écrites dans le même style de gabarits : une charte rédigée librement par un streamer sera plus difficile.
• Seul, le modèle laisse passer environ 14 % des cas à protéger sur les chartes non vues : dans IRL Guard, il est utilisé en mode combiné avec des règles déterministes (la décision la plus protectrice l'emporte).
• Le modèle décide à partir d'un state JSON (texte lu par OCR, objet détecté, charte, contexte) : il ne voit pas l'image.