File size: 809 Bytes
7df18eb
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
{
 "schema": "etiquette combinee = indice_casse * 7 + indice_ponct, lue sur le premier sous-jeton de chaque mot normalise",
 "cases": {
  "L": "minuscule",
  "C": "Capitale initiale",
  "U": "TOUT EN MAJUSCULES",
  "M": "mixte (forme lue dans tables.json['mixed'], sinon capitale apres la derniere apostrophe/trait d'union)"
 },
 "puncts": [
  "O",
  ",",
  ".",
  "?",
  "!",
  ":",
  ";"
 ],
 "normalisation_entree": "evaluate_asr.normalize (minuscules, [a-z0-9'-], apostrophes/tirets unifies)",
 "tables": "tables.json : 'mixed' = formes a casse mixte ; 'lex' = n-gramme normalise -> forme accentuee (ex. 'tan na' -> 'tanàna'), construite sur train + Wikipedia",
 "base": "Davlan/xlm-roberta-base-finetuned-malagasy",
 "entrainement": "work/punct/train.py --noise 0.5 --epochs 3 (checkpoint epoque 2.5)"
}