Punctuation-Restoration / training /data_stats.json
seamon67's picture
Upload Model
9456b7b
Raw History Blame Contribute Delete
4.88 kB
{
"languages": [
"afr_Latn",
"als_Latn",
"amh_Ethi",
"arb_Arab",
"azj_Latn",
"bel_Cyrl",
"ben_Beng",
"bos_Latn",
"bul_Cyrl",
"cat_Latn",
"ces_Latn",
"ckb_Arab",
"cmn_Hani",
"cym_Latn",
"dan_Latn",
"deu_Latn",
"ekk_Latn",
"ell_Grek",
"eng_Latn",
"epo_Latn",
"eus_Latn",
"fao_Latn",
"fas_Arab",
"fil_Latn",
"fin_Latn",
"fra_Latn",
"gle_Latn",
"glg_Latn",
"guj_Gujr",
"hau_Latn",
"heb_Hebr",
"hin_Deva",
"hrv_Latn",
"hun_Latn",
"hye_Armn",
"ind_Latn",
"isl_Latn",
"ita_Latn",
"jav_Latn",
"jpn_Jpan",
"kan_Knda",
"kat_Geor",
"kaz_Cyrl",
"khk_Cyrl",
"kin_Latn",
"kir_Cyrl",
"kor_Hang",
"lit_Latn",
"ltz_Latn",
"lvs_Latn",
"mal_Mlym",
"mar_Deva",
"mkd_Cyrl",
"mlt_Latn",
"nld_Latn",
"nob_Latn",
"npi_Deva",
"ory_Orya",
"pan_Guru",
"pbt_Arab",
"pol_Latn",
"por_Latn",
"ron_Latn",
"rus_Cyrl",
"sin_Sinh",
"slk_Latn",
"slv_Latn",
"snd_Arab",
"som_Latn",
"spa_Latn",
"srp_Cyrl",
"sun_Latn",
"swe_Latn",
"swh_Latn",
"tam_Taml",
"tat_Cyrl",
"tel_Telu",
"tgk_Cyrl",
"tur_Latn",
"uig_Arab",
"ukr_Cyrl",
"urd_Arab",
"uzn_Latn",
"vie_Latn",
"xho_Latn",
"yor_Latn",
"zsm_Latn",
"zul_Latn"
],
"names": {
"afr_Latn": "Afrikaans",
"als_Latn": "Albanian",
"amh_Ethi": "Amharic",
"arb_Arab": "Arabic",
"azj_Latn": "Azerbaijani",
"bel_Cyrl": "Belarusian",
"ben_Beng": "Bengali",
"bos_Latn": "Bosnian",
"bul_Cyrl": "Bulgarian",
"cat_Latn": "Catalan",
"ces_Latn": "Czech",
"ckb_Arab": "Central Kurdish",
"zho_Hans": "Chinese (Simplified)",
"cym_Latn": "Welsh",
"dan_Latn": "Danish",
"deu_Latn": "German",
"est_Latn": "Estonian",
"ell_Grek": "Greek",
"eng_Latn": "English",
"epo_Latn": "Esperanto",
"eus_Latn": "Basque",
"fao_Latn": "Faroese",
"pes_Arab": "Persian",
"tgl_Latn": "Filipino",
"fin_Latn": "Finnish",
"fra_Latn": "French",
"gle_Latn": "Irish",
"glg_Latn": "Galician",
"guj_Gujr": "Gujarati",
"hau_Latn": "Hausa",
"heb_Hebr": "Hebrew",
"hin_Deva": "Hindi",
"hrv_Latn": "Croatian",
"hun_Latn": "Hungarian",
"hye_Armn": "Armenian",
"ind_Latn": "Indonesian",
"isl_Latn": "Icelandic",
"ita_Latn": "Italian",
"jav_Latn": "Javanese",
"jpn_Jpan": "Japanese",
"kan_Knda": "Kannada",
"kat_Geor": "Georgian",
"kaz_Cyrl": "Kazakh",
"khk_Cyrl": "Mongolian",
"kin_Latn": "Kinyarwanda",
"kir_Cyrl": "Kyrgyz",
"kor_Hang": "Korean",
"lit_Latn": "Lithuanian",
"ltz_Latn": "Luxembourgish",
"lvs_Latn": "Latvian",
"mal_Mlym": "Malayalam",
"mar_Deva": "Marathi",
"mkd_Cyrl": "Macedonian",
"mlt_Latn": "Maltese",
"nld_Latn": "Dutch",
"nob_Latn": "Norwegian Bokm\u00e5l",
"npi_Deva": "Nepali",
"ory_Orya": "Odia",
"pan_Guru": "Punjabi",
"pbt_Arab": "Pashto",
"pol_Latn": "Polish",
"por_Latn": "Portuguese",
"ron_Latn": "Romanian",
"rus_Cyrl": "Russian",
"sin_Sinh": "Sinhala",
"slk_Latn": "Slovak",
"slv_Latn": "Slovenian",
"snd_Arab": "Sindhi",
"som_Latn": "Somali",
"spa_Latn": "Spanish",
"srp_Cyrl": "Serbian",
"sun_Latn": "Sundanese",
"swe_Latn": "Swedish",
"swh_Latn": "Swahili",
"tam_Taml": "Tamil",
"tat_Cyrl": "Tatar",
"tel_Telu": "Telugu",
"tgk_Cyrl": "Tajik",
"tur_Latn": "Turkish",
"uig_Arab": "Uyghur",
"ukr_Cyrl": "Ukrainian",
"urd_Arab": "Urdu",
"uzn_Latn": "Uzbek",
"vie_Latn": "Vietnamese",
"xho_Latn": "Xhosa",
"yor_Latn": "Yoruba",
"zsm_Latn": "Malay",
"zul_Latn": "Zulu"
},
"iso": [
"af",
"am",
"ar",
"az",
"be",
"bg",
"bn",
"bs",
"ca",
"ckb",
"cs",
"cy",
"da",
"de",
"el",
"en",
"eo",
"es",
"et",
"eu",
"fa",
"fi",
"fo",
"fr",
"ga",
"gl",
"gu",
"ha",
"he",
"hi",
"hr",
"hu",
"hy",
"id",
"is",
"it",
"ja",
"jv",
"ka",
"kk",
"kn",
"ko",
"ky",
"lb",
"lt",
"lv",
"mk",
"ml",
"mn",
"mr",
"ms",
"mt",
"ne",
"nl",
"no",
"or",
"pa",
"pl",
"ps",
"pt",
"ro",
"ru",
"rw",
"sd",
"si",
"sk",
"sl",
"so",
"sq",
"sr",
"su",
"sv",
"sw",
"ta",
"te",
"tg",
"tl",
"tr",
"tt",
"ug",
"uk",
"ur",
"uz",
"vi",
"xh",
"yo",
"zh",
"zu"
],
"n_windows": 1168626,
"n_words": 118910088,
"lower_pct": 70,
"recipe": {
"small": {
"epochs": 2,
"lr": "5e-5",
"job": "decad0cb"
},
"base": {
"epochs": 1,
"lr": "3e-5",
"job": "18953a55",
"spoken": 49144,
"changelog": [
[
"v1.1 (2026-10-09)",
"+ 49k windows of synthetic spoken-style transcripts (69 languages). TED talks (spoken, 25 languages), two training seeds: punctuation F1 .784 -> .796 (cased) and .707 -> .723 (lowercased); `:` F1 .544 -> .605. FLORES (written text, 88 languages) unchanged (.847 / .804)."
],
[
"v1.0 (2026-10-03)",
"first release."
]
]
}
}
}