FS-2 / fs2_bpe_model.json

Upload fs2_bpe_model.json with huggingface_hub

dd3ac40 verified about 1 month ago

17.7 kB

	{
	"version": "1.0",
	"truncation": null,
	"padding": null,
	"added_tokens": [
	{
	"id": 0,
	"content": "<pad>",
	"single_word": false,
	"lstrip": false,
	"rstrip": false,
	"normalized": false,
	"special": true
	},
	{
	"id": 1,
	"content": "<unk>",
	"single_word": false,
	"lstrip": false,
	"rstrip": false,
	"normalized": false,
	"special": true
	},
	{
	"id": 2,
	"content": "<bos>",
	"single_word": false,
	"lstrip": false,
	"rstrip": false,
	"normalized": false,
	"special": true
	},
	{
	"id": 3,
	"content": "<eos>",
	"single_word": false,
	"lstrip": false,
	"rstrip": false,
	"normalized": false,
	"special": true
	}
	],
	"normalizer": null,
	"pre_tokenizer": {
	"type": "Metaspace",
	"replacement": " ",
	"prepend_scheme": "always",
	"split": true
	},
	"post_processor": null,
	"decoder": {
	"type": "Metaspace",
	"replacement": " ",
	"prepend_scheme": "always",
	"split": true
	},
	"model": {
	"type": "BPE",
	"dropout": null,
	"unk_token": "<unk>",
	"continuing_subword_prefix": null,
	"end_of_word_suffix": null,
	"fuse_unk": false,
	"byte_fallback": false,
	"ignore_merges": false,
	"vocab": {
	"<pad>": 0,
	"<unk>": 1,
	"<bos>": 2,
	"<eos>": 3,
	" ": 4,
	"!": 5,
	"\"": 6,
	"#": 7,
	"$": 8,
	"%": 9,
	"&": 10,
	"'": 11,
	"(": 12,
	")": 13,
	"*": 14,
	"+": 15,
	",": 16,
	"-": 17,
	".": 18,
	"/": 19,
	"0": 20,
	"1": 21,
	"2": 22,
	"3": 23,
	"4": 24,
	"5": 25,
	"6": 26,
	"7": 27,
	"8": 28,
	"9": 29,
	":": 30,
	";": 31,
	"<": 32,
	"=": 33,
	">": 34,
	"?": 35,
	"@": 36,
	"A": 37,
	"B": 38,
	"C": 39,
	"D": 40,
	"E": 41,
	"F": 42,
	"G": 43,
	"H": 44,
	"I": 45,
	"J": 46,
	"K": 47,
	"L": 48,
	"M": 49,
	"N": 50,
	"O": 51,
	"P": 52,
	"Q": 53,
	"R": 54,
	"S": 55,
	"T": 56,
	"U": 57,
	"V": 58,
	"W": 59,
	"X": 60,
	"Y": 61,
	"Z": 62,
	"[": 63,
	"\\": 64,
	"]": 65,
	"^": 66,
	"_": 67,
	"`": 68,
	"a": 69,
	"b": 70,
	"c": 71,
	"d": 72,
	"e": 73,
	"f": 74,
	"g": 75,
	"h": 76,
	"i": 77,
	"j": 78,
	"k": 79,
	"l": 80,
	"m": 81,
	"n": 82,
	"o": 83,
	"p": 84,
	"q": 85,
	"r": 86,
	"s": 87,
	"t": 88,
	"u": 89,
	"v": 90,
	"w": 91,
	"x": 92,
	"y": 93,
	"z": 94,
	"{": 95,
	"\|": 96,
	"}": 97,
	"~": 98,
	"¡": 99,
	"¢": 100,
	"£": 101,
	"¤": 102,
	"¥": 103,
	"¦": 104,
	"§": 105,
	"¨": 106,
	"©": 107,
	"ª": 108,
	"«": 109,
	"¬": 110,
	"®": 111,
	"¯": 112,
	"°": 113,
	"±": 114,
	"²": 115,
	"³": 116,
	"´": 117,
	"µ": 118,
	"¶": 119,
	"·": 120,
	"¸": 121,
	"¹": 122,
	"º": 123,
	"»": 124,
	"¼": 125,
	"½": 126,
	"¾": 127,
	"¿": 128,
	"À": 129,
	"Á": 130,
	"Â": 131,
	"Ã": 132,
	"Ä": 133,
	"Å": 134,
	"Æ": 135,
	"Ç": 136,
	"È": 137,
	"É": 138,
	"Ê": 139,
	"Ë": 140,
	"Ì": 141,
	"Í": 142,
	"Î": 143,
	"Ï": 144,
	"Ð": 145,
	"Ñ": 146,
	"Ò": 147,
	"Ó": 148,
	"Ô": 149,
	"Õ": 150,
	"Ö": 151,
	"×": 152,
	"Ø": 153,
	"Ù": 154,
	"Ú": 155,
	"Û": 156,
	"Ü": 157,
	"Ý": 158,
	"Þ": 159,
	"ß": 160,
	"à": 161,
	"á": 162,
	"â": 163,
	"ã": 164,
	"ä": 165,
	"å": 166,
	"æ": 167,
	"ç": 168,
	"è": 169,
	"é": 170,
	"ê": 171,
	"ë": 172,
	"ì": 173,
	"í": 174,
	"î": 175,
	"ï": 176,
	"ð": 177,
	"ñ": 178,
	"ò": 179,
	"ó": 180,
	"ô": 181,
	"õ": 182,
	"ö": 183,
	"÷": 184,
	"ø": 185,
	"ù": 186,
	"ú": 187,
	"û": 188,
	"ü": 189,
	"ý": 190,
	"þ": 191,
	"ÿ": 192,
	"Ā": 193,
	"ā": 194,
	"Ă": 195,
	"ă": 196,
	"Ą": 197,
	"ą": 198,
	"Ć": 199,
	"ć": 200,
	"Ĉ": 201,
	"ĉ": 202,
	"Ċ": 203,
	"ċ": 204,
	"Č": 205,
	"č": 206,
	"Ď": 207,
	"ď": 208,
	"Đ": 209,
	"đ": 210,
	"Ē": 211,
	"ē": 212,
	"Ĕ": 213,
	"ĕ": 214,
	"Ė": 215,
	"ė": 216,
	"Ę": 217,
	"ę": 218,
	"Ě": 219,
	"ě": 220,
	"Ĝ": 221,
	"ĝ": 222,
	"Ğ": 223,
	"ğ": 224,
	"Ġ": 225,
	"ġ": 226,
	"Ģ": 227,
	"ģ": 228,
	"Ĥ": 229,
	"ĥ": 230,
	"Ħ": 231,
	"ħ": 232,
	"Ĩ": 233,
	"ĩ": 234,
	"Ī": 235,
	"ī": 236,
	"Ĭ": 237,
	"ĭ": 238,
	"Į": 239,
	"į": 240,
	"İ": 241,
	"ı": 242,
	"Ĳ": 243,
	"ĳ": 244,
	"Ĵ": 245,
	"ĵ": 246,
	"Ķ": 247,
	"ķ": 248,
	"ĸ": 249,
	"Ĺ": 250,
	"ĺ": 251,
	"Ļ": 252,
	"ļ": 253,
	"Ľ": 254,
	"ľ": 255,
	"Ŀ": 256,
	"ŀ": 257,
	"Ł": 258,
	"ł": 259,
	"Ń": 260,
	"、": 261,
	"。": 262,
	"あ": 263,
	"い": 264,
	"が": 265,
	"し": 266,
	"す": 267,
	"て": 268,
	"で": 269,
	"に": 270,
	"の": 271,
	"は": 272,
	"ま": 273,
	"り": 274,
	"世": 275,
	"习": 276,
	"京": 277,
	"人": 278,
	"処": 279,
	"变": 280,
	"和": 281,
	"在": 282,
	"型": 283,
	"学": 284,
	"局": 285,
	"展": 286,
	"工": 287,
	"度": 288,
	"急": 289,
	"技": 290,
	"改": 291,
	"日": 292,
	"智": 293,
	"本": 294,
	"术": 295,
	"東": 296,
	"格": 297,
	"模": 298,
	"正": 299,
	"深": 300,
	"然": 301,
	"理": 302,
	"界": 303,
	"的": 304,
	"能": 305,
	"自": 306,
	"言": 307,
	"語": 308,
	"速": 309,
	"進": 310,
	"都": 311,
	"首": 312,
	"게": 313,
	"고": 314,
	"공": 315,
	"국": 316,
	"기": 317,
	"는": 318,
	"능": 319,
	"니": 320,
	"다": 321,
	"대": 322,
	"도": 323,
	"르": 324,
	"며": 325,
	"민": 326,
	"발": 327,
	"빠": 328,
	"서": 329,
	"수": 330,
	"술": 331,
	"습": 332,
	"울": 333,
	"의": 334,
	"이": 335,
	"인": 336,
	"있": 337,
	"전": 338,
	"지": 339,
	"하": 340,
	"한": 341,
	"in": 342,
	"ti": 343,
	" a": 344,
	"on": 345,
	"re": 346,
	"ing": 347,
	"tion": 348,
	" A": 349,
	" c": 350,
	" d": 351,
	" l": 352,
	" 人": 353,
	" 日": 354,
	" 기": 355,
	" 대": 356,
	" 발": 357,
	" 빠": 358,
	" 서": 359,
	" 수": 360,
	" 인": 361,
	" 있": 362,
	" in": 363,
	" re": 364,
	"al": 365,
	"ar": 366,
	"ation": 367,
	"ce": 368,
	"ci": 369,
	"ee": 370,
	"el": 371,
	"en": 372,
	"ear": 373,
	"fi": 374,
	"gen": 375,
	"iz": 376,
	"igen": 377,
	"lu": 378,
	"ligen": 379,
	"mp": 380,
	"nd": 381,
	"ning": 382,
	"olu": 383,
	"omp": 384,
	"rti": 385,
	"tation": 386,
	"tel": 387,
	"utation": 388,
	"volu": 389,
	"、自": 390,
	"あり": 391,
	"いま": 392,
	"が急": 393,
	"して": 394,
	"す。": 395,
	"であり": 396,
	"に進": 397,
	"の首": 398,
	"は東": 399,
	"世界": 400,
	"习模": 401,
	"京であり": 402,
	"処理": 403,
	"变世界": 404,
	"和深": 405,
	"在改": 406,
	"型正": 407,
	"学习模": 408,
	"局。": 409,
	"展して": 410,
	"工智": 411,
	"度学习模": 412,
	"技术": 413,
	"本の首": 414,
	"格局。": 415,
	"然言": 416,
	"的技术": 417,
	"能和深": 418,
	"語処理": 419,
	"速に進": 420,
	"都は東": 421,
	"공지": 422,
	"국의": 423,
	"니다": 424,
	"도는": 425,
	"르게": 426,
	"민국의": 427,
	"술이": 428,
	"습니다": 429,
	"울이": 430,
	"전하": 431,
	"한민국의": 432,
	" are": 433,
	" and": 434,
	"tioniz": 435,
	" Arti": 436,
	" comp": 437,
	" dee": 438,
	" lear": 439,
	" 人工智": 440,
	" 日本の首": 441,
	" 기술이": 442,
	" 대한민국의": 443,
	" 발전하": 444,
	" 빠르게": 445,
	" 서울이": 446,
	" 수도는": 447,
	" 인공지": 448,
	" 있습니다": 449,
	" intel": 450,
	" revolu": 451,
	"cial": 452,
	"ficial": 453,
	"ligence": 454,
	"utation.": 455,
	"、自然言": 456,
	"います。": 457,
	"が急速に進": 458,
	"京であり、自然言": 459,
	"变世界的技术": 460,
	"在改变世界的技术": 461,
	"型正在改变世界的技术": 462,
	"展しています。": 463,
	"度学习模型正在改变世界的技术": 464,
	"能和深度学习模型正在改变世界的技术": 465,
	"語処理が急速に進": 466,
	"都は東京であり、自然言": 467,
	"tionizing": 468,
	" Artificial": 469,
	" computation.": 470,
	" deep": 471,
	" learning": 472,
	" 人工智能和深度学习模型正在改变世界的技术": 473,
	" 日本の首都は東京であり、自然言": 474,
	" 발전하고": 475,
	" 서울이며": 476,
	" 인공지능": 477,
	" 있습니다.": 478,
	" intelligence": 479,
	" revolutionizing": 480,
	"語処理が急速に進展しています。": 481,
	" 人工智能和深度学习模型正在改变世界的技术格局。": 482,
	" 日本の首都は東京であり、自然言語処理が急速に進展しています。": 483
	},
	"merges": [
	[
	"i",
	"n"
	],
	[
	"t",
	"i"
	],
	[
	" ",
	"a"
	],
	[
	"o",
	"n"
	],
	[
	"r",
	"e"
	],
	[
	"in",
	"g"
	],
	[
	"ti",
	"on"
	],
	[
	" ",
	"A"
	],
	[
	" ",
	"c"
	],
	[
	" ",
	"d"
	],
	[
	" ",
	"l"
	],
	[
	" ",
	"人"
	],
	[
	" ",
	"日"
	],
	[
	" ",
	"기"
	],
	[
	" ",
	"대"
	],
	[
	" ",
	"발"
	],
	[
	" ",
	"빠"
	],
	[
	" ",
	"서"
	],
	[
	" ",
	"수"
	],
	[
	" ",
	"인"
	],
	[
	" ",
	"있"
	],
	[
	" ",
	"in"
	],
	[
	" ",
	"re"
	],
	[
	"a",
	"l"
	],
	[
	"a",
	"r"
	],
	[
	"a",
	"tion"
	],
	[
	"c",
	"e"
	],
	[
	"c",
	"i"
	],
	[
	"e",
	"e"
	],
	[
	"e",
	"l"
	],
	[
	"e",
	"n"
	],
	[
	"e",
	"ar"
	],
	[
	"f",
	"i"
	],
	[
	"g",
	"en"
	],
	[
	"i",
	"z"
	],
	[
	"i",
	"gen"
	],
	[
	"l",
	"u"
	],
	[
	"l",
	"igen"
	],
	[
	"m",
	"p"
	],
	[
	"n",
	"d"
	],
	[
	"n",
	"ing"
	],
	[
	"o",
	"lu"
	],
	[
	"o",
	"mp"
	],
	[
	"r",
	"ti"
	],
	[
	"t",
	"ation"
	],
	[
	"t",
	"el"
	],
	[
	"u",
	"tation"
	],
	[
	"v",
	"olu"
	],
	[
	"、",
	"自"
	],
	[
	"あ",
	"り"
	],
	[
	"い",
	"ま"
	],
	[
	"が",
	"急"
	],
	[
	"し",
	"て"
	],
	[
	"す",
	"。"
	],
	[
	"で",
	"あり"
	],
	[
	"に",
	"進"
	],
	[
	"の",
	"首"
	],
	[
	"は",
	"東"
	],
	[
	"世",
	"界"
	],
	[
	"习",
	"模"
	],
	[
	"京",
	"であり"
	],
	[
	"処",
	"理"
	],
	[
	"变",
	"世界"
	],
	[
	"和",
	"深"
	],
	[
	"在",
	"改"
	],
	[
	"型",
	"正"
	],
	[
	"学",
	"习模"
	],
	[
	"局",
	"。"
	],
	[
	"展",
	"して"
	],
	[
	"工",
	"智"
	],
	[
	"度",
	"学习模"
	],
	[
	"技",
	"术"
	],
	[
	"本",
	"の首"
	],
	[
	"格",
	"局。"
	],
	[
	"然",
	"言"
	],
	[
	"的",
	"技术"
	],
	[
	"能",
	"和深"
	],
	[
	"語",
	"処理"
	],
	[
	"速",
	"に進"
	],
	[
	"都",
	"は東"
	],
	[
	"공",
	"지"
	],
	[
	"국",
	"의"
	],
	[
	"니",
	"다"
	],
	[
	"도",
	"는"
	],
	[
	"르",
	"게"
	],
	[
	"민",
	"국의"
	],
	[
	"술",
	"이"
	],
	[
	"습",
	"니다"
	],
	[
	"울",
	"이"
	],
	[
	"전",
	"하"
	],
	[
	"한",
	"민국의"
	],
	[
	" a",
	"re"
	],
	[
	" a",
	"nd"
	],
	[
	"tion",
	"iz"
	],
	[
	" A",
	"rti"
	],
	[
	" c",
	"omp"
	],
	[
	" d",
	"ee"
	],
	[
	" l",
	"ear"
	],
	[
	" 人",
	"工智"
	],
	[
	" 日",
	"本の首"
	],
	[
	" 기",
	"술이"
	],
	[
	" 대",
	"한민국의"
	],
	[
	" 발",
	"전하"
	],
	[
	" 빠",
	"르게"
	],
	[
	" 서",
	"울이"
	],
	[
	" 수",
	"도는"
	],
	[
	" 인",
	"공지"
	],
	[
	" 있",
	"습니다"
	],
	[
	" in",
	"tel"
	],
	[
	" re",
	"volu"
	],
	[
	"ci",
	"al"
	],
	[
	"fi",
	"cial"
	],
	[
	"ligen",
	"ce"
	],
	[
	"utation",
	"."
	],
	[
	"、自",
	"然言"
	],
	[
	"いま",
	"す。"
	],
	[
	"が急",
	"速に進"
	],
	[
	"京であり",
	"、自然言"
	],
	[
	"变世界",
	"的技术"
	],
	[
	"在改",
	"变世界的技术"
	],
	[
	"型正",
	"在改变世界的技术"
	],
	[
	"展して",
	"います。"
	],
	[
	"度学习模",
	"型正在改变世界的技术"
	],
	[
	"能和深",
	"度学习模型正在改变世界的技术"
	],
	[
	"語処理",
	"が急速に進"
	],
	[
	"都は東",
	"京であり、自然言"
	],
	[
	"tioniz",
	"ing"
	],
	[
	" Arti",
	"ficial"
	],
	[
	" comp",
	"utation."
	],
	[
	" dee",
	"p"
	],
	[
	" lear",
	"ning"
	],
	[
	" 人工智",
	"能和深度学习模型正在改变世界的技术"
	],
	[
	" 日本の首",
	"都は東京であり、自然言"
	],
	[
	" 발전하",
	"고"
	],
	[
	" 서울이",
	"며"
	],
	[
	" 인공지",
	"능"
	],
	[
	" 있습니다",
	"."
	],
	[
	" intel",
	"ligence"
	],
	[
	" revolu",
	"tionizing"
	],
	[
	"語処理が急速に進",
	"展しています。"
	],
	[
	" 人工智能和深度学习模型正在改变世界的技术",
	"格局。"
	],
	[
	" 日本の首都は東京であり、自然言",
	"語処理が急速に進展しています。"
	]
	]
	}
	}