{ "version": "1.0", "truncation": null, "padding": null, "added_tokens": [ { "id": 0, "content": "", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 1, "content": "", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 2, "content": "", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 3, "content": "", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true } ], "normalizer": null, "pre_tokenizer": { "type": "Metaspace", "replacement": " ", "prepend_scheme": "always", "split": true }, "post_processor": null, "decoder": { "type": "Metaspace", "replacement": " ", "prepend_scheme": "always", "split": true }, "model": { "type": "BPE", "dropout": null, "unk_token": "", "continuing_subword_prefix": null, "end_of_word_suffix": null, "fuse_unk": false, "byte_fallback": false, "ignore_merges": false, "vocab": { "": 0, "": 1, "": 2, "": 3, " ": 4, "!": 5, "\"": 6, "#": 7, "$": 8, "%": 9, "&": 10, "'": 11, "(": 12, ")": 13, "*": 14, "+": 15, ",": 16, "-": 17, ".": 18, "/": 19, "0": 20, "1": 21, "2": 22, "3": 23, "4": 24, "5": 25, "6": 26, "7": 27, "8": 28, "9": 29, ":": 30, ";": 31, "<": 32, "=": 33, ">": 34, "?": 35, "@": 36, "A": 37, "B": 38, "C": 39, "D": 40, "E": 41, "F": 42, "G": 43, "H": 44, "I": 45, "J": 46, "K": 47, "L": 48, "M": 49, "N": 50, "O": 51, "P": 52, "Q": 53, "R": 54, "S": 55, "T": 56, "U": 57, "V": 58, "W": 59, "X": 60, "Y": 61, "Z": 62, "[": 63, "\\": 64, "]": 65, "^": 66, "_": 67, "`": 68, "a": 69, "b": 70, "c": 71, "d": 72, "e": 73, "f": 74, "g": 75, "h": 76, "i": 77, "j": 78, "k": 79, "l": 80, "m": 81, "n": 82, "o": 83, "p": 84, "q": 85, "r": 86, "s": 87, "t": 88, "u": 89, "v": 90, "w": 91, "x": 92, "y": 93, "z": 94, "{": 95, "|": 96, "}": 97, "~": 98, "¡": 99, "¢": 100, "£": 101, "¤": 102, "¥": 103, "¦": 104, "§": 105, "¨": 106, "©": 107, "ª": 108, "«": 109, "¬": 110, "®": 111, "¯": 112, "°": 113, "±": 114, "²": 115, "³": 116, "´": 117, "µ": 118, "¶": 119, "·": 120, "¸": 121, "¹": 122, "º": 123, "»": 124, "¼": 125, "½": 126, "¾": 127, "¿": 128, "À": 129, "Á": 130, "Â": 131, "Ã": 132, "Ä": 133, "Å": 134, "Æ": 135, "Ç": 136, "È": 137, "É": 138, "Ê": 139, "Ë": 140, "Ì": 141, "Í": 142, "Î": 143, "Ï": 144, "Ð": 145, "Ñ": 146, "Ò": 147, "Ó": 148, "Ô": 149, "Õ": 150, "Ö": 151, "×": 152, "Ø": 153, "Ù": 154, "Ú": 155, "Û": 156, "Ü": 157, "Ý": 158, "Þ": 159, "ß": 160, "à": 161, "á": 162, "â": 163, "ã": 164, "ä": 165, "å": 166, "æ": 167, "ç": 168, "è": 169, "é": 170, "ê": 171, "ë": 172, "ì": 173, "í": 174, "î": 175, "ï": 176, "ð": 177, "ñ": 178, "ò": 179, "ó": 180, "ô": 181, "õ": 182, "ö": 183, "÷": 184, "ø": 185, "ù": 186, "ú": 187, "û": 188, "ü": 189, "ý": 190, "þ": 191, "ÿ": 192, "Ā": 193, "ā": 194, "Ă": 195, "ă": 196, "Ą": 197, "ą": 198, "Ć": 199, "ć": 200, "Ĉ": 201, "ĉ": 202, "Ċ": 203, "ċ": 204, "Č": 205, "č": 206, "Ď": 207, "ď": 208, "Đ": 209, "đ": 210, "Ē": 211, "ē": 212, "Ĕ": 213, "ĕ": 214, "Ė": 215, "ė": 216, "Ę": 217, "ę": 218, "Ě": 219, "ě": 220, "Ĝ": 221, "ĝ": 222, "Ğ": 223, "ğ": 224, "Ġ": 225, "ġ": 226, "Ģ": 227, "ģ": 228, "Ĥ": 229, "ĥ": 230, "Ħ": 231, "ħ": 232, "Ĩ": 233, "ĩ": 234, "Ī": 235, "ī": 236, "Ĭ": 237, "ĭ": 238, "Į": 239, "į": 240, "İ": 241, "ı": 242, "IJ": 243, "ij": 244, "Ĵ": 245, "ĵ": 246, "Ķ": 247, "ķ": 248, "ĸ": 249, "Ĺ": 250, "ĺ": 251, "Ļ": 252, "ļ": 253, "Ľ": 254, "ľ": 255, "Ŀ": 256, "ŀ": 257, "Ł": 258, "ł": 259, "Ń": 260, "、": 261, "。": 262, "あ": 263, "い": 264, "が": 265, "し": 266, "す": 267, "て": 268, "で": 269, "に": 270, "の": 271, "は": 272, "ま": 273, "り": 274, "世": 275, "习": 276, "京": 277, "人": 278, "処": 279, "变": 280, "和": 281, "在": 282, "型": 283, "学": 284, "局": 285, "展": 286, "工": 287, "度": 288, "急": 289, "技": 290, "改": 291, "日": 292, "智": 293, "本": 294, "术": 295, "東": 296, "格": 297, "模": 298, "正": 299, "深": 300, "然": 301, "理": 302, "界": 303, "的": 304, "能": 305, "自": 306, "言": 307, "語": 308, "速": 309, "進": 310, "都": 311, "首": 312, "게": 313, "고": 314, "공": 315, "국": 316, "기": 317, "는": 318, "능": 319, "니": 320, "다": 321, "대": 322, "도": 323, "르": 324, "며": 325, "민": 326, "발": 327, "빠": 328, "서": 329, "수": 330, "술": 331, "습": 332, "울": 333, "의": 334, "이": 335, "인": 336, "있": 337, "전": 338, "지": 339, "하": 340, "한": 341, "in": 342, "ti": 343, " a": 344, "on": 345, "re": 346, "ing": 347, "tion": 348, " A": 349, " c": 350, " d": 351, " l": 352, " 人": 353, " 日": 354, " 기": 355, " 대": 356, " 발": 357, " 빠": 358, " 서": 359, " 수": 360, " 인": 361, " 있": 362, " in": 363, " re": 364, "al": 365, "ar": 366, "ation": 367, "ce": 368, "ci": 369, "ee": 370, "el": 371, "en": 372, "ear": 373, "fi": 374, "gen": 375, "iz": 376, "igen": 377, "lu": 378, "ligen": 379, "mp": 380, "nd": 381, "ning": 382, "olu": 383, "omp": 384, "rti": 385, "tation": 386, "tel": 387, "utation": 388, "volu": 389, "、自": 390, "あり": 391, "いま": 392, "が急": 393, "して": 394, "す。": 395, "であり": 396, "に進": 397, "の首": 398, "は東": 399, "世界": 400, "习模": 401, "京であり": 402, "処理": 403, "变世界": 404, "和深": 405, "在改": 406, "型正": 407, "学习模": 408, "局。": 409, "展して": 410, "工智": 411, "度学习模": 412, "技术": 413, "本の首": 414, "格局。": 415, "然言": 416, "的技术": 417, "能和深": 418, "語処理": 419, "速に進": 420, "都は東": 421, "공지": 422, "국의": 423, "니다": 424, "도는": 425, "르게": 426, "민국의": 427, "술이": 428, "습니다": 429, "울이": 430, "전하": 431, "한민국의": 432, " are": 433, " and": 434, "tioniz": 435, " Arti": 436, " comp": 437, " dee": 438, " lear": 439, " 人工智": 440, " 日本の首": 441, " 기술이": 442, " 대한민국의": 443, " 발전하": 444, " 빠르게": 445, " 서울이": 446, " 수도는": 447, " 인공지": 448, " 있습니다": 449, " intel": 450, " revolu": 451, "cial": 452, "ficial": 453, "ligence": 454, "utation.": 455, "、自然言": 456, "います。": 457, "が急速に進": 458, "京であり、自然言": 459, "变世界的技术": 460, "在改变世界的技术": 461, "型正在改变世界的技术": 462, "展しています。": 463, "度学习模型正在改变世界的技术": 464, "能和深度学习模型正在改变世界的技术": 465, "語処理が急速に進": 466, "都は東京であり、自然言": 467, "tionizing": 468, " Artificial": 469, " computation.": 470, " deep": 471, " learning": 472, " 人工智能和深度学习模型正在改变世界的技术": 473, " 日本の首都は東京であり、自然言": 474, " 발전하고": 475, " 서울이며": 476, " 인공지능": 477, " 있습니다.": 478, " intelligence": 479, " revolutionizing": 480, "語処理が急速に進展しています。": 481, " 人工智能和深度学习模型正在改变世界的技术格局。": 482, " 日本の首都は東京であり、自然言語処理が急速に進展しています。": 483 }, "merges": [ [ "i", "n" ], [ "t", "i" ], [ " ", "a" ], [ "o", "n" ], [ "r", "e" ], [ "in", "g" ], [ "ti", "on" ], [ " ", "A" ], [ " ", "c" ], [ " ", "d" ], [ " ", "l" ], [ " ", "人" ], [ " ", "日" ], [ " ", "기" ], [ " ", "대" ], [ " ", "발" ], [ " ", "빠" ], [ " ", "서" ], [ " ", "수" ], [ " ", "인" ], [ " ", "있" ], [ " ", "in" ], [ " ", "re" ], [ "a", "l" ], [ "a", "r" ], [ "a", "tion" ], [ "c", "e" ], [ "c", "i" ], [ "e", "e" ], [ "e", "l" ], [ "e", "n" ], [ "e", "ar" ], [ "f", "i" ], [ "g", "en" ], [ "i", "z" ], [ "i", "gen" ], [ "l", "u" ], [ "l", "igen" ], [ "m", "p" ], [ "n", "d" ], [ "n", "ing" ], [ "o", "lu" ], [ "o", "mp" ], [ "r", "ti" ], [ "t", "ation" ], [ "t", "el" ], [ "u", "tation" ], [ "v", "olu" ], [ "、", "自" ], [ "あ", "り" ], [ "い", "ま" ], [ "が", "急" ], [ "し", "て" ], [ "す", "。" ], [ "で", "あり" ], [ "に", "進" ], [ "の", "首" ], [ "は", "東" ], [ "世", "界" ], [ "习", "模" ], [ "京", "であり" ], [ "処", "理" ], [ "变", "世界" ], [ "和", "深" ], [ "在", "改" ], [ "型", "正" ], [ "学", "习模" ], [ "局", "。" ], [ "展", "して" ], [ "工", "智" ], [ "度", "学习模" ], [ "技", "术" ], [ "本", "の首" ], [ "格", "局。" ], [ "然", "言" ], [ "的", "技术" ], [ "能", "和深" ], [ "語", "処理" ], [ "速", "に進" ], [ "都", "は東" ], [ "공", "지" ], [ "국", "의" ], [ "니", "다" ], [ "도", "는" ], [ "르", "게" ], [ "민", "국의" ], [ "술", "이" ], [ "습", "니다" ], [ "울", "이" ], [ "전", "하" ], [ "한", "민국의" ], [ " a", "re" ], [ " a", "nd" ], [ "tion", "iz" ], [ " A", "rti" ], [ " c", "omp" ], [ " d", "ee" ], [ " l", "ear" ], [ " 人", "工智" ], [ " 日", "本の首" ], [ " 기", "술이" ], [ " 대", "한민국의" ], [ " 발", "전하" ], [ " 빠", "르게" ], [ " 서", "울이" ], [ " 수", "도는" ], [ " 인", "공지" ], [ " 있", "습니다" ], [ " in", "tel" ], [ " re", "volu" ], [ "ci", "al" ], [ "fi", "cial" ], [ "ligen", "ce" ], [ "utation", "." ], [ "、自", "然言" ], [ "いま", "す。" ], [ "が急", "速に進" ], [ "京であり", "、自然言" ], [ "变世界", "的技术" ], [ "在改", "变世界的技术" ], [ "型正", "在改变世界的技术" ], [ "展して", "います。" ], [ "度学习模", "型正在改变世界的技术" ], [ "能和深", "度学习模型正在改变世界的技术" ], [ "語処理", "が急速に進" ], [ "都は東", "京であり、自然言" ], [ "tioniz", "ing" ], [ " Arti", "ficial" ], [ " comp", "utation." ], [ " dee", "p" ], [ " lear", "ning" ], [ " 人工智", "能和深度学习模型正在改变世界的技术" ], [ " 日本の首", "都は東京であり、自然言" ], [ " 발전하", "고" ], [ " 서울이", "며" ], [ " 인공지", "능" ], [ " 있습니다", "." ], [ " intel", "ligence" ], [ " revolu", "tionizing" ], [ "語処理が急速に進", "展しています。" ], [ " 人工智能和深度学习模型正在改变世界的技术", "格局。" ], [ " 日本の首都は東京であり、自然言", "語処理が急速に進展しています。" ] ] } }