Download tokenizer.json from Climb-Ai/Climb-1-Toki: direct link, hf CLI and curl.
- Browser
- Download file 54.4 kB
-
https://huggingface.co/Climb-Ai/Climb-1-Toki/resolve/main/tokenizer.json
- Command line
-
hf download hf://Climb-Ai/Climb-1-Toki/tokenizer.json
-
curl -L -o tokenizer.json https://huggingface.co/Climb-Ai/Climb-1-Toki/resolve/main/tokenizer.json
54.4 kB
{
"version": "1.0",
"truncation": null,
"padding": null,
"added_tokens": [
{
"id": 0,
"content": "<|endoftext|>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 1,
"content": "<|user|>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 2,
"content": "<|bot|>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 3,
"content": "<|pad|>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
}
],
"normalizer": null,
"pre_tokenizer": {
"type": "ByteLevel",
"add_prefix_space": false,
"trim_offsets": true,
"use_regex": true
},
"post_processor": {
"type": "ByteLevel",
"add_prefix_space": true,
"trim_offsets": false,
"use_regex": true
},
"decoder": {
"type": "ByteLevel",
"add_prefix_space": true,
"trim_offsets": true,
"use_regex": true
},
"model": {
"type": "BPE",
"dropout": null,
"unk_token": null,
"continuing_subword_prefix": "",
"end_of_word_suffix": "",
"fuse_unk": false,
"byte_fallback": false,
"ignore_merges": false,
"vocab": {
"<|endoftext|>": 0,
"<|user|>": 1,
"<|bot|>": 2,
"<|pad|>": 3,
"!": 4,
"\"": 5,
"#": 6,
"$": 7,
"%": 8,
"&": 9,
"'": 10,
"(": 11,
")": 12,
"*": 13,
"+": 14,
",": 15,
"-": 16,
".": 17,
"/": 18,
"0": 19,
"1": 20,
"2": 21,
"3": 22,
"4": 23,
"5": 24,
"6": 25,
"7": 26,
"8": 27,
"9": 28,
":": 29,
";": 30,
"<": 31,
"=": 32,
">": 33,
"?": 34,
"@": 35,
"A": 36,
"B": 37,
"C": 38,
"D": 39,
"E": 40,
"F": 41,
"G": 42,
"H": 43,
"I": 44,
"J": 45,
"K": 46,
"L": 47,
"M": 48,
"N": 49,
"O": 50,
"P": 51,
"Q": 52,
"R": 53,
"S": 54,
"T": 55,
"U": 56,
"V": 57,
"W": 58,
"X": 59,
"Y": 60,
"Z": 61,
"[": 62,
"\\": 63,
"]": 64,
"^": 65,
"_": 66,
"`": 67,
"a": 68,
"b": 69,
"c": 70,
"d": 71,
"e": 72,
"f": 73,
"g": 74,
"h": 75,
"i": 76,
"j": 77,
"k": 78,
"l": 79,
"m": 80,
"n": 81,
"o": 82,
"p": 83,
"q": 84,
"r": 85,
"s": 86,
"t": 87,
"u": 88,
"v": 89,
"w": 90,
"x": 91,
"y": 92,
"z": 93,
"{": 94,
"|": 95,
"}": 96,
"~": 97,
"¡": 98,
"¢": 99,
"£": 100,
"¤": 101,
"¥": 102,
"¦": 103,
"§": 104,
"¨": 105,
"©": 106,
"ª": 107,
"«": 108,
"¬": 109,
"®": 110,
"¯": 111,
"°": 112,
"±": 113,
"²": 114,
"³": 115,
"´": 116,
"µ": 117,
"¶": 118,
"·": 119,
"¸": 120,
"¹": 121,
"º": 122,
"»": 123,
"¼": 124,
"½": 125,
"¾": 126,
"¿": 127,
"À": 128,
"Á": 129,
"Â": 130,
"Ã": 131,
"Ä": 132,
"Å": 133,
"Æ": 134,
"Ç": 135,
"È": 136,
"É": 137,
"Ê": 138,
"Ë": 139,
"Ì": 140,
"Í": 141,
"Î": 142,
"Ï": 143,
"Ð": 144,
"Ñ": 145,
"Ò": 146,
"Ó": 147,
"Ô": 148,
"Õ": 149,
"Ö": 150,
"×": 151,
"Ø": 152,
"Ù": 153,
"Ú": 154,
"Û": 155,
"Ü": 156,
"Ý": 157,
"Þ": 158,
"ß": 159,
"à": 160,
"á": 161,
"â": 162,
"ã": 163,
"ä": 164,
"å": 165,
"æ": 166,
"ç": 167,
"è": 168,
"é": 169,
"ê": 170,
"ë": 171,
"ì": 172,
"í": 173,
"î": 174,
"ï": 175,
"ð": 176,
"ñ": 177,
"ò": 178,
"ó": 179,
"ô": 180,
"õ": 181,
"ö": 182,
"÷": 183,
"ø": 184,
"ù": 185,
"ú": 186,
"û": 187,
"ü": 188,
"ý": 189,
"þ": 190,
"ÿ": 191,
"Ā": 192,
"ā": 193,
"Ă": 194,
"ă": 195,
"Ą": 196,
"ą": 197,
"Ć": 198,
"ć": 199,
"Ĉ": 200,
"ĉ": 201,
"Ċ": 202,
"ċ": 203,
"Č": 204,
"č": 205,
"Ď": 206,
"ď": 207,
"Đ": 208,
"đ": 209,
"Ē": 210,
"ē": 211,
"Ĕ": 212,
"ĕ": 213,
"Ė": 214,
"ė": 215,
"Ę": 216,
"ę": 217,
"Ě": 218,
"ě": 219,
"Ĝ": 220,
"ĝ": 221,
"Ğ": 222,
"ğ": 223,
"Ġ": 224,
"ġ": 225,
"Ģ": 226,
"ģ": 227,
"Ĥ": 228,
"ĥ": 229,
"Ħ": 230,
"ħ": 231,
"Ĩ": 232,
"ĩ": 233,
"Ī": 234,
"ī": 235,
"Ĭ": 236,
"ĭ": 237,
"Į": 238,
"į": 239,
"İ": 240,
"ı": 241,
"IJ": 242,
"ij": 243,
"Ĵ": 244,
"ĵ": 245,
"Ķ": 246,
"ķ": 247,
"ĸ": 248,
"Ĺ": 249,
"ĺ": 250,
"Ļ": 251,
"ļ": 252,
"Ľ": 253,
"ľ": 254,
"Ŀ": 255,
"ŀ": 256,
"Ł": 257,
"ł": 258,
"Ń": 259,
"Ġl": 260,
"an": 261,
"Ġli": 262,
"Ġt": 263,
"on": 264,
"čĊ": 265,
"Ġp": 266,
"Ġm": 267,
"en": 268,
"Ġs": 269,
"Ġk": 270,
"Ġn": 271,
"li": 272,
"Ġe": 273,
"Ġpi": 274,
"ona": 275,
"jan": 276,
"in": 277,
"te": 278,
"ok": 279,
"Ġla": 280,
"wa": 281,
"Ġma": 282,
"al": 283,
"Ġni": 284,
"Ġjan": 285,
"ma": 286,
"oki": 287,
"as": 288,
"Ġlon": 289,
"Ġmu": 290,
"ala": 291,
"Ġona": 292,
"pa": 293,
"Ġtoki": 294,
"Ġw": 295,
"po": 296,
"pu": 297,
"awa": 298,
"enpo": 299,
"lo": 300,
"Ġtawa": 301,
"si": 302,
"ama": 303,
"anpa": 304,
"Ġmute": 305,
"Ġi": 306,
"Ġsu": 307,
"Ġnanpa": 308,
"Ġsi": 309,
"Ġtenpo": 310,
"ul": 311,
"ke": 312,
"jo": 313,
"Ġpona": 314,
"ĠS": 315,
"mi": 316,
"ali": 317,
"ulu": 318,
"Ġan": 319,
"ulupu": 320,
"Ġkama": 321,
"asin": 322,
"Ġala": 323,
"om": 324,
"Ġken": 325,
"Ġtan": 326,
"ĠM": 327,
"ek": 328,
"omo": 329,
"Ġmi": 330,
"Ġwan": 331,
"Ġse": 332,
"Ġkulupu": 333,
"Ġ(": 334,
"Ġsona": 335,
"le": 336,
"Ġsuli": 337,
"Ġsin": 338,
"ja": 339,
"Ġtomo": 340,
"Ġpali": 341,
"Ġlili": 342,
"ĠP": 343,
"wi": 344,
"Ġnasin": 345,
"Ġtu": 346,
"ĠK": 347,
"ni": 348,
"ĠT": 349,
"Ġante": 350,
"elo": 351,
"len": 352,
"aso": 353,
"Ġo": 354,
"uk": 355,
"Ġlawa": 356,
"Ġen": 357,
"ile": 358,
"lin": 359,
"telen": 360,
"Ġwile": 361,
"Ġnimi": 362,
"ana": 363,
"ep": 364,
"toki": 365,
"ĠA": 366,
"Ġsitelen": 367,
"Ġjo": 368,
"Ġluk": 369,
"eken": 370,
"Ġkep": 371,
"Ġa": 372,
"ĠI": 373,
"Ġkepeken": 374,
"ut": 375,
"ĠL": 376,
"Ġpana": 377,
"Ġal": 378,
"Ġsike": 379,
"Ġlipu": 380,
"pi": 381,
"Ġpilin": 382,
"Ġtelo": 383,
"Ġsina": 384,
"Ġijo": 385,
"me": 386,
"Ġtaso": 387,
"Ġilo": 388,
"wen": 389,
"Ġmusi": 390,
"ĠN": 391,
"Ġpini": 392,
"Ġsewi": 393,
"Ġwa": 394,
"Ġale": 395,
"ĠMi": 396,
"Ġki": 397,
"Ġsama": 398,
"eli": 399,
"sa": 400,
"Ġkala": 401,
"asi": 402,
"un": 403,
"Ġike": 404,
"oka": 405,
"Ġut": 406,
"Ġ1": 407,
"tenpo": 408,
"ak": 409,
"no": 410,
"ina": 411,
"ĠE": 412,
"Ġkalama": 413,
"Ġsuno": 414,
"oku": 415,
"ow": 416,
"Ġutala": 417,
"Ġlukin": 418,
"ko": 419,
"Ġmoku": 420,
"ĠIn": 421,
"Ġluka": 422,
"ĠO": 423,
"ka": 424,
"Ġ\"": 425,
"je": 426,
"Ġpoka": 427,
"ĠW": 428,
"Ġwawa": 429,
"asa": 430,
"ta": 431,
"ki": 432,
"ĠJ": 433,
"Ġkin": 434,
"oweli": 435,
"Ġawen": 436,
"Ġanu": 437,
"la": 438,
"pen": 439,
"pe": 440,
"oli": 441,
"ani": 442,
"Ġkon": 443,
"jelo": 444,
"Ġseme": 445,
"ĠInli": 446,
"eka": 447,
"se": 448,
"so": 449,
"Ġsoweli": 450,
"ĠNi": 451,
"Ġopen": 452,
"to": 453,
"Ġkasi": 454,
"Ġweka": 455,
"Ġlin": 456,
"Ġin": 457,
"Ġ2": 458,
"Ġâ": 459,
"taso": 460,
"Ġmoli": 461,
"Ġinsa": 462,
"osi": 463,
"Ġmun": 464,
"00": 465,
"Ġmani": 466,
"Ġlinja": 467,
"ĠSina": 468,
"Ġsijelo": 469,
"ĠSon": 470,
"ĨĴ": 471,
"ĠâĨĴ": 472,
"Ġkiwen": 473,
"ena": 474,
"Ġmama": 475,
"ĠSi": 476,
"ule": 477,
"Ġseli": 478,
"lan": 479,
"er": 480,
"at": 481,
").": 482,
"akala": 483,
"Ġkule": 484,
"sun": 485,
"ĠMe": 486,
"sina": 487,
"Ġanpa": 488,
"Ġku": 489,
"Ġpakala": 490,
"pisi": 491,
"su": 492,
"ĠPo": 493,
"ete": 494,
"Ġnasa": 495,
"kulupu": 496,
"tan": 497,
"Ġnena": 498,
"ĠSonko": 499,
"Ġ19": 500,
"ar": 501,
"nimi": 502,
"ĠPi": 503,
"lon": 504,
"nasin": 505,
"Ġpoki": 506,
"meja": 507,
"tu": 508,
"Ġesun": 509,
"Ġmon": 510,
"Ġkipisi": 511,
"uta": 512,
"--": 513,
"ĠC": 514,
"pin": 515,
"Ġpimeja": 516,
"jon": 517,
"usi": 518,
"pan": 519,
"ĠAn": 520,
"ĠKan": 521,
"ĠMewi": 522,
"Ġkute": 523,
"ĠTa": 524,
"Ġ20": 525,
"or": 526,
"lipu": 527,
"ĠMewika": 528,
"Ġalasa": 529,
"Ġ[": 530,
"ĠU": 531,
"san": 532,
"Ġlete": 533,
"lu": 534,
"ĠTosi": 535,
"ch": 536,
"ku": 537,
"ĠNijon": 538,
"Ġko": 539,
"Ġpalisa": 540,
"ĠB": 541,
"sin": 542,
"ĠWi": 543,
"Ġlen": 544,
"Ġwaso": 545,
"Ġlo": 546,
"Jan": 547,
"ĠKo": 548,
"ĠKa": 549,
"ri": 550,
"kesi": 551,
"Ġloje": 552,
"Ġpipi": 553,
"Ġali": 554,
"Ġolin": 555,
"ti": 556,
"ĠKe": 557,
"ĠJu": 558,
"Ġwalo": 559,
"Ġlape": 560,
"ĠLasin": 561,
"Ġmeli": 562,
"ale": 563,
"Ġselo": 564,
"sija": 565,
"jaki": 566,
"ra": 567,
"Ġlu": 568,
"à®": 569,
"Ġkili": 570,
"re": 571,
"ĠPe": 572,
"ĠLo": 573,
"ilo": 574,
"ken": 575,
"Ġsuwi": 576,
"sitelen": 577,
"ĠSa": 578,
"ĠTe": 579,
"ton": 580,
"suta": 581,
"Ġjaki": 582,
"una": 583,
"ĠSe": 584,
"Ġsinpin": 585,
"ĠKi": 586,
"Ġd": 587,
"ĠR": 588,
"ĠSan": 589,
"Ġ/": 590,
"ĠMa": 591,
"ĠSu": 592,
"ĠTaso": 593,
"ĠElo": 594,
"kala": 595,
"Ġnoka": 596,
"ĠD": 597,
"ĠSo": 598,
"Ġ-": 599,
"Ġmije": 600,
"tali": 601,
"),": 602,
"he": 603,
"Ġsupa": 604,
"son": 605,
"Ġakesi": 606,
"ĠLasina": 607,
"alu": 608,
"ĠG": 609,
"ĠH": 610,
"ĠElopa": 611,
"na": 612,
"oko": 613,
"ijo": 614,
"ĠPa": 615,
"ju": 616,
"Ġmonsuta": 617,
"Ġpan": 618,
"Ġuta": 619,
"ĠÐ": 620,
"ĠKanse": 621,
"kin": 622,
"ola": 623,
"ĠItali": 624,
"tak": 625,
"uka": 626,
"es": 627,
"ĠItalija": 628,
"ĠLi": 629,
"ĠToki": 630,
"---": 631,
"juna": 632,
"us": 633,
"Ġjelo": 634,
"Ġ202": 635,
"man": 636,
"tomo": 637,
"Ġ3": 638,
"Ġmonsi": 639,
"ĠLon": 640,
"Ġmajuna": 641,
"à¤": 642,
"amako": 643,
"is": 644,
"Âł": 645,
"Ġpu": 646,
"ĠPan": 647,
"ĠPala": 648,
"ĠEpan": 649,
"Ġlupa": 650,
"ĠEpanja": 651,
"ĠJe": 652,
"wan": 653,
"jete": 654,
"ËĪ": 655,
"à¸": 656,
"Ġnamako": 657,
"sona": 658,
"ĠJan": 659,
"ĠAlon": 660,
"ro": 661,
"Ġ18": 662,
"Ġlaso": 663,
"kon": 664,
"Ġ4": 665,
"ten": 666,
"ĠTenpo": 667,
"ĠSin": 668,
"ĠAlonola": 669,
"mu": 670,
"Ġun": 671,
"we": 672,
"а": 673,
"ĠKu": 674,
"musi": 675,
"ãĥ": 676,
"eko": 677,
"am": 678,
"\".": 679,
"soweli": 680,
"ĠF": 681,
"el": 682,
"meli": 683,
"santak": 684,
"ĠJuke": 685,
"Ġh": 686,
"ĠPalata": 687,
"ĠKin": 688,
"ĠTami": 689,
"telo": 690,
"Ġ201": 691,
"\")": 692,
"jetesantak": 693,
"th": 694,
"Ġ200": 695,
"и": 696,
"ĠTu": 697,
"lapi": 698,
"ĠMon": 699,
"di": 700,
"ĠĠ": 701,
"onsi": 702,
"nanpa": 703,
"ĠOna": 704,
"о": 705,
"Ġlan": 706,
"kalama": 707,
"jetesantakalu": 708,
"sike": 709,
"Ġunpa": 710,
"ĠAsija": 711,
"ĠSen": 712,
"ĠPasi": 713,
"Ġc": 714,
"ĠLa": 715,
"ðĸ": 716,
"ðĸ¬": 717,
"Ġb": 718,
"ĠTan": 719,
"ĠApi": 720,
"aka": 721,
"000": 722,
"Ġ5": 723,
"ĠLe": 724,
"mo": 725,
"ĠLusi": 726,
"tuke": 727,
"ol": 728,
"pali": 729,
"ĠPotuke": 730,
"hi": 731,
"ur": 732,
"ing": 733,
"ter": 734,
"ĠPen": 735,
"Ġtonsi": 736,
"ĠV": 737,
"ï¼": 738,
"uki": 739,
"ĠAnku": 740,
"mon": 741,
"ĠAlapi": 742,
"Ġlanpan": 743,
"Ġ6": 744,
"ĠLosi": 745,
"Ġka": 746,
"pija": 747,
"ãĤ": 748,
"aki": 749,
"ĠPona": 750,
"de": 751,
"Ġ7": 752,
"Ġ9": 753,
"alasi": 754,
"ĠLoma": 755,
"ĠKala": 756,
"à¯": 757,
"Ġ+": 758,
"ĠWe": 759,
"ĠAmeli": 760,
"sen": 761,
"Ġme": 762,
"Ġof": 763,
"ci": 764,
"ĠTo": 765,
"ĠNu": 766,
"ĠApika": 767,
"à½": 768,
"ĠSonja": 769,
"kan": 770,
"Ñģ": 771,
"ĠSat": 772,
"ĠAmelika": 773,
"ge": 774,
"Ġ8": 775,
"gu": 776,
"е": 777,
"ĠNete": 778,
"ati": 779,
"н": 780,
"Ġf": 781,
"ula": 782,
"ĠIs": 783,
"ĠNetelan": 784,
"Ġoko": 785,
"ĠJesu": 786,
"ce": 787,
"ĠNe": 788,
"ÑĢ": 789,
"Ġj": 790,
"pilin": 791,
"Ġkijetesantakalu": 792,
"suka": 793,
"ĠEpe": 794,
"ãģ": 795,
"ĠNo": 796,
"vi": 797,
"ĠMas": 798,
"ĠKat": 799,
"ĠElen": 800,
"luwi": 801,
"ĠWiki": 802,
"Ġleko": 803,
"ĠMak": 804,
"])": 805,
"da": 806,
"win": 807,
"seli": 808,
"Ġ199": 809,
"ËIJ": 810,
"ĠLu": 811,
"ĠKon": 812,
"ĠY": 813,
"ĠØ": 814,
"ÉĻ": 815,
"eki": 816,
"Ġlinluwi": 817,
"ĠElena": 818,
"âĢ": 819,
"alo": 820,
"Ġ15": 821,
"mute": 822,
"anu": 823,
"ĠAl": 824,
"lija": 825,
"ĠPon": 826,
"ÑĤ": 827,
"ĠPosuka": 828,
"ĠKali": 829,
"ĠSona": 830,
"ĠIsi": 831,
"sele": 832,
"ĠKen": 833,
"lanto": 834,
"os": 835,
"ĠEn": 836,
"men": 837,
"ĠPili": 838,
"ĠEpelanto": 839,
"ekan": 840,
"Ġmeso": 841,
"LL": 842,
"owe": 843,
"к": 844,
"siko": 845,
"ĠTuki": 846,
"ĠWa": 847,
"ha": 848,
"mun": 849,
"pona": 850,
"ante": 851,
"Ġti": 852,
"MM": 853,
"Ġu": 854,
"ĠLin": 855,
"co": 856,
"Ġthe": 857,
"tawa": 858,
"á": 859,
"ĠPuta": 860,
"ĠKana": 861,
"pini": 862,
"ca": 863,
"ija": 864,
"ĠPu": 865,
"ĠTen": 866,
"il": 867,
"Ġten": 868,
"mani": 869,
"ne": 870,
"л": 871,
"Ġg": 872,
"ĠTona": 873,
"ho": 874,
"Ġ10": 875,
"st": 876,
"ĠMo": 877,
"Ġna": 878,
"ĠNa": 879,
"Ġ17": 880,
"ĠSonatan": 881,
"luka": 882,
"ĠIsale": 883,
"ve": 884,
"ãĢ": 885,
"Ġde": 886,
"ĠSese": 887,
"ĠIsilan": 888,
"Ġå": 889,
"ine": 890,
"ĠMalasi": 891,
"Ġ12": 892,
"peken": 893,
"Ġpa": 894,
"alan": 895,
"mb": 896,
"é": 897,
"ĠIS": 898,
"suli": 899,
"ĠSesesele": 900,
"tun": 901,
"ĠNosi": 902,
"akesi": 903,
"Ġ'": 904,
"io": 905,
"der": 906,
"ä¸": 907,
"utala": 908,
"ĠTel": 909,
"à¯į": 910,
"ĠEli": 911,
"ĠMalasija": 912,
"tt": 913,
"Ġ=": 914,
"pesi": 915,
"ĠJo": 916,
"pon": 917,
"в": 918,
"ĠWikipe": 919,
"lawa": 920,
"ran": 921,
"Ġpo": 922,
"Ġ14": 923,
"Ġ197": 924,
"áĥ": 925,
"ĠMan": 926,
"lina": 927,
"asima": 928,
"20": 929,
"ĠWen": 930,
"ĠWin": 931,
"ĠJa": 932,
"ĠJuni": 933,
"ĠISO": 934,
"ĠMin": 935,
"ĠPok": 936,
"ĠKasi": 937,
"suno": 938,
"esija": 939,
"selija": 940,
"/)": 941,
"à¼": 942,
"ty": 943,
"Ġte": 944,
"ĠTawi": 945,
"ĠĠĠĠ": 946,
"wasi": 947,
"ĠLen": 948,
"ĠSiko": 949,
"à¼ĭ": 950,
"Ġæ": 951,
"ĠKasa": 952,
"ĠAlan": 953,
"Ġ198": 954,
"ĠKol": 955,
"kasi": 956,
"Ġke": 957,
"epe": 958,
"ĠOselija": 959,
"ï¼Į": 960,
"ɪ": 961,
"ako": 962,
"Ġjasima": 963,
"äº": 964,
"Ġ13": 965,
"gh": 966,
"nena": 967,
"ver": 968,
"ck": 969,
"ĠSensa": 970,
"10": 971,
"ia": 972,
"ĠLan": 973,
"ĠPasiju": 974,
"ĠMasu": 975,
"],": 976,
"do": 977,
"ry": 978,
"ber": 979,
"ru": 980,
"ü": 981,
"ا": 982,
"ĠMar": 983,
"ĠEle": 984,
"Ġ194": 985,
"ĠWije": 986,
"ĠWikipesija": 987,
"jen": 988,
"kama": 989,
"linja": 990,
"Ġ16": 991,
"kipisi": 992,
"ĠKanata": 993,
"ĠMu": 994,
"ĠMali": 995,
"wisi": 996,
"ĠIlan": 997,
"ĠâĢ": 998,
"à¥": 999,
"Ġ2022": 1000,
"19": 1001,
"ic": 1002,
"Ġ(\"": 1003,
"ĠCh": 1004,
"ÙĦ": 1005,
"Ġá": 1006,
"Ġpowe": 1007,
"ĠAli": 1008,
"ga": 1009,
"Äģ": 1010,
"Ġ11": 1011,
"ris": 1012,
"tic": 1013,
"ĠSoson": 1014,
"gua": 1015,
"et": 1016,
"ÃŃ": 1017,
"waso": 1018,
"ĠPiten": 1019,
"oman": 1020,
"ff": 1021,
"Ġv": 1022,
"ad": 1023
},
"merges": [
[
"Ġ",
"l"
],
[
"a",
"n"
],
[
"Ġl",
"i"
],
[
"Ġ",
"t"
],
[
"o",
"n"
],
[
"č",
"Ċ"
],
[
"Ġ",
"p"
],
[
"Ġ",
"m"
],
[
"e",
"n"
],
[
"Ġ",
"s"
],
[
"Ġ",
"k"
],
[
"Ġ",
"n"
],
[
"l",
"i"
],
[
"Ġ",
"e"
],
[
"Ġp",
"i"
],
[
"on",
"a"
],
[
"j",
"an"
],
[
"i",
"n"
],
[
"t",
"e"
],
[
"o",
"k"
],
[
"Ġl",
"a"
],
[
"w",
"a"
],
[
"Ġm",
"a"
],
[
"a",
"l"
],
[
"Ġn",
"i"
],
[
"Ġ",
"jan"
],
[
"m",
"a"
],
[
"ok",
"i"
],
[
"a",
"s"
],
[
"Ġl",
"on"
],
[
"Ġm",
"u"
],
[
"al",
"a"
],
[
"Ġ",
"ona"
],
[
"p",
"a"
],
[
"Ġt",
"oki"
],
[
"Ġ",
"w"
],
[
"p",
"o"
],
[
"p",
"u"
],
[
"a",
"wa"
],
[
"en",
"po"
],
[
"l",
"o"
],
[
"Ġt",
"awa"
],
[
"s",
"i"
],
[
"a",
"ma"
],
[
"an",
"pa"
],
[
"Ġmu",
"te"
],
[
"Ġ",
"i"
],
[
"Ġs",
"u"
],
[
"Ġn",
"anpa"
],
[
"Ġs",
"i"
],
[
"Ġt",
"enpo"
],
[
"u",
"l"
],
[
"k",
"e"
],
[
"j",
"o"
],
[
"Ġp",
"ona"
],
[
"Ġ",
"S"
],
[
"m",
"i"
],
[
"a",
"li"
],
[
"ul",
"u"
],
[
"Ġ",
"an"
],
[
"ulu",
"pu"
],
[
"Ġk",
"ama"
],
[
"as",
"in"
],
[
"Ġ",
"ala"
],
[
"o",
"m"
],
[
"Ġk",
"en"
],
[
"Ġt",
"an"
],
[
"Ġ",
"M"
],
[
"e",
"k"
],
[
"om",
"o"
],
[
"Ġm",
"i"
],
[
"Ġw",
"an"
],
[
"Ġs",
"e"
],
[
"Ġk",
"ulupu"
],
[
"Ġ",
"("
],
[
"Ġs",
"ona"
],
[
"l",
"e"
],
[
"Ġsu",
"li"
],
[
"Ġs",
"in"
],
[
"j",
"a"
],
[
"Ġt",
"omo"
],
[
"Ġp",
"ali"
],
[
"Ġli",
"li"
],
[
"Ġ",
"P"
],
[
"w",
"i"
],
[
"Ġn",
"asin"
],
[
"Ġt",
"u"
],
[
"Ġ",
"K"
],
[
"n",
"i"
],
[
"Ġ",
"T"
],
[
"Ġan",
"te"
],
[
"e",
"lo"
],
[
"l",
"en"
],
[
"as",
"o"
],
[
"Ġ",
"o"
],
[
"u",
"k"
],
[
"Ġla",
"wa"
],
[
"Ġ",
"en"
],
[
"i",
"le"
],
[
"li",
"n"
],
[
"te",
"len"
],
[
"Ġw",
"ile"
],
[
"Ġni",
"mi"
],
[
"an",
"a"
],
[
"e",
"p"
],
[
"t",
"oki"
],
[
"Ġ",
"A"
],
[
"Ġsi",
"telen"
],
[
"Ġ",
"jo"
],
[
"Ġl",
"uk"
],
[
"ek",
"en"
],
[
"Ġk",
"ep"
],
[
"Ġ",
"a"
],
[
"Ġ",
"I"
],
[
"Ġkep",
"eken"
],
[
"u",
"t"
],
[
"Ġ",
"L"
],
[
"Ġp",
"ana"
],
[
"Ġ",
"al"
],
[
"Ġsi",
"ke"
],
[
"Ġli",
"pu"
],
[
"p",
"i"
],
[
"Ġpi",
"lin"
],
[
"Ġt",
"elo"
],
[
"Ġsin",
"a"
],
[
"Ġi",
"jo"
],
[
"m",
"e"
],
[
"Ġt",
"aso"
],
[
"Ġi",
"lo"
],
[
"w",
"en"
],
[
"Ġmu",
"si"
],
[
"Ġ",
"N"
],
[
"Ġpi",
"ni"
],
[
"Ġse",
"wi"
],
[
"Ġ",
"wa"
],
[
"Ġal",
"e"
],
[
"ĠM",
"i"
],
[
"Ġk",
"i"
],
[
"Ġs",
"ama"
],
[
"e",
"li"
],
[
"s",
"a"
],
[
"Ġk",
"ala"
],
[
"as",
"i"
],
[
"u",
"n"
],
[
"Ġi",
"ke"
],
[
"ok",
"a"
],
[
"Ġ",
"ut"
],
[
"Ġ",
"1"
],
[
"t",
"enpo"
],
[
"a",
"k"
],
[
"n",
"o"
],
[
"in",
"a"
],
[
"Ġ",
"E"
],
[
"Ġkala",
"ma"
],
[
"Ġsu",
"no"
],
[
"ok",
"u"
],
[
"o",
"w"
],
[
"Ġut",
"ala"
],
[
"Ġluk",
"in"
],
[
"k",
"o"
],
[
"Ġm",
"oku"
],
[
"ĠI",
"n"
],
[
"Ġluk",
"a"
],
[
"Ġ",
"O"
],
[
"k",
"a"
],
[
"Ġ",
"\""
],
[
"j",
"e"
],
[
"Ġp",
"oka"
],
[
"Ġ",
"W"
],
[
"Ġwa",
"wa"
],
[
"as",
"a"
],
[
"t",
"a"
],
[
"k",
"i"
],
[
"Ġ",
"J"
],
[
"Ġk",
"in"
],
[
"ow",
"eli"
],
[
"Ġa",
"wen"
],
[
"Ġan",
"u"
],
[
"l",
"a"
],
[
"p",
"en"
],
[
"p",
"e"
],
[
"o",
"li"
],
[
"an",
"i"
],
[
"Ġk",
"on"
],
[
"j",
"elo"
],
[
"Ġse",
"me"
],
[
"ĠIn",
"li"
],
[
"ek",
"a"
],
[
"s",
"e"
],
[
"s",
"o"
],
[
"Ġs",
"oweli"
],
[
"ĠN",
"i"
],
[
"Ġo",
"pen"
],
[
"t",
"o"
],
[
"Ġk",
"asi"
],
[
"Ġw",
"eka"
],
[
"Ġli",
"n"
],
[
"Ġ",
"in"
],
[
"Ġ",
"2"
],
[
"Ġ",
"â"
],
[
"t",
"aso"
],
[
"Ġm",
"oli"
],
[
"Ġin",
"sa"
],
[
"o",
"si"
],
[
"Ġmu",
"n"
],
[
"0",
"0"
],
[
"Ġm",
"ani"
],
[
"Ġlin",
"ja"
],
[
"ĠS",
"ina"
],
[
"Ġsi",
"jelo"
],
[
"ĠS",
"on"
],
[
"Ĩ",
"Ĵ"
],
[
"Ġâ",
"ĨĴ"
],
[
"Ġki",
"wen"
],
[
"en",
"a"
],
[
"Ġma",
"ma"
],
[
"ĠS",
"i"
],
[
"ul",
"e"
],
[
"Ġse",
"li"
],
[
"l",
"an"
],
[
"e",
"r"
],
[
"a",
"t"
],
[
")",
"."
],
[
"ak",
"ala"
],
[
"Ġk",
"ule"
],
[
"s",
"un"
],
[
"ĠM",
"e"
],
[
"s",
"ina"
],
[
"Ġ",
"anpa"
],
[
"Ġk",
"u"
],
[
"Ġp",
"akala"
],
[
"pi",
"si"
],
[
"s",
"u"
],
[
"ĠP",
"o"
],
[
"e",
"te"
],
[
"Ġn",
"asa"
],
[
"k",
"ulupu"
],
[
"t",
"an"
],
[
"Ġn",
"ena"
],
[
"ĠSon",
"ko"
],
[
"Ġ1",
"9"
],
[
"a",
"r"
],
[
"ni",
"mi"
],
[
"ĠP",
"i"
],
[
"l",
"on"
],
[
"n",
"asin"
],
[
"Ġp",
"oki"
],
[
"me",
"ja"
],
[
"t",
"u"
],
[
"Ġe",
"sun"
],
[
"Ġm",
"on"
],
[
"Ġki",
"pisi"
],
[
"ut",
"a"
],
[
"-",
"-"
],
[
"Ġ",
"C"
],
[
"p",
"in"
],
[
"Ġpi",
"meja"
],
[
"j",
"on"
],
[
"u",
"si"
],
[
"p",
"an"
],
[
"ĠA",
"n"
],
[
"ĠK",
"an"
],
[
"ĠMe",
"wi"
],
[
"Ġku",
"te"
],
[
"ĠT",
"a"
],
[
"Ġ2",
"0"
],
[
"o",
"r"
],
[
"li",
"pu"
],
[
"ĠMewi",
"ka"
],
[
"Ġal",
"asa"
],
[
"Ġ",
"["
],
[
"Ġ",
"U"
],
[
"s",
"an"
],
[
"Ġl",
"ete"
],
[
"l",
"u"
],
[
"ĠT",
"osi"
],
[
"c",
"h"
],
[
"k",
"u"
],
[
"ĠNi",
"jon"
],
[
"Ġk",
"o"
],
[
"Ġpali",
"sa"
],
[
"Ġ",
"B"
],
[
"s",
"in"
],
[
"ĠW",
"i"
],
[
"Ġl",
"en"
],
[
"Ġwa",
"so"
],
[
"Ġl",
"o"
],
[
"J",
"an"
],
[
"ĠK",
"o"
],
[
"ĠK",
"a"
],
[
"r",
"i"
],
[
"ke",
"si"
],
[
"Ġlo",
"je"
],
[
"Ġpi",
"pi"
],
[
"Ġ",
"ali"
],
[
"Ġo",
"lin"
],
[
"t",
"i"
],
[
"ĠK",
"e"
],
[
"ĠJ",
"u"
],
[
"Ġwa",
"lo"
],
[
"Ġla",
"pe"
],
[
"ĠL",
"asin"
],
[
"Ġm",
"eli"
],
[
"al",
"e"
],
[
"Ġse",
"lo"
],
[
"si",
"ja"
],
[
"ja",
"ki"
],
[
"r",
"a"
],
[
"Ġl",
"u"
],
[
"à",
"®"
],
[
"Ġki",
"li"
],
[
"r",
"e"
],
[
"ĠP",
"e"
],
[
"ĠL",
"o"
],
[
"i",
"lo"
],
[
"k",
"en"
],
[
"Ġsu",
"wi"
],
[
"si",
"telen"
],
[
"ĠS",
"a"
],
[
"ĠT",
"e"
],
[
"t",
"on"
],
[
"s",
"uta"
],
[
"Ġ",
"jaki"
],
[
"un",
"a"
],
[
"ĠS",
"e"
],
[
"Ġsin",
"pin"
],
[
"ĠK",
"i"
],
[
"Ġ",
"d"
],
[
"Ġ",
"R"
],
[
"ĠS",
"an"
],
[
"Ġ",
"/"
],
[
"ĠM",
"a"
],
[
"ĠS",
"u"
],
[
"ĠT",
"aso"
],
[
"ĠE",
"lo"
],
[
"k",
"ala"
],
[
"Ġn",
"oka"
],
[
"Ġ",
"D"
],
[
"ĠS",
"o"
],
[
"Ġ",
"-"
],
[
"Ġmi",
"je"
],
[
"t",
"ali"
],
[
")",
","
],
[
"h",
"e"
],
[
"Ġsu",
"pa"
],
[
"s",
"on"
],
[
"Ġa",
"kesi"
],
[
"ĠLasin",
"a"
],
[
"al",
"u"
],
[
"Ġ",
"G"
],
[
"Ġ",
"H"
],
[
"ĠElo",
"pa"
],
[
"n",
"a"
],
[
"ok",
"o"
],
[
"i",
"jo"
],
[
"ĠP",
"a"
],
[
"j",
"u"
],
[
"Ġmon",
"suta"
],
[
"Ġp",
"an"
],
[
"Ġut",
"a"
],
[
"Ġ",
"Ð"
],
[
"ĠKan",
"se"
],
[
"k",
"in"
],
[
"o",
"la"
],
[
"ĠI",
"tali"
],
[
"t",
"ak"
],
[
"uk",
"a"
],
[
"e",
"s"
],
[
"ĠItali",
"ja"
],
[
"ĠL",
"i"
],
[
"ĠT",
"oki"
],
[
"--",
"-"
],
[
"j",
"una"
],
[
"u",
"s"
],
[
"Ġ",
"jelo"
],
[
"Ġ20",
"2"
],
[
"m",
"an"
],
[
"t",
"omo"
],
[
"Ġ",
"3"
],
[
"Ġmon",
"si"
],
[
"ĠL",
"on"
],
[
"Ġma",
"juna"
],
[
"à",
"¤"
],
[
"ama",
"ko"
],
[
"i",
"s"
],
[
"Â",
"ł"
],
[
"Ġp",
"u"
],
[
"ĠP",
"an"
],
[
"ĠP",
"ala"
],
[
"ĠE",
"pan"
],
[
"Ġlu",
"pa"
],
[
"ĠEpan",
"ja"
],
[
"ĠJ",
"e"
],
[
"w",
"an"
],
[
"je",
"te"
],
[
"Ë",
"Ī"
],
[
"à",
"¸"
],
[
"Ġn",
"amako"
],
[
"s",
"ona"
],
[
"ĠJ",
"an"
],
[
"ĠA",
"lon"
],
[
"r",
"o"
],
[
"Ġ1",
"8"
],
[
"Ġla",
"so"
],
[
"k",
"on"
],
[
"Ġ",
"4"
],
[
"t",
"en"
],
[
"ĠT",
"enpo"
],
[
"ĠS",
"in"
],
[
"ĠAlon",
"ola"
],
[
"m",
"u"
],
[
"Ġ",
"un"
],
[
"w",
"e"
],
[
"Ð",
"°"
],
[
"ĠK",
"u"
],
[
"m",
"usi"
],
[
"ã",
"ĥ"
],
[
"ek",
"o"
],
[
"a",
"m"
],
[
"\"",
"."
],
[
"s",
"oweli"
],
[
"Ġ",
"F"
],
[
"e",
"l"
],
[
"me",
"li"
],
[
"san",
"tak"
],
[
"ĠJu",
"ke"
],
[
"Ġ",
"h"
],
[
"ĠPala",
"ta"
],
[
"ĠK",
"in"
],
[
"ĠTa",
"mi"
],
[
"te",
"lo"
],
[
"Ġ20",
"1"
],
[
"\"",
")"
],
[
"jete",
"santak"
],
[
"t",
"h"
],
[
"Ġ2",
"00"
],
[
"Ð",
"¸"
],
[
"ĠT",
"u"
],
[
"la",
"pi"
],
[
"ĠM",
"on"
],
[
"d",
"i"
],
[
"Ġ",
"Ġ"
],
[
"on",
"si"
],
[
"n",
"anpa"
],
[
"ĠO",
"na"
],
[
"Ð",
"¾"
],
[
"Ġl",
"an"
],
[
"kala",
"ma"
],
[
"jetesantak",
"alu"
],
[
"si",
"ke"
],
[
"Ġun",
"pa"
],
[
"ĠA",
"sija"
],
[
"ĠS",
"en"
],
[
"ĠP",
"asi"
],
[
"Ġ",
"c"
],
[
"ĠL",
"a"
],
[
"ð",
"ĸ"
],
[
"ðĸ",
"¬"
],
[
"Ġ",
"b"
],
[
"ĠT",
"an"
],
[
"ĠA",
"pi"
],
[
"ak",
"a"
],
[
"00",
"0"
],
[
"Ġ",
"5"
],
[
"ĠL",
"e"
],
[
"m",
"o"
],
[
"ĠL",
"usi"
],
[
"tu",
"ke"
],
[
"o",
"l"
],
[
"pa",
"li"
],
[
"ĠPo",
"tuke"
],
[
"h",
"i"
],
[
"u",
"r"
],
[
"in",
"g"
],
[
"te",
"r"
],
[
"ĠP",
"en"
],
[
"Ġt",
"onsi"
],
[
"Ġ",
"V"
],
[
"ï",
"¼"
],
[
"uk",
"i"
],
[
"ĠAn",
"ku"
],
[
"m",
"on"
],
[
"ĠA",
"lapi"
],
[
"Ġlan",
"pan"
],
[
"Ġ",
"6"
],
[
"ĠL",
"osi"
],
[
"Ġk",
"a"
],
[
"pi",
"ja"
],
[
"ã",
"Ĥ"
],
[
"ak",
"i"
],
[
"ĠP",
"ona"
],
[
"d",
"e"
],
[
"Ġ",
"7"
],
[
"Ġ",
"9"
],
[
"al",
"asi"
],
[
"ĠLo",
"ma"
],
[
"ĠK",
"ala"
],
[
"à",
"¯"
],
[
"Ġ",
"+"
],
[
"ĠW",
"e"
],
[
"ĠA",
"meli"
],
[
"s",
"en"
],
[
"Ġm",
"e"
],
[
"Ġo",
"f"
],
[
"c",
"i"
],
[
"ĠT",
"o"
],
[
"ĠN",
"u"
],
[
"ĠApi",
"ka"
],
[
"à",
"½"
],
[
"ĠSon",
"ja"
],
[
"k",
"an"
],
[
"Ñ",
"ģ"
],
[
"ĠS",
"at"
],
[
"ĠAmeli",
"ka"
],
[
"g",
"e"
],
[
"Ġ",
"8"
],
[
"g",
"u"
],
[
"Ð",
"µ"
],
[
"ĠN",
"ete"
],
[
"at",
"i"
],
[
"Ð",
"½"
],
[
"Ġ",
"f"
],
[
"ul",
"a"
],
[
"ĠI",
"s"
],
[
"ĠNete",
"lan"
],
[
"Ġ",
"oko"
],
[
"ĠJe",
"su"
],
[
"c",
"e"
],
[
"ĠN",
"e"
],
[
"Ñ",
"Ģ"
],
[
"Ġ",
"j"
],
[
"pi",
"lin"
],
[
"Ġki",
"jetesantakalu"
],
[
"s",
"uka"
],
[
"ĠE",
"pe"
],
[
"ã",
"ģ"
],
[
"ĠN",
"o"
],
[
"v",
"i"
],
[
"ĠM",
"as"
],
[
"ĠK",
"at"
],
[
"ĠE",
"len"
],
[
"lu",
"wi"
],
[
"ĠWi",
"ki"
],
[
"Ġl",
"eko"
],
[
"ĠM",
"ak"
],
[
"]",
")"
],
[
"d",
"a"
],
[
"w",
"in"
],
[
"s",
"eli"
],
[
"Ġ19",
"9"
],
[
"Ë",
"IJ"
],
[
"ĠL",
"u"
],
[
"ĠK",
"on"
],
[
"Ġ",
"Y"
],
[
"Ġ",
"Ø"
],
[
"É",
"Ļ"
],
[
"ek",
"i"
],
[
"Ġlin",
"luwi"
],
[
"ĠElen",
"a"
],
[
"â",
"Ģ"
],
[
"al",
"o"
],
[
"Ġ1",
"5"
],
[
"mu",
"te"
],
[
"an",
"u"
],
[
"ĠA",
"l"
],
[
"li",
"ja"
],
[
"ĠP",
"on"
],
[
"Ñ",
"Ĥ"
],
[
"ĠPo",
"suka"
],
[
"ĠK",
"ali"
],
[
"ĠS",
"ona"
],
[
"ĠI",
"si"
],
[
"se",
"le"
],
[
"ĠK",
"en"
],
[
"lan",
"to"
],
[
"o",
"s"
],
[
"ĠE",
"n"
],
[
"m",
"en"
],
[
"ĠPi",
"li"
],
[
"ĠEpe",
"lanto"
],
[
"ek",
"an"
],
[
"Ġme",
"so"
],
[
"L",
"L"
],
[
"ow",
"e"
],
[
"Ð",
"º"
],
[
"si",
"ko"
],
[
"ĠT",
"uki"
],
[
"ĠW",
"a"
],
[
"h",
"a"
],
[
"m",
"un"
],
[
"p",
"ona"
],
[
"an",
"te"
],
[
"Ġt",
"i"
],
[
"M",
"M"
],
[
"Ġ",
"u"
],
[
"ĠL",
"in"
],
[
"c",
"o"
],
[
"Ġt",
"he"
],
[
"t",
"awa"
],
[
"Ã",
"¡"
],
[
"ĠP",
"uta"
],
[
"ĠK",
"ana"
],
[
"pin",
"i"
],
[
"c",
"a"
],
[
"i",
"ja"
],
[
"ĠP",
"u"
],
[
"ĠT",
"en"
],
[
"i",
"l"
],
[
"Ġt",
"en"
],
[
"m",
"ani"
],
[
"n",
"e"
],
[
"Ð",
"»"
],
[
"Ġ",
"g"
],
[
"ĠT",
"ona"
],
[
"h",
"o"
],
[
"Ġ1",
"0"
],
[
"s",
"t"
],
[
"ĠM",
"o"
],
[
"Ġn",
"a"
],
[
"ĠN",
"a"
],
[
"Ġ1",
"7"
],
[
"ĠSona",
"tan"
],
[
"l",
"uka"
],
[
"ĠIs",
"ale"
],
[
"v",
"e"
],
[
"ã",
"Ģ"
],
[
"Ġd",
"e"
],
[
"ĠSe",
"se"
],
[
"ĠIsi",
"lan"
],
[
"Ġ",
"å"
],
[
"in",
"e"
],
[
"ĠM",
"alasi"
],
[
"Ġ1",
"2"
],
[
"p",
"eken"
],
[
"Ġp",
"a"
],
[
"al",
"an"
],
[
"m",
"b"
],
[
"Ã",
"©"
],
[
"ĠI",
"S"
],
[
"su",
"li"
],
[
"ĠSese",
"sele"
],
[
"t",
"un"
],
[
"ĠN",
"osi"
],
[
"a",
"kesi"
],
[
"Ġ",
"'"
],
[
"i",
"o"
],
[
"d",
"er"
],
[
"ä",
"¸"
],
[
"ut",
"ala"
],
[
"ĠTe",
"l"
],
[
"à¯",
"į"
],
[
"ĠE",
"li"
],
[
"ĠMalasi",
"ja"
],
[
"t",
"t"
],
[
"Ġ",
"="
],
[
"pe",
"si"
],
[
"ĠJ",
"o"
],
[
"p",
"on"
],
[
"Ð",
"²"
],
[
"ĠWiki",
"pe"
],
[
"l",
"awa"
],
[
"r",
"an"
],
[
"Ġp",
"o"
],
[
"Ġ1",
"4"
],
[
"Ġ19",
"7"
],
[
"á",
"ĥ"
],
[
"ĠM",
"an"
],
[
"lin",
"a"
],
[
"asi",
"ma"
],
[
"2",
"0"
],
[
"ĠW",
"en"
],
[
"ĠW",
"in"
],
[
"ĠJ",
"a"
],
[
"ĠJu",
"ni"
],
[
"ĠIS",
"O"
],
[
"ĠM",
"in"
],
[
"ĠP",
"ok"
],
[
"ĠK",
"asi"
],
[
"sun",
"o"
],
[
"e",
"sija"
],
[
"seli",
"ja"
],
[
"/",
")"
],
[
"à",
"¼"
],
[
"t",
"y"
],
[
"Ġt",
"e"
],
[
"ĠTa",
"wi"
],
[
"ĠĠ",
"ĠĠ"
],
[
"wa",
"si"
],
[
"ĠL",
"en"
],
[
"ĠSi",
"ko"
],
[
"à¼",
"ĭ"
],
[
"Ġ",
"æ"
],
[
"ĠK",
"asa"
],
[
"ĠA",
"lan"
],
[
"Ġ19",
"8"
],
[
"ĠKo",
"l"
],
[
"k",
"asi"
],
[
"Ġk",
"e"
],
[
"ep",
"e"
],
[
"ĠO",
"selija"
],
[
"ï¼",
"Į"
],
[
"É",
"ª"
],
[
"ak",
"o"
],
[
"Ġj",
"asima"
],
[
"ä",
"º"
],
[
"Ġ1",
"3"
],
[
"g",
"h"
],
[
"n",
"ena"
],
[
"v",
"er"
],
[
"c",
"k"
],
[
"ĠSen",
"sa"
],
[
"1",
"0"
],
[
"i",
"a"
],
[
"ĠL",
"an"
],
[
"ĠPasi",
"ju"
],
[
"ĠMas",
"u"
],
[
"]",
","
],
[
"d",
"o"
],
[
"r",
"y"
],
[
"b",
"er"
],
[
"r",
"u"
],
[
"Ã",
"¼"
],
[
"Ø",
"§"
],
[
"ĠM",
"ar"
],
[
"ĠE",
"le"
],
[
"Ġ19",
"4"
],
[
"ĠWi",
"je"
],
[
"ĠWikipe",
"sija"
],
[
"j",
"en"
],
[
"k",
"ama"
],
[
"lin",
"ja"
],
[
"Ġ1",
"6"
],
[
"ki",
"pisi"
],
[
"ĠKana",
"ta"
],
[
"ĠM",
"u"
],
[
"ĠM",
"ali"
],
[
"wi",
"si"
],
[
"ĠI",
"lan"
],
[
"Ġâ",
"Ģ"
],
[
"à",
"¥"
],
[
"Ġ202",
"2"
],
[
"1",
"9"
],
[
"i",
"c"
],
[
"Ġ(",
"\""
],
[
"ĠC",
"h"
],
[
"Ù",
"Ħ"
],
[
"Ġ",
"á"
],
[
"Ġp",
"owe"
],
[
"ĠA",
"li"
],
[
"g",
"a"
],
[
"Ä",
"ģ"
],
[
"Ġ1",
"1"
],
[
"ri",
"s"
],
[
"ti",
"c"
],
[
"ĠSo",
"son"
],
[
"gu",
"a"
],
[
"e",
"t"
],
[
"Ã",
"Ń"
],
[
"wa",
"so"
],
[
"ĠPi",
"ten"
],
[
"om",
"an"
],
[
"f",
"f"
],
[
"Ġ",
"v"
],
[
"a",
"d"
]
]
}
}
{
"version": "1.0",
"truncation": null,
"padding": null,
"added_tokens": [
{
"id": 0,
"content": "<|endoftext|>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 1,
"content": "<|user|>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 2,
"content": "<|bot|>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 3,
"content": "<|pad|>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
}
],
"normalizer": null,
"pre_tokenizer": {
"type": "ByteLevel",
"add_prefix_space": false,
"trim_offsets": true,
"use_regex": true
},
"post_processor": {
"type": "ByteLevel",
"add_prefix_space": true,
"trim_offsets": false,
"use_regex": true
},
"decoder": {
"type": "ByteLevel",
"add_prefix_space": true,
"trim_offsets": true,
"use_regex": true
},
"model": {
"type": "BPE",
"dropout": null,
"unk_token": null,
"continuing_subword_prefix": "",
"end_of_word_suffix": "",
"fuse_unk": false,
"byte_fallback": false,
"ignore_merges": false,
"vocab": {
"<|endoftext|>": 0,
"<|user|>": 1,
"<|bot|>": 2,
"<|pad|>": 3,
"!": 4,
"\"": 5,
"#": 6,
"$": 7,
"%": 8,
"&": 9,
"'": 10,
"(": 11,
")": 12,
"*": 13,
"+": 14,
",": 15,
"-": 16,
".": 17,
"/": 18,
"0": 19,
"1": 20,
"2": 21,
"3": 22,
"4": 23,
"5": 24,
"6": 25,
"7": 26,
"8": 27,
"9": 28,