aetherstory / tokenizer.json
wincode's picture
Upload tokenizer.json with huggingface_hub
d738890 verified
Raw
History Blame Contribute Delete
7.68 kB
{
"type": "word-level",
"version": 1,
"special_tokens": {
"<pad>": 0,
"<bos>": 1,
"<eos>": 2,
"<unk>": 3
},
"vocab": [
"<pad>",
"<bos>",
"<eos>",
"<unk>",
"the",
".",
"a",
",",
"of",
"-",
"in",
"to",
"not",
"was",
"and",
"end",
"it",
"with",
"only",
"who",
"be",
"did",
"but",
"old",
"at",
"seemed",
"bargain",
"wandering",
"keeper",
"for",
"first",
"could",
"that",
"what",
"name",
"would",
"found",
"cost",
"understood",
"this",
"changed",
"understand",
"offered",
"than",
"into",
"from",
"quiet",
"hollow",
"years",
"one",
"forgotten",
"longest",
"river",
"stranger",
"those",
"an",
"stone",
"path",
"is",
"lantern",
"spoken",
"key",
"broken",
"door",
"more",
"year",
"home",
"there",
"mirror",
"even",
"you",
"still",
"slowly",
"walked",
"companion",
"nothing",
"once",
"heart",
"life",
"while",
"walking",
"edges",
"harmless",
"quaint",
"come",
"near",
"say",
"why",
"craft",
"uncovered",
"buried",
"again",
"when",
"carried",
"morning",
"story",
"trouble",
"them",
"tide",
"boundary",
"met",
":",
"watched",
"reeds",
"said",
"weighed",
"way",
"whatever",
"decided",
"both",
"away",
"few",
"knew",
"forget",
"lived",
"must",
"on",
"night",
"folk",
"know",
"whether",
"mourn",
"or",
"rejoice",
"unsurprised",
"waited",
"patiently",
"learn",
"live",
"new",
"shape",
"studied",
"some",
"changes",
"made",
"choose",
"undone",
"shared",
"work",
"then",
"appeared",
"confession",
"answered",
"anger",
"mended",
"long",
"ago",
"young",
"kept",
"set",
"out",
"across",
"recover",
"barred",
"by",
"guarded",
"remembering",
"art",
"accepted",
"though",
"expected",
"lighter",
"before",
"tongue",
"child",
"crown",
"half",
"blind",
"archivist",
"apothecary",
"carver",
"heir",
"judge",
"musician",
"reader",
"polisher",
"wind",
"listener",
"hedge",
"inventor",
"toll",
"dream",
"stitched",
"seamstress",
"knot",
"weaver",
"clockwork",
"tinkerer",
"lonely",
"reluctant",
"ferryman",
"translator",
"glass",
"exiled",
"cartographer",
"retired",
"monster",
"hunter",
"comet",
"watcher",
"soft",
"blacksmith",
"storm",
"marshes",
"had",
"reaches",
"singing",
"whispering",
"'",
"s",
"loudest",
"sunken",
"wound",
"binding",
"sharpest",
"blade",
"swiftest",
"winter",
"brightest",
"deepest",
"cleverest",
"lie",
"song",
"waits",
"listen",
"hope",
"promise",
"finds",
"need",
"stubborn",
"grief",
"outlives",
"outwaits",
"remembers",
"redeems",
"rewrites",
"unspoken",
"outlasts",
"unmakes",
"memory",
"silence",
"water",
"names",
"patient",
"lies",
"paper",
"been",
"seed",
"safe",
"passage",
"true",
"no",
"their",
"bridge",
"bone",
"sky",
"indigo",
"wilds",
"field",
"mountain",
"caverns",
"stargrove",
"tidemarsh",
"pale",
"marshlands",
"mossy",
"city",
"moth",
"duskwood",
"frozen",
"tundra",
"verdant",
"mire",
"ember",
"steppes",
"crystal",
"vale",
"lacquered",
"lake",
"coral",
"glasslands",
"copper",
"hills",
"saltwood",
"fields",
"bramblewilds",
"glittering",
"dunes",
"ashen",
"coast",
"obsidian",
"reach",
"vexing",
"cliffs",
"like",
"courage",
"reading",
"tides",
"trading",
"favours",
"borrowing",
"eyes",
"birds",
"roots",
"folding",
"distance",
"summoning",
"rain",
"pouring",
"map",
"weighing",
"hearts",
"starlight",
"weaving",
"light",
"thread",
"iron",
"sleep",
"bargaining",
"shadows",
"promises",
"candles",
"knitting",
"wounds",
"freezing",
"moments",
"steaming",
"air",
"lost",
"silver",
"stolen",
"never",
"sold",
"village",
"fires",
"hiding",
"realm",
"mortal",
"begin",
"shaping",
"hero",
"dreams",
"wolf",
"love",
"someone",
"remembered",
"three",
"questions",
"less",
"will",
"salt",
"rust",
"where",
"turn",
"forest",
"eats",
"strangers",
"shadow",
"traded",
"version",
"themselves",
"ten",
"younger",
"creature",
"bark",
"slow",
"between",
"two",
"feuding",
"villages",
"single",
"tree",
"small",
"impossible",
"exchange",
"answer",
"woven",
"apologies",
"forgot",
"how",
"flow",
"gate",
"opens",
"moss",
"wyrm",
"crane",
"moon",
"calf",
"crow",
"o",
"wisp",
"spider",
"dusk",
"serpent",
"whisper",
"hare",
"sun",
"bleached",
"heron",
"badger",
"velvet",
"viper",
"bramble",
"cat",
"copperfin",
"koi",
"mist",
"lynx",
"hearted",
"golem",
"stag",
"crab",
"cinder",
"rat",
"owl",
"mossback",
"tortoise",
"frost",
"salamander",
"vapour",
"eel",
"gilded",
"beetle",
"well",
"whispered",
"drawing",
"place",
"exist",
"showing",
"room",
"glimmer",
"fox",
"thorn",
"lizard",
"sealed",
"letter",
"dead",
"king",
"clock",
"running",
"backwards",
"standing",
"middle",
"empty",
"we",
"your",
"cannot",
"closed",
"have",
"are",
"feeds",
"kindness",
"does",
"road",
";",
"most",
"costs",
"hooded",
"traveller",
"outrun",
"earned",
"preserves",
"ruins",
"equal",
"measure",
"brave",
"seldom",
"journey",
"postponed",
"lend",
"piece",
"truth",
"travels",
"travel",
"patience",
"quietest",
"form",
"tuition",
"living",
"pay",
"smallest",
"weighs",
"hand",
"took",
"shattered",
"held",
"habit",
"feeling",
"direction",
"simply",
"ours",
"beware",
"thing",
"rarely",
"its",
"price",
"land",
"can",
"break",
"twice",
"same",
"debts",
"do",
"ignored",
"heal",
"given",
"secret",
"returns",
"needed",
"forge",
"also",
"test",
"truly",
"keep",
"mercy",
"give"
]
}