Model, filtered dataset, code, evaluations and paper for 'Constraining Language Modeling Pretraining Data'

e8fb262 verified 20 days ago

11.9 kB

{
"name": "tinystories-gpt4-clean_top300",
"lemmas": [
"the",
"and",
"be",
"a",
"to",
"they",
"he",
"it",
"she",
"say",
"play",
"day",
"have",
"with",
"his",
"her",
"in",
"you",
"big",
"do",
"go",
"but",
"friend",
"one",
"that",
"can",
"i",
"not",
"mom",
"on",
"of",
"happy",
"very",
"saw",
"little",
"so",
"there",
"time",
"name",
"for",
"wanted",
"like",
"bird",
"look",
"all",
"once",
"make",
"help",
"upon",
"will",
"toy",
"good",
"together",
"at",
"fun",
"dog",
"their",
"love",
"come",
"cat",
"tree",
"girl",
"up",
"them",
"too",
"him",
"ball",
"sad",
"boy",
"get",
"take",
"run",
"found",
"smile",
"ask",
"then",
"know",
"from",
"when",
"see",
"we",
"what",
"back",
"park",
"start",
"felt",
"want",
"new",
"spot",
"other",
"small",
"as",
"let",
"car",
"find",
"out",
"home",
"put",
"away",
"something",
"thought",
"walk",
"give",
"thank",
"scare",
"house",
"again",
"me",
"laugh",
"down",
"learn",
"eat",
"this",
"my",
"live",
"box",
"around",
"things",
"fly",
"your",
"some",
"an",
"man",
"many",
"lot",
"no",
"tried",
"tell",
"who",
"share",
"about",
"red",
"become",
"dad",
"every",
"more",
"inside",
"yes",
"water",
"decide",
"because",
"after",
"outside",
"always",
"room",
"into",
"both",
"show",
"jump",
"open",
"hug",
"much",
"just",
"fast",
"hear",
"long",
"now",
"nice",
"how",
"feel",
"excited",
"pretty",
"surprise",
"happen",
"pick",
"each",
"sorry",
"animal",
"sun",
"old",
"stop",
"fish",
"bear",
"keep",
"need",
"rock",
"try",
"if",
"sky",
"watch",
"flower",
"sit",
"listen",
"food",
"high",
"bug",
"idea",
"work",
"hand",
"kind",
"its",
"cry",
"everyone",
"careful",
"anymore",
"even",
"near",
"never",
"while",
"special",
"by",
"end",
"mommy",
"clean",
"stick",
"talk",
"people",
"game",
"soon",
"shiny",
"blue",
"under",
"turn",
"cake",
"hard",
"bad",
"over",
"safe",
"hurt",
"suddenly",
"ground",
"unexpected",
"climb",
"garden",
"door",
"way",
"wait",
"proud",
"still",
"story",
"ever",
"book",
"why",
"call",
"loud",
"family",
"kid",
"hide",
"place",
"stay",
"next",
"great",
"okay",
"strong",
"sing",
"meet",
"shall",
"forest",
"frog",
"please",
"until",
"catch",
"noise",
"lose",
"boat",
"dance",
"move",
"happily",
"beautiful",
"slide",
"nod",
"town",
"where",
"hold",
"picture",
"reach",
"magic",
"truck",
"leaf",
"worry",
"off",
"or",
"mouse",
"angry",
"yummy",
"bunny",
"fluffy",
"hole",
"hat",
"warm",
"swim",
"green",
"soft",
"brave",
"wind",
"two",
"also",
"face",
"doll",
"before",
"fell",
"wish",
"hello",
"rabbit",
"hi",
"swing",
"think",
"squirrel",
"mean",
"race"
],
"forms": [
"a",
"about",
"after",
"again",
"all",
"also",
"always",
"am",
"an",
"and",
"angrier",
"angriest",
"angry",
"animal",
"animals",
"anymore",
"are",
"around",
"as",
"ask",
"asked",
"asking",
"asks",
"at",
"ate",
"away",
"back",
"backed",
"backing",
"backs",
"bad",
"ball",
"balled",
"balling",
"balls",
"be",
"bear",
"bearing",
"bears",
"beautiful",
"became",
"because",
"become",
"becomes",
"becoming",
"been",
"before",
"being",
"best",
"better",
"big",
"bigger",
"biggest",
"bird",
"birds",
"blue",
"blued",
"blueer",
"blueest",
"blueing",
"blues",
"bluing",
"boat",
"boated",
"boating",
"boats",
"book",
"booked",
"booking",
"books",
"bore",
"born",
"borne",
"both",
"box",
"boxed",
"boxes",
"boxing",
"boy",
"boys",
"brave",
"braved",
"braver",
"braves",
"bravest",
"braving",
"bug",
"bugged",
"bugging",
"bugs",
"bunnies",
"bunny",
"but",
"by",
"cake",
"caked",
"cakes",
"caking",
"call",
"called",
"calling",
"calls",
"came",
"can",
"car",
"careful",
"cars",
"cat",
"catch",
"catches",
"catching",
"cats",
"catted",
"catting",
"caught",
"clean",
"cleaned",
"cleaner",
"cleanest",
"cleaning",
"cleans",
"climb",
"climbed",
"climbing",
"climbs",
"come",
"comes",
"coming",
"could",
"cried",
"cries",
"cry",
"crying",
"dad",
"dads",
"dance",
"danced",
"dances",
"dancing",
"day",
"days",
"decide",
"decided",
"decides",
"deciding",
"did",
"do",
"does",
"dog",
"dogged",
"dogging",
"dogs",
"doing",
"doll",
"dolled",
"dolling",
"dolls",
"done",
"door",
"doors",
"down",
"downed",
"downing",
"downs",
"each",
"eat",
"eaten",
"eating",
"eats",
"elder",
"eldest",
"end",
"ended",
"ending",
"ends",
"even",
"evened",
"evening",
"evens",
"ever",
"every",
"everyone",
"excited",
"face",
"faced",
"faces",
"facing",
"families",
"family",
"fast",
"fasted",
"faster",
"fastest",
"fasting",
"fasts",
"feel",
"feeling",
"feels",
"fell",
"felled",
"felling",
"fells",
"felt",
"felts",
"find",
"finding",
"finds",
"fish",
"fished",
"fishes",
"fishing",
"flew",
"flied",
"flies",
"flower",
"flowered",
"flowering",
"flowers",
"flown",
"fluffier",
"fluffiest",
"fluffy",
"fly",
"flying",
"food",
"foods",
"for",
"forest",
"forested",
"foresting",
"forests",
"found",
"founded",
"founding",
"founds",
"friend",
"friends",
"frog",
"frogged",
"frogging",
"frogs",
"from",
"fun",
"game",
"gamed",
"gamer",
"games",
"gamest",
"gaming",
"garden",
"gardened",
"gardening",
"gardens",
"gave",
"get",
"gets",
"getting",
"girl",
"girls",
"give",
"given",
"gives",
"giving",
"go",
"goes",
"going",
"gone",
"good",
"goods",
"got",
"gotten",
"great",
"greater",
"greatest",
"greats",
"green",
"greened",
"greener",
"greenest",
"greening",
"greens",
"ground",
"grounded",
"grounding",
"grounds",
"had",
"hand",
"handed",
"handing",
"hands",
"happen",
"happened",
"happening",
"happens",
"happier",
"happiest",
"happily",
"happy",
"hard",
"harder",
"hardest",
"has",
"hat",
"hats",
"have",
"having",
"he",
"hear",
"heard",
"hearing",
"hears",
"held",
"hello",
"hellos",
"help",
"helped",
"helping",
"helps",
"her",
"hers",
"herself",
"hi",
"hid",
"hidden",
"hide",
"hides",
"hiding",
"high",
"higher",
"highest",
"highs",
"him",
"himself",
"his",
"hold",
"holding",
"holds",
"hole",
"holed",
"holes",
"holing",
"home",
"homed",
"homes",
"homing",
"house",
"housed",
"houses",
"housing",
"how",
"hows",
"hug",
"hugged",
"hugging",
"hugs",
"hurt",
"hurting",
"hurts",
"i",
"idea",
"ideas",
"if",
"in",
"inside",
"insides",
"into",
"is",
"it",
"its",
"itself",
"jump",
"jumped",
"jumping",
"jumps",
"just",
"keep",
"keeping",
"keeps",
"kept",
"kid",
"kidded",
"kidding",
"kids",
"kind",
"kinder",
"kindest",
"kinds",
"knew",
"know",
"knowing",
"known",
"knows",
"laugh",
"laughed",
"laughing",
"laughs",
"leaf",
"leafed",
"leafing",
"leafs",
"learn",
"learned",
"learning",
"learns",
"learnt",
"leaves",
"let",
"lets",
"letting",
"like",
"liked",
"likes",
"liking",
"listen",
"listened",
"listening",
"listens",
"little",
"littler",
"littlest",
"live",
"lived",
"lives",
"living",
"long",
"longed",
"longer",
"longest",
"longing",
"longs",
"look",
"looked",
"looking",
"looks",
"lose",
"loses",
"losing",
"lost",
"lot",
"lots",
"loud",
"louder",
"loudest",
"love",
"loved",
"loves",
"loving",
"made",
"magic",
"magics",
"make",
"makes",
"making",
"man",
"manned",
"manning",
"mans",
"many",
"me",
"mean",
"meaner",
"meanest",
"meaning",
"means",
"meant",
"meet",
"meeting",
"meets",
"men",
"met",
"mice",
"mine",
"mom",
"mommies",
"mommy",
"moms",
"more",
"most",
"mouse",
"move",
"moved",
"moves",
"moving",
"much",
"my",
"myself",
"name",
"named",
"names",
"naming",
"near",
"neared",
"nearer",
"nearest",
"nearing",
"nears",
"need",
"needed",
"needing",
"needs",
"never",
"new",
"newer",
"newest",
"next",
"nice",
"nicer",
"nicest",
"no",
"nod",
"nodded",
"nodding",
"nods",
"noise",
"noised",
"noises",
"noising",
"not",
"now",
"o.k.'d",
"o.k.'ing",
"o.k.'s",
"of",
"off",
"ok'd",
"ok'ing",
"ok's",
"okay",
"okayed",
"okaying",
"okays",
"old",
"older",
"oldest",
"olds",
"on",
"once",
"one",
"ones",
"open",
"opened",
"opening",
"opens",
"or",
"other",
"others",
"our",
"ours",
"ourselves",
"out",
"outs",
"outside",
"outsides",
"over",
"overed",
"overing",
"overs",
"park",
"parked",
"parking",
"parks",
"people",
"peopled",
"peoples",
"peopling",
"pick",
"picked",
"picking",
"picks",
"picture",
"pictured",
"pictures",
"picturing",
"place",
"placed",
"places",
"placing",
"play",
"played",
"playing",
"plays",
"please",
"pleased",
"pleases",
"pleasing",
"prettier",
"prettiest",
"pretty",
"proud",
"prouder",
"proudest",
"put",
"puts",
"putting",
"rabbit",
"rabbits",
"rabbitted",
"rabbitting",
"race",
"raced",
"races",
"racing",
"ran",
"reach",
"reached",
"reaches",
"reaching",
"red",
"redder",
"reddest",
"reds",
"rock",
"rocked",
"rocking",
"rocks",
"room",
"roomed",
"rooming",
"rooms",
"run",
"running",
"runs",
"sad",
"sadder",
"saddest",
"safe",
"safed",
"safer",
"safes",
"safest",
"safing",
"said",
"sang",
"sat",
"saw",
"sawed",
"sawing",
"sawn",
"saws",
"say",
"saying",
"says",
"scare",
"scared",
"scares",
"scaring",
"see",
"seeing",
"seen",
"sees",
"shall",
"share",
"shared",
"shares",
"sharing",
"she",
"shinier",
"shiniest",
"shiny",
"should",
"show",
"showed",
"showing",
"shown",
"shows",
"sing",
"singing",
"sings",
"sit",
"sits",
"sitting",
"skied",
"skies",
"sky",
"skying",
"slid",
"slide",
"slides",
"sliding",
"small",
"smaller",
"smallest",
"smile",
"smiled",
"smiles",
"smiling",
"so",
"soft",
"softer",
"softest",
"some",
"something",
"soon",
"sooner",
"soonest",
"sorrier",
"sorriest",
"sorry",
"special",
"specials",
"spot",
"spots",
"spotted",
"spotting",
"squirrel",
"squirrels",
"staid",
"start",
"started",
"starting",
"starts",
"staves",
"stay",
"stayed",
"staying",
"stays",
"stick",
"sticking",
"sticks",
"still",
"stilled",
"stiller",
"stillest",
"stilling",
"stills",
"stop",
"stopped",
"stopping",
"stops",
"stories",
"story",
"strong",
"stronger",
"strongest",
"stuck",
"suddenly",
"sun",
"sung",
"sunned",
"sunning",
"suns",
"surprise",
"surprised",
"surprises",
"surprising",
"swam",
"swim",
"swimming",
"swims",
"swing",
"swinging",
"swings",
"swum",
"swung",
"take",
"taken",
"takes",
"taking",
"talk",
"talked",
"talking",
"talks",
"tell",
"telling",
"tells",
"thank",
"thanked",
"thanking",
"thanks",
"that",
"the",
"their",
"theirs",
"them",
"themselves",
"then",
"there",
"they",
"things",
"think",
"thinking",
"thinks",
"this",
"thought",
"thoughts",
"time",
"timed",
"times",
"timing",
"to",
"together",
"told",
"too",
"took",
"town",
"towns",
"toy",
"toyed",
"toying",
"toys",
"tree",
"treed",
"treeing",
"trees",
"tried",
"tries",
"truck",
"trucked",
"trucking",
"trucks",
"try",
"trying",
"turn",
"turned",
"turning",
"turns",
"two",
"under",
"unexpected",
"until",
"up",
"upon",
"upped",
"upping",
"ups",
"us",
"very",
"wait",
"waited",
"waiting",
"waits",
"walk",
"walked",
"walking",
"walks",
"want",
"wanted",
"wanting",
"wants",
"warm",
"warmed",
"warmer",
"warmest",
"warming",
"warms",
"was",
"watch",
"watched",
"watches",
"watching",
"water",
"watered",
"watering",
"waters",
"way",
"ways",
"we",
"went",
"were",
"what",
"when",
"where",
"wheres",
"whies",
"while",
"whiled",
"whiles",
"whiling",
"who",
"why",
"will",
"wind",
"winded",
"winding",
"winds",
"wish",
"wished",
"wishes",
"wishing",
"with",
"work",
"worked",
"working",
"works",
"worried",
"worries",
"worry",
"worrying",
"worse",
"worst",
"would",
"wound",
"yes",
"yeses",
"you",
"your",
"yours",
"yourself",
"yourselves",
"yummy"
],
"names": [
"Amy",
"Andy",
"Ann",
"Anna",
"Bella",
"Ben",
"Benny",
"Billy",
"Bob",
"Bobby",
"Bobo",
"Buddy",
"Chirpy",
"Ducky",
"Emma",
"Fin",
"Fred",
"Jack",
"Jane",
"Jen",
"Jerry",
"Jill",
"Jimmy",
"Joe",
"John",
"Kitty",
"Leo",
"Lila",
"Lily",
"Lisa",
"Lucy",
"Luna",
"Mary",
"Max",
"Mia",
"Mimi",
"Molly",
"Momo",
"Ollie",
"Remy",
"Sally",
"Sam",
"Sara",
"Sarah",
"Sue",
"Tim",
"Timmy",
"Tom",
"Tommy",
"Whiskers"
],
"top_oov": [
"here",
"sunny",
"store",
"funny",
"maybe",
"bed",
"tired",
"used",
"first",
"pond",
"kitchen",
"party",
"eyes",
"moral",
"cold",
"use",
"right",
"important",
"ice",
"favorite",
"wow",
"rain",
"curious",
"thing",
"yard",
"began",
"finally",
"behind",
"ca",
"head",
"dress",
"sure",
"floor",
"agreed",
"table",
"grass",
"hill",
"dark",
"top",
"tiny"
],
"stats": {
"k": 300,
"n_texts": 300000,
"n_forms": 900,
"token_coverage": 0.8575,
"distinct_words": 18469,
"n_detected_names": 1809
}
}

	{
	"name": "tinystories-gpt4-clean_top300",
	"lemmas": [
	"the",
	"and",
	"be",
	"a",
	"to",
	"they",
	"he",
	"it",
	"she",
	"say",
	"play",
	"day",
	"have",
	"with",
	"his",
	"her",
	"in",
	"you",
	"big",
	"do",
	"go",
	"but",
	"friend",
	"one",
	"that",
	"can",
	"i",
	"not",
	"mom",
	"on",
	"of",
	"happy",
	"very",
	"saw",
	"little",
	"so",
	"there",
	"time",
	"name",
	"for",
	"wanted",
	"like",
	"bird",
	"look",
	"all",
	"once",
	"make",
	"help",
	"upon",
	"will",
	"toy",
	"good",
	"together",
	"at",
	"fun",
	"dog",
	"their",
	"love",
	"come",
	"cat",
	"tree",
	"girl",
	"up",
	"them",
	"too",
	"him",
	"ball",
	"sad",
	"boy",
	"get",
	"take",
	"run",
	"found",
	"smile",
	"ask",
	"then",
	"know",
	"from",
	"when",
	"see",
	"we",
	"what",
	"back",
	"park",
	"start",
	"felt",
	"want",
	"new",
	"spot",
	"other",
	"small",
	"as",
	"let",
	"car",
	"find",
	"out",
	"home",
	"put",
	"away",
	"something",
	"thought",
	"walk",
	"give",
	"thank",
	"scare",
	"house",
	"again",
	"me",
	"laugh",
	"down",
	"learn",
	"eat",
	"this",
	"my",
	"live",
	"box",
	"around",
	"things",
	"fly",
	"your",
	"some",
	"an",
	"man",
	"many",
	"lot",
	"no",
	"tried",
	"tell",
	"who",
	"share",
	"about",
	"red",
	"become",
	"dad",
	"every",
	"more",
	"inside",
	"yes",
	"water",
	"decide",
	"because",
	"after",
	"outside",
	"always",
	"room",
	"into",
	"both",
	"show",
	"jump",
	"open",
	"hug",
	"much",
	"just",
	"fast",
	"hear",
	"long",
	"now",
	"nice",
	"how",
	"feel",
	"excited",
	"pretty",
	"surprise",
	"happen",
	"pick",
	"each",
	"sorry",
	"animal",
	"sun",
	"old",
	"stop",
	"fish",
	"bear",
	"keep",
	"need",
	"rock",
	"try",
	"if",
	"sky",
	"watch",
	"flower",
	"sit",
	"listen",
	"food",
	"high",
	"bug",
	"idea",
	"work",
	"hand",
	"kind",
	"its",
	"cry",
	"everyone",
	"careful",
	"anymore",
	"even",
	"near",
	"never",
	"while",
	"special",
	"by",
	"end",
	"mommy",
	"clean",
	"stick",
	"talk",
	"people",
	"game",
	"soon",
	"shiny",
	"blue",
	"under",
	"turn",
	"cake",
	"hard",
	"bad",
	"over",
	"safe",
	"hurt",
	"suddenly",
	"ground",
	"unexpected",
	"climb",
	"garden",
	"door",
	"way",
	"wait",
	"proud",
	"still",
	"story",
	"ever",
	"book",
	"why",
	"call",
	"loud",
	"family",
	"kid",
	"hide",
	"place",
	"stay",
	"next",
	"great",
	"okay",
	"strong",
	"sing",
	"meet",
	"shall",
	"forest",
	"frog",
	"please",
	"until",
	"catch",
	"noise",
	"lose",
	"boat",
	"dance",
	"move",
	"happily",
	"beautiful",
	"slide",
	"nod",
	"town",
	"where",
	"hold",
	"picture",
	"reach",
	"magic",
	"truck",
	"leaf",
	"worry",
	"off",
	"or",
	"mouse",
	"angry",
	"yummy",
	"bunny",
	"fluffy",
	"hole",
	"hat",
	"warm",
	"swim",
	"green",
	"soft",
	"brave",
	"wind",
	"two",
	"also",
	"face",
	"doll",
	"before",
	"fell",
	"wish",
	"hello",
	"rabbit",
	"hi",
	"swing",
	"think",
	"squirrel",
	"mean",
	"race"
	],
	"forms": [
	"a",
	"about",
	"after",
	"again",
	"all",
	"also",
	"always",
	"am",
	"an",
	"and",
	"angrier",
	"angriest",
	"angry",
	"animal",
	"animals",
	"anymore",
	"are",
	"around",
	"as",
	"ask",
	"asked",
	"asking",
	"asks",
	"at",
	"ate",
	"away",
	"back",
	"backed",
	"backing",
	"backs",
	"bad",
	"ball",
	"balled",
	"balling",
	"balls",
	"be",
	"bear",
	"bearing",
	"bears",
	"beautiful",
	"became",
	"because",
	"become",
	"becomes",
	"becoming",
	"been",
	"before",
	"being",
	"best",
	"better",
	"big",
	"bigger",
	"biggest",
	"bird",
	"birds",
	"blue",
	"blued",
	"blueer",
	"blueest",
	"blueing",
	"blues",
	"bluing",
	"boat",
	"boated",
	"boating",
	"boats",
	"book",
	"booked",
	"booking",
	"books",
	"bore",
	"born",
	"borne",
	"both",
	"box",
	"boxed",
	"boxes",
	"boxing",
	"boy",
	"boys",
	"brave",
	"braved",
	"braver",
	"braves",
	"bravest",
	"braving",
	"bug",
	"bugged",
	"bugging",
	"bugs",
	"bunnies",
	"bunny",
	"but",
	"by",
	"cake",
	"caked",
	"cakes",
	"caking",
	"call",
	"called",
	"calling",
	"calls",
	"came",
	"can",
	"car",
	"careful",
	"cars",
	"cat",
	"catch",
	"catches",
	"catching",
	"cats",
	"catted",
	"catting",
	"caught",
	"clean",
	"cleaned",
	"cleaner",
	"cleanest",
	"cleaning",
	"cleans",
	"climb",
	"climbed",
	"climbing",
	"climbs",
	"come",
	"comes",
	"coming",
	"could",
	"cried",
	"cries",
	"cry",
	"crying",
	"dad",
	"dads",
	"dance",
	"danced",
	"dances",
	"dancing",
	"day",
	"days",
	"decide",
	"decided",
	"decides",
	"deciding",
	"did",
	"do",
	"does",
	"dog",
	"dogged",
	"dogging",
	"dogs",
	"doing",
	"doll",
	"dolled",
	"dolling",
	"dolls",
	"done",
	"door",
	"doors",
	"down",
	"downed",
	"downing",
	"downs",
	"each",
	"eat",
	"eaten",
	"eating",
	"eats",
	"elder",
	"eldest",
	"end",
	"ended",
	"ending",
	"ends",
	"even",
	"evened",
	"evening",
	"evens",
	"ever",
	"every",
	"everyone",
	"excited",
	"face",
	"faced",
	"faces",
	"facing",
	"families",
	"family",
	"fast",
	"fasted",
	"faster",
	"fastest",
	"fasting",
	"fasts",
	"feel",
	"feeling",
	"feels",
	"fell",
	"felled",
	"felling",
	"fells",
	"felt",
	"felts",
	"find",
	"finding",
	"finds",
	"fish",
	"fished",
	"fishes",
	"fishing",
	"flew",
	"flied",
	"flies",
	"flower",
	"flowered",
	"flowering",
	"flowers",
	"flown",
	"fluffier",
	"fluffiest",
	"fluffy",
	"fly",
	"flying",
	"food",
	"foods",
	"for",
	"forest",
	"forested",
	"foresting",
	"forests",
	"found",
	"founded",
	"founding",
	"founds",
	"friend",
	"friends",
	"frog",
	"frogged",
	"frogging",
	"frogs",
	"from",
	"fun",
	"game",
	"gamed",
	"gamer",
	"games",
	"gamest",
	"gaming",
	"garden",
	"gardened",
	"gardening",
	"gardens",
	"gave",
	"get",
	"gets",
	"getting",
	"girl",
	"girls",
	"give",
	"given",
	"gives",
	"giving",
	"go",
	"goes",
	"going",
	"gone",
	"good",
	"goods",
	"got",
	"gotten",
	"great",
	"greater",
	"greatest",
	"greats",
	"green",
	"greened",
	"greener",
	"greenest",
	"greening",
	"greens",
	"ground",
	"grounded",
	"grounding",
	"grounds",
	"had",
	"hand",
	"handed",
	"handing",
	"hands",
	"happen",
	"happened",
	"happening",
	"happens",
	"happier",
	"happiest",
	"happily",
	"happy",
	"hard",
	"harder",
	"hardest",
	"has",
	"hat",
	"hats",
	"have",
	"having",
	"he",
	"hear",
	"heard",
	"hearing",
	"hears",
	"held",
	"hello",
	"hellos",
	"help",
	"helped",
	"helping",
	"helps",
	"her",
	"hers",
	"herself",
	"hi",
	"hid",
	"hidden",
	"hide",
	"hides",
	"hiding",
	"high",
	"higher",
	"highest",
	"highs",
	"him",
	"himself",
	"his",
	"hold",
	"holding",
	"holds",
	"hole",
	"holed",
	"holes",
	"holing",
	"home",
	"homed",
	"homes",
	"homing",
	"house",
	"housed",
	"houses",
	"housing",
	"how",
	"hows",
	"hug",
	"hugged",
	"hugging",
	"hugs",
	"hurt",
	"hurting",
	"hurts",
	"i",
	"idea",
	"ideas",
	"if",
	"in",
	"inside",
	"insides",
	"into",
	"is",
	"it",
	"its",
	"itself",
	"jump",
	"jumped",
	"jumping",
	"jumps",
	"just",
	"keep",
	"keeping",
	"keeps",
	"kept",
	"kid",
	"kidded",
	"kidding",
	"kids",
	"kind",
	"kinder",
	"kindest",
	"kinds",
	"knew",
	"know",
	"knowing",
	"known",
	"knows",
	"laugh",
	"laughed",
	"laughing",
	"laughs",
	"leaf",
	"leafed",
	"leafing",
	"leafs",
	"learn",
	"learned",
	"learning",
	"learns",
	"learnt",
	"leaves",
	"let",
	"lets",
	"letting",
	"like",
	"liked",
	"likes",
	"liking",
	"listen",
	"listened",
	"listening",
	"listens",
	"little",
	"littler",
	"littlest",
	"live",
	"lived",
	"lives",
	"living",
	"long",
	"longed",
	"longer",
	"longest",
	"longing",
	"longs",
	"look",
	"looked",
	"looking",
	"looks",
	"lose",
	"loses",
	"losing",
	"lost",
	"lot",
	"lots",
	"loud",
	"louder",
	"loudest",
	"love",
	"loved",
	"loves",
	"loving",
	"made",
	"magic",
	"magics",
	"make",
	"makes",
	"making",
	"man",
	"manned",
	"manning",
	"mans",
	"many",
	"me",
	"mean",
	"meaner",
	"meanest",
	"meaning",
	"means",
	"meant",
	"meet",
	"meeting",
	"meets",
	"men",
	"met",
	"mice",
	"mine",
	"mom",
	"mommies",
	"mommy",
	"moms",
	"more",
	"most",
	"mouse",
	"move",
	"moved",
	"moves",
	"moving",
	"much",
	"my",
	"myself",
	"name",
	"named",
	"names",
	"naming",
	"near",
	"neared",
	"nearer",
	"nearest",
	"nearing",
	"nears",
	"need",
	"needed",
	"needing",
	"needs",
	"never",
	"new",
	"newer",
	"newest",
	"next",
	"nice",
	"nicer",
	"nicest",
	"no",
	"nod",
	"nodded",
	"nodding",
	"nods",
	"noise",
	"noised",
	"noises",
	"noising",
	"not",
	"now",
	"o.k.'d",
	"o.k.'ing",
	"o.k.'s",
	"of",
	"off",
	"ok'd",
	"ok'ing",
	"ok's",
	"okay",
	"okayed",
	"okaying",
	"okays",
	"old",
	"older",
	"oldest",
	"olds",
	"on",
	"once",
	"one",
	"ones",
	"open",
	"opened",
	"opening",
	"opens",
	"or",
	"other",
	"others",
	"our",
	"ours",
	"ourselves",
	"out",
	"outs",
	"outside",
	"outsides",
	"over",
	"overed",
	"overing",
	"overs",
	"park",
	"parked",
	"parking",
	"parks",
	"people",
	"peopled",
	"peoples",
	"peopling",
	"pick",
	"picked",
	"picking",
	"picks",
	"picture",
	"pictured",
	"pictures",
	"picturing",
	"place",
	"placed",
	"places",
	"placing",
	"play",
	"played",
	"playing",
	"plays",
	"please",
	"pleased",
	"pleases",
	"pleasing",
	"prettier",
	"prettiest",
	"pretty",
	"proud",
	"prouder",
	"proudest",
	"put",
	"puts",
	"putting",
	"rabbit",
	"rabbits",
	"rabbitted",
	"rabbitting",
	"race",
	"raced",
	"races",
	"racing",
	"ran",
	"reach",
	"reached",
	"reaches",
	"reaching",
	"red",
	"redder",
	"reddest",
	"reds",
	"rock",
	"rocked",
	"rocking",
	"rocks",
	"room",
	"roomed",
	"rooming",
	"rooms",
	"run",
	"running",
	"runs",
	"sad",
	"sadder",
	"saddest",
	"safe",
	"safed",
	"safer",
	"safes",
	"safest",
	"safing",
	"said",
	"sang",
	"sat",
	"saw",
	"sawed",
	"sawing",
	"sawn",
	"saws",
	"say",
	"saying",
	"says",
	"scare",
	"scared",
	"scares",
	"scaring",
	"see",
	"seeing",
	"seen",
	"sees",
	"shall",
	"share",
	"shared",
	"shares",
	"sharing",
	"she",
	"shinier",
	"shiniest",
	"shiny",
	"should",
	"show",
	"showed",
	"showing",
	"shown",
	"shows",
	"sing",
	"singing",
	"sings",
	"sit",
	"sits",
	"sitting",
	"skied",
	"skies",
	"sky",
	"skying",
	"slid",
	"slide",
	"slides",
	"sliding",
	"small",
	"smaller",
	"smallest",
	"smile",
	"smiled",
	"smiles",
	"smiling",
	"so",
	"soft",
	"softer",
	"softest",
	"some",
	"something",
	"soon",
	"sooner",
	"soonest",
	"sorrier",
	"sorriest",
	"sorry",
	"special",
	"specials",
	"spot",
	"spots",
	"spotted",
	"spotting",
	"squirrel",
	"squirrels",
	"staid",
	"start",
	"started",
	"starting",
	"starts",
	"staves",
	"stay",
	"stayed",
	"staying",
	"stays",
	"stick",
	"sticking",
	"sticks",
	"still",
	"stilled",
	"stiller",
	"stillest",
	"stilling",
	"stills",
	"stop",
	"stopped",
	"stopping",
	"stops",
	"stories",
	"story",
	"strong",
	"stronger",
	"strongest",
	"stuck",
	"suddenly",
	"sun",
	"sung",
	"sunned",
	"sunning",
	"suns",
	"surprise",
	"surprised",
	"surprises",
	"surprising",
	"swam",
	"swim",
	"swimming",
	"swims",
	"swing",
	"swinging",
	"swings",
	"swum",
	"swung",
	"take",
	"taken",
	"takes",
	"taking",
	"talk",
	"talked",
	"talking",
	"talks",
	"tell",
	"telling",
	"tells",
	"thank",
	"thanked",
	"thanking",
	"thanks",
	"that",
	"the",
	"their",
	"theirs",
	"them",
	"themselves",
	"then",
	"there",
	"they",
	"things",
	"think",
	"thinking",
	"thinks",
	"this",
	"thought",
	"thoughts",
	"time",
	"timed",
	"times",
	"timing",
	"to",
	"together",
	"told",
	"too",
	"took",
	"town",
	"towns",
	"toy",
	"toyed",
	"toying",
	"toys",
	"tree",
	"treed",
	"treeing",
	"trees",
	"tried",
	"tries",
	"truck",
	"trucked",
	"trucking",
	"trucks",
	"try",
	"trying",
	"turn",
	"turned",
	"turning",
	"turns",
	"two",
	"under",
	"unexpected",
	"until",
	"up",
	"upon",
	"upped",
	"upping",
	"ups",
	"us",
	"very",
	"wait",
	"waited",
	"waiting",
	"waits",
	"walk",
	"walked",
	"walking",
	"walks",
	"want",
	"wanted",
	"wanting",
	"wants",
	"warm",
	"warmed",
	"warmer",
	"warmest",
	"warming",
	"warms",
	"was",
	"watch",
	"watched",
	"watches",
	"watching",
	"water",
	"watered",
	"watering",
	"waters",
	"way",
	"ways",
	"we",
	"went",
	"were",
	"what",
	"when",
	"where",
	"wheres",
	"whies",
	"while",
	"whiled",
	"whiles",
	"whiling",
	"who",
	"why",
	"will",
	"wind",
	"winded",
	"winding",
	"winds",
	"wish",
	"wished",
	"wishes",
	"wishing",
	"with",
	"work",
	"worked",
	"working",
	"works",
	"worried",
	"worries",
	"worry",
	"worrying",
	"worse",
	"worst",
	"would",
	"wound",
	"yes",
	"yeses",
	"you",
	"your",
	"yours",
	"yourself",
	"yourselves",
	"yummy"
	],
	"names": [
	"Amy",
	"Andy",
	"Ann",
	"Anna",
	"Bella",
	"Ben",
	"Benny",
	"Billy",
	"Bob",
	"Bobby",
	"Bobo",
	"Buddy",
	"Chirpy",
	"Ducky",
	"Emma",
	"Fin",
	"Fred",
	"Jack",
	"Jane",
	"Jen",
	"Jerry",
	"Jill",
	"Jimmy",
	"Joe",
	"John",
	"Kitty",
	"Leo",
	"Lila",
	"Lily",
	"Lisa",
	"Lucy",
	"Luna",
	"Mary",
	"Max",
	"Mia",
	"Mimi",
	"Molly",
	"Momo",
	"Ollie",
	"Remy",
	"Sally",
	"Sam",
	"Sara",
	"Sarah",
	"Sue",
	"Tim",
	"Timmy",
	"Tom",
	"Tommy",
	"Whiskers"
	],
	"top_oov": [
	"here",
	"sunny",
	"store",
	"funny",
	"maybe",
	"bed",
	"tired",
	"used",
	"first",
	"pond",
	"kitchen",
	"party",
	"eyes",
	"moral",
	"cold",
	"use",
	"right",
	"important",
	"ice",
	"favorite",
	"wow",
	"rain",
	"curious",
	"thing",
	"yard",
	"began",
	"finally",
	"behind",
	"ca",
	"head",
	"dress",
	"sure",
	"floor",
	"agreed",
	"table",
	"grass",
	"hill",
	"dark",
	"top",
	"tiny"
	],
	"stats": {
	"k": 300,
	"n_texts": 300000,
	"n_forms": 900,
	"token_coverage": 0.8575,
	"distinct_words": 18469,
	"n_detected_names": 1809
	}
	}