Model, filtered dataset, code, evaluations and paper for 'Constraining Language Modeling Pretraining Data'
e8fb262 verified | { | |
| "backend": "tokenizers", | |
| "bos_token": "<|endoftext|>", | |
| "clean_up_tokenization_spaces": false, | |
| "eos_token": "<|endoftext|>", | |
| "extra_special_tokens": [ | |
| " <UNK_1>", | |
| " <UNK_2>", | |
| " <UNK_3>", | |
| " <UNK_4>", | |
| " <UNK_5>", | |
| " <UNK_6>", | |
| " <UNK_7>", | |
| " <UNK_8>", | |
| " <UNK_9>", | |
| " <UNK_10>", | |
| " <UNK_11>", | |
| " <UNK_12>", | |
| " <UNK_13>", | |
| " <UNK_14>", | |
| " <UNK_15>", | |
| " <UNK_16>", | |
| " <UNK_17>", | |
| " <UNK_18>", | |
| " <UNK_19>", | |
| " <UNK_20>", | |
| " <UNK_21>", | |
| " <UNK_22>", | |
| " <UNK_23>", | |
| " <UNK_24>", | |
| " <UNK_25>", | |
| " <UNK_26>", | |
| " <UNK_27>", | |
| " <UNK_28>", | |
| " <UNK_29>", | |
| " <UNK_30>", | |
| " <UNK_31>", | |
| " <UNK_32>", | |
| " <UNK_33>", | |
| " <UNK_34>", | |
| " <UNK_35>", | |
| " <UNK_36>", | |
| " <UNK_37>", | |
| " <UNK_38>", | |
| " <UNK_39>", | |
| " <UNK_40>", | |
| " <UNK_41>", | |
| " <UNK_42>", | |
| " <UNK_43>", | |
| " <UNK_44>", | |
| " <UNK_45>", | |
| " <UNK_46>", | |
| " <UNK_47>", | |
| " <UNK_48>", | |
| " <UNK_49>", | |
| " <UNK_50>", | |
| " <UNK_51>", | |
| " <UNK_52>", | |
| " <UNK_53>", | |
| " <UNK_54>", | |
| " <UNK_55>", | |
| " <UNK_56>", | |
| " <UNK_57>", | |
| " <UNK_58>", | |
| " <UNK_59>", | |
| " <UNK_60>", | |
| " <UNK_61>", | |
| " <UNK_62>", | |
| " <UNK_63>", | |
| " <UNK_64>", | |
| " <NAME_1>", | |
| " <NAME_2>", | |
| " <NAME_3>", | |
| " <NAME_4>", | |
| " <NAME_5>", | |
| " <NAME_6>", | |
| " <NAME_7>", | |
| " <NAME_8>", | |
| " <NAME_9>", | |
| " <NAME_10>", | |
| " <NAME_11>", | |
| " <NAME_12>", | |
| " <NAME_13>", | |
| " <NAME_14>", | |
| " <NAME_15>", | |
| " <NAME_16>", | |
| " <NUM_1>", | |
| " <NUM_2>", | |
| " <NUM_3>", | |
| " <NUM_4>", | |
| " <NUM_5>", | |
| " <NUM_6>", | |
| " <NUM_7>", | |
| " <NUM_8>", | |
| "<UNK_1>", | |
| "<UNK_2>", | |
| "<UNK_3>", | |
| "<UNK_4>", | |
| "<UNK_5>", | |
| "<UNK_6>", | |
| "<UNK_7>", | |
| "<UNK_8>", | |
| "<UNK_9>", | |
| "<UNK_10>", | |
| "<UNK_11>", | |
| "<UNK_12>", | |
| "<UNK_13>", | |
| "<UNK_14>", | |
| "<UNK_15>", | |
| "<UNK_16>", | |
| "<UNK_17>", | |
| "<UNK_18>", | |
| "<UNK_19>", | |
| "<UNK_20>", | |
| "<UNK_21>", | |
| "<UNK_22>", | |
| "<UNK_23>", | |
| "<UNK_24>", | |
| "<UNK_25>", | |
| "<UNK_26>", | |
| "<UNK_27>", | |
| "<UNK_28>", | |
| "<UNK_29>", | |
| "<UNK_30>", | |
| "<UNK_31>", | |
| "<UNK_32>", | |
| "<UNK_33>", | |
| "<UNK_34>", | |
| "<UNK_35>", | |
| "<UNK_36>", | |
| "<UNK_37>", | |
| "<UNK_38>", | |
| "<UNK_39>", | |
| "<UNK_40>", | |
| "<UNK_41>", | |
| "<UNK_42>", | |
| "<UNK_43>", | |
| "<UNK_44>", | |
| "<UNK_45>", | |
| "<UNK_46>", | |
| "<UNK_47>", | |
| "<UNK_48>", | |
| "<UNK_49>", | |
| "<UNK_50>", | |
| "<UNK_51>", | |
| "<UNK_52>", | |
| "<UNK_53>", | |
| "<UNK_54>", | |
| "<UNK_55>", | |
| "<UNK_56>", | |
| "<UNK_57>", | |
| "<UNK_58>", | |
| "<UNK_59>", | |
| "<UNK_60>", | |
| "<UNK_61>", | |
| "<UNK_62>", | |
| "<UNK_63>", | |
| "<UNK_64>", | |
| "<NAME_1>", | |
| "<NAME_2>", | |
| "<NAME_3>", | |
| "<NAME_4>", | |
| "<NAME_5>", | |
| "<NAME_6>", | |
| "<NAME_7>", | |
| "<NAME_8>", | |
| "<NAME_9>", | |
| "<NAME_10>", | |
| "<NAME_11>", | |
| "<NAME_12>", | |
| "<NAME_13>", | |
| "<NAME_14>", | |
| "<NAME_15>", | |
| "<NAME_16>", | |
| "<NUM_1>", | |
| "<NUM_2>", | |
| "<NUM_3>", | |
| "<NUM_4>", | |
| "<NUM_5>", | |
| "<NUM_6>", | |
| "<NUM_7>", | |
| "<NUM_8>" | |
| ], | |
| "model_max_length": 1024, | |
| "pad_token": "<|endoftext|>", | |
| "tokenizer_class": "TokenizersBackend" | |
| } | |