CKTN-ELECTRA-no-linear-lambda / tokenizer_config.json
nhatkhangdtp's picture
Upload CKTN-ELECTRA (no_linear_lambda) discriminator, epoch 1
e1a461c verified
Raw History Blame Contribute Delete
6.9 kB
{
"add_prefix_space": true,
"backend": "tokenizers",
"bos_token": "[CLS]",
"cls_token": "[CLS]",
"do_lower_case": false,
"eos_token": "[SEP]",
"extra_special_tokens": [
"[PAD]",
"</s>",
"<s>",
"[Q]",
"[YES]",
"[NO]",
"[NoLongAnswer]",
"[NoShortAnswer]",
"[SA]",
"[/SA]",
"[Paragraph=1]",
"[Paragraph=2]",
"[Paragraph=3]",
"[Paragraph=4]",
"[Paragraph=5]",
"[Paragraph=6]",
"[Paragraph=7]",
"[Paragraph=8]",
"[Paragraph=9]",
"[Paragraph=10]",
"[Paragraph=11]",
"[Paragraph=12]",
"[Paragraph=13]",
"[Paragraph=14]",
"[Paragraph=15]",
"[Paragraph=16]",
"[Paragraph=17]",
"[Paragraph=18]",
"[Paragraph=19]",
"[Paragraph=20]",
"[Paragraph=21]",
"[Paragraph=22]",
"[Paragraph=23]",
"[Paragraph=24]",
"[Paragraph=25]",
"[Paragraph=26]",
"[Paragraph=27]",
"[Paragraph=28]",
"[Paragraph=29]",
"[Paragraph=30]",
"[Paragraph=31]",
"[Paragraph=32]",
"[Paragraph=33]",
"[Paragraph=34]",
"[Paragraph=35]",
"[Paragraph=36]",
"[Paragraph=37]",
"[Paragraph=38]",
"[Paragraph=39]",
"[Paragraph=40]",
"[Paragraph=41]",
"[Paragraph=42]",
"[Paragraph=43]",
"[Paragraph=44]",
"[Paragraph=45]",
"[Paragraph=46]",
"[Paragraph=47]",
"[Paragraph=48]",
"[Paragraph=49]",
"[Paragraph=50]",
"[Paragraph=51]",
"[Paragraph=52]",
"[Paragraph=53]",
"[Paragraph=54]",
"[Paragraph=55]",
"[Paragraph=56]",
"[Paragraph=57]",
"[Paragraph=58]",
"[Paragraph=59]",
"[Paragraph=60]",
"[Paragraph=61]",
"[Paragraph=62]",
"[Paragraph=63]",
"[Paragraph=64]",
"[Paragraph=65]",
"[Paragraph=66]",
"[Paragraph=67]",
"[Paragraph=68]",
"[Paragraph=69]",
"[Paragraph=70]",
"[Paragraph=71]",
"[Paragraph=72]",
"[Paragraph=73]",
"[Paragraph=74]",
"[Paragraph=75]",
"[Paragraph=76]",
"[Paragraph=77]",
"[Paragraph=78]",
"[Paragraph=79]",
"[Paragraph=80]",
"[Paragraph=81]",
"[Paragraph=82]",
"[Paragraph=83]",
"[Paragraph=84]",
"[Paragraph=85]",
"[Paragraph=86]",
"[Paragraph=87]",
"[Paragraph=88]",
"[Paragraph=89]",
"[Paragraph=90]",
"[Paragraph=91]",
"[Paragraph=92]",
"[Paragraph=93]",
"[Paragraph=94]",
"[Paragraph=95]",
"[Paragraph=96]",
"[Paragraph=97]",
"[Paragraph=98]",
"[Paragraph=99]",
"[Paragraph=100]",
"[ContextId=-1]",
"[ContextId=0]",
"[ContextId=1]",
"[ContextId=2]",
"[ContextId=3]",
"[ContextId=4]",
"[ContextId=5]",
"[ContextId=6]",
"[ContextId=7]",
"[ContextId=8]",
"[ContextId=9]",
"[ContextId=10]",
"[ContextId=11]",
"[ContextId=12]",
"[ContextId=13]",
"[ContextId=14]",
"[ContextId=15]",
"[ContextId=16]",
"[ContextId=17]",
"[ContextId=18]",
"[ContextId=19]",
"[ContextId=20]",
"[ContextId=21]",
"[ContextId=22]",
"[ContextId=23]",
"[ContextId=24]",
"[ContextId=25]",
"[ContextId=26]",
"[ContextId=27]",
"[ContextId=28]",
"[ContextId=29]",
"[ContextId=30]",
"[ContextId=31]",
"[ContextId=32]",
"[ContextId=33]",
"[ContextId=34]",
"[ContextId=35]",
"[ContextId=36]",
"[ContextId=37]",
"[ContextId=38]",
"[ContextId=39]",
"[ContextId=40]",
"[ContextId=41]",
"[ContextId=42]",
"[ContextId=43]",
"[ContextId=44]",
"[ContextId=45]",
"[ContextId=46]",
"[ContextId=47]",
"[ContextId=48]",
"[ContextId=49]",
"[ContextId=50]",
"[ContextId=51]",
"[ContextId=52]",
"[ContextId=53]",
"[ContextId=54]",
"[ContextId=55]",
"[ContextId=56]",
"[ContextId=57]",
"[ContextId=58]",
"[ContextId=59]",
"[ContextId=60]",
"[ContextId=61]",
"[ContextId=62]",
"[ContextId=63]",
"[ContextId=64]",
"[ContextId=65]",
"[ContextId=66]",
"[ContextId=67]",
"[ContextId=68]",
"[ContextId=69]",
"[ContextId=70]",
"[ContextId=71]",
"[ContextId=72]",
"[ContextId=73]",
"[ContextId=74]",
"[ContextId=75]",
"[ContextId=76]",
"[ContextId=77]",
"[ContextId=78]",
"[ContextId=79]",
"[ContextId=80]",
"[ContextId=81]",
"[ContextId=82]",
"[ContextId=83]",
"[ContextId=84]",
"[ContextId=85]",
"[ContextId=86]",
"[ContextId=87]",
"[ContextId=88]",
"[ContextId=89]",
"[ContextId=90]",
"[ContextId=91]",
"[ContextId=92]",
"[ContextId=93]",
"[ContextId=94]",
"[ContextId=95]",
"[ContextId=96]",
"[ContextId=97]",
"[ContextId=98]",
"[ContextId=99]",
"[ContextId=100]",
"[unused1]",
"[unused2]",
"[unused3]",
"[unused4]",
"[unused5]",
"[unused6]",
"[unused7]",
"[unused8]",
"[unused9]",
"[unused10]",
"[unused11]",
"[unused12]",
"[unused13]",
"[unused14]",
"[unused15]",
"[unused16]",
"[unused17]",
"[unused18]",
"[unused19]",
"[unused20]",
"[unused21]",
"[unused22]",
"[unused23]",
"[unused24]",
"[unused25]",
"[unused26]",
"[unused27]",
"[unused28]",
"[unused29]",
"[unused30]",
"[unused31]",
"[unused32]",
"[unused33]",
"[unused34]",
"[unused35]",
"[unused36]",
"[unused37]",
"[unused38]",
"[unused39]",
"[unused40]",
"[unused41]",
"[unused42]",
"[unused43]",
"[unused44]",
"[unused45]",
"[unused46]",
"[unused47]",
"[unused48]",
"[unused49]",
"[unused50]",
"[unused51]",
"[unused52]",
"[unused53]",
"[unused54]",
"[unused55]",
"[unused56]",
"[unused57]",
"[unused58]",
"[unused59]",
"[unused60]",
"[unused61]",
"[unused62]",
"[unused63]",
"[unused64]",
"[unused65]",
"[unused66]",
"[unused67]",
"[unused68]",
"[unused69]",
"[unused70]",
"[unused71]",
"[unused72]",
"[unused73]",
"[unused74]",
"[unused75]",
"[unused76]",
"[unused77]",
"[unused78]",
"[unused79]",
"[unused80]",
"[unused81]",
"[unused82]",
"[unused83]",
"[unused84]",
"[unused85]",
"[unused86]",
"[unused87]",
"[unused88]",
"[unused89]",
"[unused90]",
"[unused91]",
"[unused92]",
"[unused93]",
"[unused94]",
"[unused95]",
"[unused96]",
"[unused97]",
"[unused98]",
"[unused99]",
"[CLS]",
"[SEP]",
"[MASK]"
],
"is_local": false,
"keep_accents": true,
"local_files_only": false,
"mask_token": "[MASK]",
"model_max_length": 1000000000000000019884624838656,
"pad_token": "[PAD]",
"remove_space": true,
"sep_token": "[SEP]",
"tokenizer_class": "RemBertTokenizer",
"unk_id": 2,
"unk_token": "[UNK]",
"use_fast": false
}