File size: 2,074 Bytes
d4789f1 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 | {
"tur": "Byte-Level BPE",
"sozluk_boyutu": 48000,
"dil": "tr",
"kucuk_harfe_cevirir_mi": false,
"normalizasyon": "NFC",
"on_bolumleyici": "ByteLevel(add_prefix_space=False, use_regex=True)",
"cozucu": "ByteLevel",
"son_islemci": "ByteLevel(trim_offsets=False)",
"ozel_tokenler": {
"<|endoftext|>": 0,
"<|pad|>": 1,
"<|unk|>": 2,
"<|bos|>": 3,
"<|im_start|>": 4,
"<|im_end|>": 5,
"<|system|>": 6,
"<|user|>": 7,
"<|assistant|>": 8,
"<|reserved_0|>": 9,
"<|reserved_1|>": 10,
"<|reserved_2|>": 11,
"<|reserved_3|>": 12,
"<|reserved_4|>": 13,
"<|reserved_5|>": 14,
"<|reserved_6|>": 15
},
"ornekler": [
{
"metin": "Türkiye'nin başkenti Ankara'dır.",
"token_sayisi": 8,
"parcalar": ["Türkiye", "'", "nin", " başkenti", " Ankara", "'d", "ır", "."]
},
{
"metin": "İstanbul'da yaşıyorum, çalışıyorum, eğleniyorum.",
"token_sayisi": 10,
"parcalar": ["İstanbul", "'d", "a", " yaşıyorum", ",", " çalışıyorum", ",", " eğlen", "iyorum", "."]
},
{
"metin": "Evlerimizdeydiniz galiba.",
"token_sayisi": 6,
"parcalar": ["Ev", "lerimizde", "y", "diniz", " galiba", "."]
},
{
"metin": "15 Temmuz 2026 tarihinde saat 09.30'da toplantımız var.",
"token_sayisi": 15,
"parcalar": ["15", " Temmuz", " 20", "26", " tarihinde", " saat", " 09", ".", "30", "'d", "a", " toplant", "ımız", " var", "."]
},
{
"metin": "Yapay zeka modelleri Türkçenin sondan eklemeli yapısıyla başa çıkmalı.",
"token_sayisi": 14,
"parcalar": ["Yapay", " zeka", " modelleri", " Türkç", "enin", " son", "dan", " eklem", "eli", " yapısıyla", " başa", " çık", "malı", "."]
},
{
"metin": "Muvaffakiyetsizleştiricileştiremeyebileceklerimizdenmişsinizcesine.",
"token_sayisi": 17,
"parcalar": ["M", "uv", "af", "fak", "iyet", "siz", "leştir", "ic", "ileştir", "em", "ey", "ebilecek", "lerimizden", "miş", "siniz", "cesine", "."]
}
]
}
|