| { |
| "tur": "Byte-Level BPE", |
| "sozluk_boyutu": 48000, |
| "dil": "tr", |
| "kucuk_harfe_cevirir_mi": false, |
| "normalizasyon": "NFC", |
| "on_bolumleyici": "ByteLevel(add_prefix_space=False, use_regex=True)", |
| "cozucu": "ByteLevel", |
| "son_islemci": "ByteLevel(trim_offsets=False)", |
| "ozel_tokenler": { |
| "<|endoftext|>": 0, |
| "<|pad|>": 1, |
| "<|unk|>": 2, |
| "<|bos|>": 3, |
| "<|im_start|>": 4, |
| "<|im_end|>": 5, |
| "<|system|>": 6, |
| "<|user|>": 7, |
| "<|assistant|>": 8, |
| "<|reserved_0|>": 9, |
| "<|reserved_1|>": 10, |
| "<|reserved_2|>": 11, |
| "<|reserved_3|>": 12, |
| "<|reserved_4|>": 13, |
| "<|reserved_5|>": 14, |
| "<|reserved_6|>": 15 |
| }, |
| "ornekler": [ |
| { |
| "metin": "Türkiye'nin başkenti Ankara'dır.", |
| "token_sayisi": 8, |
| "parcalar": ["Türkiye", "'", "nin", " başkenti", " Ankara", "'d", "ır", "."] |
| }, |
| { |
| "metin": "İstanbul'da yaşıyorum, çalışıyorum, eğleniyorum.", |
| "token_sayisi": 10, |
| "parcalar": ["İstanbul", "'d", "a", " yaşıyorum", ",", " çalışıyorum", ",", " eğlen", "iyorum", "."] |
| }, |
| { |
| "metin": "Evlerimizdeydiniz galiba.", |
| "token_sayisi": 6, |
| "parcalar": ["Ev", "lerimizde", "y", "diniz", " galiba", "."] |
| }, |
| { |
| "metin": "15 Temmuz 2026 tarihinde saat 09.30'da toplantımız var.", |
| "token_sayisi": 15, |
| "parcalar": ["15", " Temmuz", " 20", "26", " tarihinde", " saat", " 09", ".", "30", "'d", "a", " toplant", "ımız", " var", "."] |
| }, |
| { |
| "metin": "Yapay zeka modelleri Türkçenin sondan eklemeli yapısıyla başa çıkmalı.", |
| "token_sayisi": 14, |
| "parcalar": ["Yapay", " zeka", " modelleri", " Türkç", "enin", " son", "dan", " eklem", "eli", " yapısıyla", " başa", " çık", "malı", "."] |
| }, |
| { |
| "metin": "Muvaffakiyetsizleştiricileştiremeyebileceklerimizdenmişsinizcesine.", |
| "token_sayisi": 17, |
| "parcalar": ["M", "uv", "af", "fak", "iyet", "siz", "leştir", "ic", "ileştir", "em", "ey", "ebilecek", "lerimizden", "miş", "siniz", "cesine", "."] |
| } |
| ] |
| } |
|
|
