{
  "tur": "Byte-Level BPE",
  "sozluk_boyutu": 48000,
  "dil": "tr",
  "kucuk_harfe_cevirir_mi": false,
  "normalizasyon": "NFC",
  "on_bolumleyici": "ByteLevel(add_prefix_space=False, use_regex=True)",
  "cozucu": "ByteLevel",
  "son_islemci": "ByteLevel(trim_offsets=False)",
  "ozel_tokenler": {
    "<|endoftext|>": 0,
    "<|pad|>": 1,
    "<|unk|>": 2,
    "<|bos|>": 3,
    "<|im_start|>": 4,
    "<|im_end|>": 5,
    "<|system|>": 6,
    "<|user|>": 7,
    "<|assistant|>": 8,
    "<|reserved_0|>": 9,
    "<|reserved_1|>": 10,
    "<|reserved_2|>": 11,
    "<|reserved_3|>": 12,
    "<|reserved_4|>": 13,
    "<|reserved_5|>": 14,
    "<|reserved_6|>": 15
  },
  "ornekler": [
    {
      "metin": "Türkiye'nin başkenti Ankara'dır.",
      "token_sayisi": 8,
      "parcalar": ["Türkiye", "'", "nin", " başkenti", " Ankara", "'d", "ır", "."]
    },
    {
      "metin": "İstanbul'da yaşıyorum, çalışıyorum, eğleniyorum.",
      "token_sayisi": 10,
      "parcalar": ["İstanbul", "'d", "a", " yaşıyorum", ",", " çalışıyorum", ",", " eğlen", "iyorum", "."]
    },
    {
      "metin": "Evlerimizdeydiniz galiba.",
      "token_sayisi": 6,
      "parcalar": ["Ev", "lerimizde", "y", "diniz", " galiba", "."]
    },
    {
      "metin": "15 Temmuz 2026 tarihinde saat 09.30'da toplantımız var.",
      "token_sayisi": 15,
      "parcalar": ["15", " Temmuz", " 20", "26", " tarihinde", " saat", " 09", ".", "30", "'d", "a", " toplant", "ımız", " var", "."]
    },
    {
      "metin": "Yapay zeka modelleri Türkçenin sondan eklemeli yapısıyla başa çıkmalı.",
      "token_sayisi": 14,
      "parcalar": ["Yapay", " zeka", " modelleri", " Türkç", "enin", " son", "dan", " eklem", "eli", " yapısıyla", " başa", " çık", "malı", "."]
    },
    {
      "metin": "Muvaffakiyetsizleştiricileştiremeyebileceklerimizdenmişsinizcesine.",
      "token_sayisi": 17,
      "parcalar": ["M", "uv", "af", "fak", "iyet", "siz", "leştir", "ic", "ileştir", "em", "ey", "ebilecek", "lerimizden", "miş", "siniz", "cesine", "."]
    }
  ]
}