tokenizer.json

{
  "type": "hybrid-char-byte-fallback",
  "chars": [
    "。",
    "す",
    "は",
    "で",
    "い",
    "？",
    "し",
    "ま",
    "を",
    "て",
    "の",
    "と",
    "う",
    "に",
    "な",
    "る",
    "く",
    "た",
    "こ",
    "ん",
    "か",
    "や",
    "何",
    "、",
    "日",
    "り",
    "え",
    "ら",
    "だ",
    "が",
    "き",
    "ど",
    "語",
    "さ",
    "せ",
    "よ",
    "も",
    "！",
    "ー",
    "お",
    "っ",
    "ち",
    "本",
    "あ",
    "言",
    "け",
    "短",
    "め",
    "質",
    "気",
    "今",
    "分",
    "字",
    "問",
    "意",
    "情",
    "報",
    "答",
    "的",
    "者",
    "ば",
    "味",
    "開",
    "簡",
    "発",
    "入",
    "力",
    "確",
    "れ",
    "文",
    "作",
    "認",
    "表",
    "教",
    "知",
    "べ",
    "人",
    "調",
    "名",
    "つ",
    "ル",
    "単",
    "み",
    "私",
    "ぞ",
    "ス",
    "時",
    "理",
    "「",
    "」",
    "ろ",
    "ょ",
    "デ",
    "タ",
    "葉",
    "物",
    "誰",
    "使",
    "モ",
    "話",
    "カ",
    "書",
    "ン",
    "読",
    "小",
    "説",
    "明",
    "断",
    "わ",
    "ず",
    "型",
    "イ",
    "足",
    "大",
    "定",
    "ネ",
    "ご",
    "合",
    "願",
    "法",
    "体",
    "ト",
    "電",
    "フ",
    "子",
    "一",
    "地",
    "場",
    "辞",
    "検",
    "伝",
    "対",
    "索",
    "間",
    "動",
    "水",
    "ざ",
    "ッ",
    "度",
    "自",
    "能",
    "記",
    "前",
    "角",
    "コ",
    "丈",
    "夫",
    "全",
    "手",
    "端",
    "末",
    "英",
    "数",
    "ュ",
    "周",
    "内",
    "会",
    "少",
    "公",
    "無",
    "ひ",
    "信",
    "状",
    "具",
    "正",
    "ェ",
    "要",
    "聞",
    "ド",
    "ワ",
    "球",
    "機",
    "ラ",
    "猫",
    "天",
    "絵",
    "上",
    "ア",
    "持",
    "☕",
    "想",
    "元",
    "現",
    "×",
    "飲",
    "潔",
    "ニ",
    "薬",
    "パ",
    "医",
    "療",
    "律",
    "診",
    "半",
    "ｶ",
    "在",
    "取",
    "方",
    "必",
    "向",
    "解",
    "最",
    "Ａ",
    "Ｉ",
    "休",
    "新",
    "安",
    "量",
    "強",
    "点",
    "用",
    "品",
    "む",
    "関",
    "凍",
    "首",
    "都",
    "続",
    "事",
    "標",
    "準",
    "圧",
    "℃",
    "付",
    "近",
    "心",
    "換",
    "応",
    "月",
    "転",
    "犬",
    "指",
    "ク",
    "ね",
    "案",
    "秒",
    "沸",
    "騰",
    "ム",
    "般",
    "変",
    "回",
    "行",
    "長",
    "性",
    "音",
    "学",
    "セ",
    "相",
    "進",
    "疲",
    "重",
    "部",
    "ナ",
    "識",
    "接",
    "リ",
    "🙂",
    "限",
    "別",
    "製",
    "ロ",
    "テ",
    "軽",
    "食",
    "提",
    "供",
    "店",
    "ヒ",
    "扱",
    "外",
    "科",
    "類",
    "配",
    "証",
    "段",
    "域",
    "工",
    "錠",
    "異",
    "従",
    "中",
    "髙",
    "珍",
    "得",
    "哺",
    "乳",
    "暮",
    "病",
    "症",
    "談",
    "ﾀ",
    "ﾅ",
    "他",
    "管",
    "判",
    "況",
    "専",
    "門",
    "家",
    "オ",
    "可",
    "じ",
    "先",
    "詞",
    "古",
    "刻",
    "直",
    "ほ",
    "順",
    "序",
    "危",
    "険",
    "優",
    "傷",
    "為",
    "避",
    "太",
    "陽",
    "己",
    "紹",
    "介",
    "東",
    "京",
    "助",
    "マ",
    "生",
    "組",
    "化",
    "範",
    "立",
    "制",
    "君",
    "勉",
    "野",
    "主",
    "了",
    "眠",
    "詳",
    "囲",
    "憩",
    "切",
    "態",
    "活",
    "ピ",
    "規",
    "容",
    "素",
    "習",
    "暇",
    "仕",
    "算",
    "号",
    "形",
    "章",
    "構",
    "グ",
    "計",
    "バ",
    "プ",
    "目",
    "社",
    "研",
    "究",
    "称",
    "処",
    "係",
    "論",
    "総",
    "空",
    "技",
    "ビ",
    "命",
    "置",
    "値",
    "ソ",
    "利",
    "然",
    "界",
    "版",
    "位",
    "系",
    "則",
    "成",
    "令",
    "実",
    "装",
    "来",
    "録",
    "式",
    "星",
    "世",
    "広",
    "図",
    "出",
    "基",
    "保",
    "述",
    "器",
    "著",
    "多",
    "求",
    "ウ",
    "程",
    "造",
    "推",
    "通",
    "共",
    "波",
    "温",
    "熱",
    "身",
    "ぶ",
    "済",
    "サ",
    "節",
    "象",
    "符",
    "下",
    "光",
    "感",
    "磁",
    "漢",
    "隔",
    "概",
    "念",
    "ァ",
    "存",
    "術",
    "連",
    "見",
    "過",
    "・",
    "同",
    "権",
    "脊",
    "椎",
    "題",
    "そ",
    "速",
    "条",
    "件",
    "満",
    "酸",
    "常",
    "距",
    "離",
    "二",
    "引",
    "複",
    "義",
    "ォ",
    "ダ",
    "面",
    "積",
    "育",
    "観",
    "模",
    "導",
    "集",
    "団",
    "様",
    "呼",
    "似",
    "敬",
    "へ",
    "不",
    "修",
    "業",
    "振",
    "媒",
    "尺",
    "経",
    "財",
    "産",
    "消",
    "費",
    "演",
    "擬",
    "析",
    "〜",
    "改",
    "例",
    "示",
    "柄",
    "約",
    "衛",
    "放",
    "射",
    "秩",
    "暗",
    "鍵",
    "復",
    "歴",
    "史",
    "去",
    "宇",
    "宙",
    "含",
    "所",
    "士",
    "送",
    "給",
    "格",
    "創",
    "昼",
    "鳥",
    "羽",
    "毛",
    "翼",
    "種",
    "飛",
    "ゴ",
    "ズ",
    "精",
    "げ",
    "高",
    "ベ",
    "階",
    "許",
    "諾",
    "液",
    "メ",
    "憶",
    "反",
    "照",
    "整",
    "謝",
    "移",
    "平",
    "校",
    "施",
    "設",
    "織",
    "察",
    "験",
    "営",
    "訓",
    "尾",
    "達",
    "互",
    "網",
    "恒",
    "届",
    "械",
    "純",
    "既",
    "筋",
    "道",
    "結",
    "交",
    "ハ",
    "層",
    "ぎ",
    "特",
    "徴",
    "占",
    "三",
    "次",
    "混",
    "窒",
    "有",
    "価",
    "尋",
    "魚",
    "吸",
    "惑",
    "翻",
    "訳",
    "声",
    "ツ",
    "収",
    "々",
    "ヌ",
    "資",
    "料",
    "誤",
    "起",
    "欠",
    "陥",
    "原",
    "因",
    "副",
    "飾",
    "番",
    "び",
    "期",
    "待",
    "沿",
    "探",
    "キ",
    "ィ",
    "シ",
    "故",
    "攻",
    "撃",
    "守",
    "考",
    "策",
    "エ",
    "ギ",
    "運",
    "秘",
    "密",
    "列",
    "環",
    "境"
  ],
  "normalization": "NFC",
  "special": {
    "PAD": 863,
    "BOS": 864,
    "USER": 865,
    "ASSIST": 866,
    "EOS": 867
  }
}