Instructions to use kuramot6f/classical-ja-tokenizer with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use kuramot6f/classical-ja-tokenizer with Transformers:
# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("kuramot6f/classical-ja-tokenizer", device_map="auto") - Notebooks
- Google Colab
- Kaggle
Download examples.json from kuramot6f/classical-ja-tokenizer: direct link, hf CLI and curl.
- Browser
- Download file 15 kB
-
https://huggingface.co/kuramot6f/classical-ja-tokenizer/resolve/main/examples.json
- Command line
-
hf download hf://kuramot6f/classical-ja-tokenizer/examples.json
-
curl -L -o examples.json https://huggingface.co/kuramot6f/classical-ja-tokenizer/resolve/main/examples.json
15 kB
| [ | |
| { | |
| "id": "kanripo/KR6e0058/KR6e0058_006.txt", | |
| "source": "kanripo", | |
| "text": "故,具足自然法力\n成大智慧故,成辦無礙力以說法故,無畏力\n成就為法立處故,成就意斷力未知已知,智\n成就無二力無生滅故,是謂最勝菩薩摩訶\n薩思惟此十力,最大力、無比力、不上不下\n力、無量力、育養力、不動", | |
| "pieces": [ | |
| "故", | |
| ",", | |
| "具足", | |
| "自然", | |
| "法", | |
| "力", | |
| "<0x0A>", | |
| "成", | |
| "大", | |
| "智慧", | |
| "故", | |
| ",", | |
| "成辦", | |
| "無礙", | |
| "力", | |
| "以", | |
| "說法", | |
| "故", | |
| ",", | |
| "無畏", | |
| "力", | |
| "<0x0A>", | |
| "成就", | |
| "為", | |
| "法", | |
| "立", | |
| "處", | |
| "故", | |
| ",", | |
| "成就", | |
| "意", | |
| "斷", | |
| "力", | |
| "未知", | |
| "已", | |
| "知", | |
| ",", | |
| "智", | |
| "<0x0A>", | |
| "成就", | |
| "無二", | |
| "力", | |
| "無生滅", | |
| "故", | |
| ",", | |
| "是謂", | |
| "最勝", | |
| "菩薩摩訶", | |
| "<0x0A>", | |
| "薩", | |
| "思惟", | |
| "此", | |
| "十力", | |
| ",", | |
| "最大", | |
| "力", | |
| "、", | |
| "無比", | |
| "力", | |
| "、", | |
| "不", | |
| "上", | |
| "不下", | |
| "<0x0A>", | |
| "力", | |
| "、", | |
| "無量", | |
| "力", | |
| "、", | |
| "育", | |
| "養", | |
| "力", | |
| "、", | |
| "不動" | |
| ] | |
| }, | |
| { | |
| "id": "kanripo/KR2i0017/KR2i0017_003.txt", | |
| "source": "kanripo", | |
| "text": "月淮北諸盗来附以神武都虞候皇甫暉\n禆將張巒蕭處恭帥師出海泗諸郡以右散騎常侍\n張義方爲監軍使納賊帥咸師朗以歸二月以中書\n舍人嚴續爲奉化軍節度使以江州賈崇爲神武統\n軍侍衛諸軍都指揮使夏四月壬申太白晝見贈故", | |
| "pieces": [ | |
| "月", | |
| "淮", | |
| "北", | |
| "諸", | |
| "盗", | |
| "来", | |
| "附", | |
| "以", | |
| "神武", | |
| "都虞候", | |
| "皇甫", | |
| "暉", | |
| "<0x0A>", | |
| "禆", | |
| "將", | |
| "張", | |
| "巒", | |
| "蕭", | |
| "處", | |
| "恭", | |
| "帥師", | |
| "出", | |
| "海", | |
| "泗", | |
| "諸郡", | |
| "以", | |
| "右", | |
| "散騎常侍", | |
| "<0x0A>", | |
| "張", | |
| "義", | |
| "方", | |
| "爲", | |
| "監軍", | |
| "使", | |
| "納", | |
| "賊", | |
| "帥", | |
| "咸", | |
| "師", | |
| "朗", | |
| "以歸", | |
| "二月", | |
| "以", | |
| "中書", | |
| "<0x0A>", | |
| "舍人", | |
| "嚴", | |
| "續", | |
| "爲", | |
| "奉", | |
| "化", | |
| "軍節度使", | |
| "以", | |
| "江州", | |
| "賈", | |
| "崇", | |
| "爲", | |
| "神武", | |
| "統", | |
| "<0x0A>", | |
| "軍", | |
| "侍衛", | |
| "諸軍", | |
| "都指揮使", | |
| "夏四月", | |
| "壬申", | |
| "太白", | |
| "晝", | |
| "見", | |
| "贈", | |
| "故" | |
| ] | |
| }, | |
| { | |
| "id": "kanripo/KR4d0513/KR4d0513_002.txt", | |
| "source": "kanripo", | |
| "text": "\n江君世令族家在君山陽君山四千仭上有白玉牀雲\n氣出隂壑靈苖産陽岡仙人時徃來石室留禁方江君\n徃得之歸爲恒徳堂九轉空青砂沃以神樓湯散入刀\n圭匕冬炎夏清涼夭閼一以全吾心乃夷康四海患痿\n痺齊民生痏瘡國醫敢束手", | |
| "pieces": [ | |
| "<0x0A>", | |
| "江", | |
| "君", | |
| "世", | |
| "令", | |
| "族", | |
| "家", | |
| "在", | |
| "君", | |
| "山陽", | |
| "君", | |
| "山", | |
| "四", | |
| "千仭", | |
| "上有", | |
| "白玉", | |
| "牀", | |
| "雲", | |
| "<0x0A>", | |
| "氣", | |
| "出", | |
| "隂", | |
| "壑", | |
| "靈", | |
| "苖", | |
| "産", | |
| "陽", | |
| "岡", | |
| "仙人", | |
| "時", | |
| "徃來", | |
| "石室", | |
| "留", | |
| "禁", | |
| "方", | |
| "江", | |
| "君", | |
| "<0x0A>", | |
| "徃", | |
| "得之", | |
| "歸", | |
| "爲", | |
| "恒", | |
| "徳", | |
| "堂", | |
| "九", | |
| "轉", | |
| "空", | |
| "青", | |
| "砂", | |
| "沃", | |
| "以", | |
| "神", | |
| "樓", | |
| "湯", | |
| "散", | |
| "入", | |
| "刀", | |
| "<0x0A>", | |
| "圭", | |
| "匕", | |
| "冬", | |
| "炎", | |
| "夏", | |
| "清涼", | |
| "夭", | |
| "閼", | |
| "一", | |
| "以全", | |
| "吾心", | |
| "乃", | |
| "夷", | |
| "康", | |
| "四海", | |
| "患", | |
| "痿", | |
| "<0x0A>", | |
| "痺", | |
| "齊", | |
| "民", | |
| "生", | |
| "痏", | |
| "瘡", | |
| "國", | |
| "醫", | |
| "敢", | |
| "束", | |
| "手" | |
| ] | |
| }, | |
| { | |
| "id": "kanripo/KR4d0144/KR4d0144_007.txt", | |
| "source": "kanripo", | |
| "text": "王舉漢中平咸陽廓金城以建都活萬姓於三\n章取威定功此焉是保粤若詢事國諜聆風仙籙則真\n氣靈蹤起乎其中柱史一去流沙萬里留玉函於舊宅\n傳寶圖於本枝豈上帝乃眷興王是感不然何錫羨開\n國如此其盛耶太嵗在大火余適下陽", | |
| "pieces": [ | |
| "王", | |
| "舉", | |
| "漢中", | |
| "平", | |
| "咸陽", | |
| "廓", | |
| "金城", | |
| "以", | |
| "建", | |
| "都", | |
| "活", | |
| "萬姓", | |
| "於", | |
| "三", | |
| "<0x0A>", | |
| "章", | |
| "取", | |
| "威", | |
| "定", | |
| "功", | |
| "此", | |
| "焉", | |
| "是", | |
| "保", | |
| "粤", | |
| "若", | |
| "詢", | |
| "事", | |
| "國", | |
| "諜", | |
| "聆", | |
| "風", | |
| "仙", | |
| "籙", | |
| "則", | |
| "真", | |
| "<0x0A>", | |
| "氣", | |
| "靈", | |
| "蹤", | |
| "起", | |
| "乎其", | |
| "中", | |
| "柱", | |
| "史", | |
| "一", | |
| "去", | |
| "流沙", | |
| "萬里", | |
| "留", | |
| "玉", | |
| "函", | |
| "於", | |
| "舊宅", | |
| "<0x0A>", | |
| "傳", | |
| "寶", | |
| "圖", | |
| "於", | |
| "本", | |
| "枝", | |
| "豈", | |
| "上帝", | |
| "乃", | |
| "眷", | |
| "興", | |
| "王", | |
| "是", | |
| "感", | |
| "不然", | |
| "何", | |
| "錫", | |
| "羨", | |
| "開", | |
| "<0x0A>", | |
| "國", | |
| "如此", | |
| "其", | |
| "盛", | |
| "耶", | |
| "太", | |
| "嵗", | |
| "在", | |
| "大火", | |
| "余", | |
| "適", | |
| "下", | |
| "陽" | |
| ] | |
| }, | |
| { | |
| "id": "kanripo/KR2o0020/KR2o0020_072.txt", | |
| "source": "kanripo", | |
| "text": "大義謀國事也此二人是)\n(非之/辯也)集覽(當時不與臣者與許與也正義曰許與相/推奨也如淳曰相與交善也不與臣者謂)\n(牛僧孺事在文宗太和五年蒲人所以要孔子孔子/居陳去過蒲㑹公叔氏以蒲畔蒲人止孔子謂孔子)", | |
| "pieces": [ | |
| "大義", | |
| "謀", | |
| "國事", | |
| "也此", | |
| "二人", | |
| "是", | |
| ")", | |
| "<0x0A>", | |
| "(", | |
| "非", | |
| "之", | |
| "/", | |
| "辯", | |
| "也", | |
| ")", | |
| "集覽", | |
| "(", | |
| "當時", | |
| "不與", | |
| "臣", | |
| "者", | |
| "與", | |
| "許", | |
| "與", | |
| "也", | |
| "正義曰", | |
| "許", | |
| "與", | |
| "相", | |
| "/", | |
| "推", | |
| "奨", | |
| "也", | |
| "如淳曰", | |
| "相與", | |
| "交", | |
| "善也", | |
| "不與", | |
| "臣", | |
| "者謂", | |
| ")", | |
| "<0x0A>", | |
| "(", | |
| "牛", | |
| "僧孺", | |
| "事", | |
| "在", | |
| "文宗", | |
| "太和", | |
| "五年", | |
| "蒲", | |
| "人", | |
| "所以", | |
| "要", | |
| "孔子", | |
| "孔子", | |
| "/", | |
| "居", | |
| "陳", | |
| "去", | |
| "過", | |
| "蒲", | |
| "㑹", | |
| "公", | |
| "叔", | |
| "氏", | |
| "以", | |
| "蒲", | |
| "畔", | |
| "蒲", | |
| "人", | |
| "止", | |
| "孔子", | |
| "謂", | |
| "孔子", | |
| ")" | |
| ] | |
| }, | |
| { | |
| "id": "kanripo/KR6k0149/KR6k0149_003.txt", | |
| "source": "kanripo", | |
| "text": "\n僧因緣故。若眾僧知。眾僧得罪。僧祇律云。以瞋恚破鉢。破衣。破塔。破僧房。破僧。破界。盡得偷蘭遮)。齊\n何名破僧謂作妄語。相似語。作羯磨。取籌。又非一\n比丘能破。亦非比丘尼。及下三眾能破。此眾一二\n三", | |
| "pieces": [ | |
| "<0x0A>", | |
| "僧", | |
| "因緣故", | |
| "。", | |
| "若", | |
| "眾僧", | |
| "知", | |
| "。", | |
| "眾僧", | |
| "得罪", | |
| "。", | |
| "僧祇", | |
| "律云", | |
| "。", | |
| "以", | |
| "瞋恚", | |
| "破", | |
| "鉢", | |
| "。", | |
| "破", | |
| "衣", | |
| "。", | |
| "破", | |
| "塔", | |
| "。", | |
| "破", | |
| "僧", | |
| "房", | |
| "。", | |
| "破", | |
| "僧", | |
| "。", | |
| "破", | |
| "界", | |
| "。", | |
| "盡", | |
| "得", | |
| "偷蘭遮", | |
| ")", | |
| "。", | |
| "齊", | |
| "<0x0A>", | |
| "何", | |
| "名", | |
| "破", | |
| "僧", | |
| "謂", | |
| "作", | |
| "妄語", | |
| "。", | |
| "相似", | |
| "語", | |
| "。", | |
| "作", | |
| "羯磨", | |
| "。", | |
| "取", | |
| "籌", | |
| "。", | |
| "又", | |
| "非一", | |
| "<0x0A>", | |
| "比丘", | |
| "能破", | |
| "。", | |
| "亦非", | |
| "比丘尼", | |
| "。", | |
| "及", | |
| "下", | |
| "三", | |
| "眾", | |
| "能破", | |
| "。", | |
| "此", | |
| "眾", | |
| "一", | |
| "二", | |
| "<0x0A>", | |
| "三" | |
| ] | |
| }, | |
| { | |
| "id": "kanripo/KR4d0076/KR4d0076_079.txt", | |
| "source": "kanripo", | |
| "text": "懐想親舊不覺澘然未縁\n會面惟冀順時自重\n與周開祖\n某忝命皆出奨借尋自杭至吳興見公擇而元素子野\n孝叔令舉皆在湖燕集甚盛深以開祖不在坐為恨别\n後每到佳山水處未嘗不懐想談笑出京北去風俗既\n椎魯而游従詩酒如開", | |
| "pieces": [ | |
| "懐", | |
| "想", | |
| "親", | |
| "舊", | |
| "不覺", | |
| "澘", | |
| "然", | |
| "未", | |
| "縁", | |
| "<0x0A>", | |
| "會", | |
| "面", | |
| "惟", | |
| "冀", | |
| "順", | |
| "時", | |
| "自", | |
| "重", | |
| "<0x0A>", | |
| "與", | |
| "周", | |
| "開", | |
| "祖", | |
| "<0x0A>", | |
| "某", | |
| "忝", | |
| "命", | |
| "皆出", | |
| "奨", | |
| "借", | |
| "尋", | |
| "自", | |
| "杭", | |
| "至", | |
| "吳興", | |
| "見", | |
| "公", | |
| "擇", | |
| "而", | |
| "元素", | |
| "子", | |
| "野", | |
| "<0x0A>", | |
| "孝", | |
| "叔", | |
| "令", | |
| "舉", | |
| "皆在", | |
| "湖", | |
| "燕", | |
| "集", | |
| "甚盛", | |
| "深", | |
| "以", | |
| "開", | |
| "祖", | |
| "不在", | |
| "坐", | |
| "為", | |
| "恨", | |
| "别", | |
| "<0x0A>", | |
| "後", | |
| "每", | |
| "到", | |
| "佳", | |
| "山水", | |
| "處", | |
| "未嘗不", | |
| "懐", | |
| "想", | |
| "談笑", | |
| "出", | |
| "京", | |
| "北", | |
| "去", | |
| "風俗", | |
| "既", | |
| "<0x0A>", | |
| "椎", | |
| "魯", | |
| "而", | |
| "游", | |
| "従", | |
| "詩", | |
| "酒", | |
| "如", | |
| "開" | |
| ] | |
| }, | |
| { | |
| "id": "kanripo/KR3k0032/KR3k0032_024.txt", | |
| "source": "kanripo", | |
| "text": "洛北藍田南武關之西)括地志藍田關在\n(雍州藍田縣東南九十里即秦嶢關也杜篤論都賦關函守嶢山東道窮)沛公引兵繞嶢關\n擊秦軍元年九月漢王遣將軍薛歐王吸出武關三年\n五月轅生説漢王曰願君王出武關 武紀大初四年\n", | |
| "pieces": [ | |
| "洛", | |
| "北", | |
| "藍田", | |
| "南", | |
| "武", | |
| "關", | |
| "之西", | |
| ")", | |
| "括", | |
| "地", | |
| "志", | |
| "藍田", | |
| "關", | |
| "在", | |
| "<0x0A>", | |
| "(", | |
| "雍州", | |
| "藍田", | |
| "縣東南", | |
| "九十里", | |
| "即", | |
| "秦", | |
| "嶢", | |
| "關", | |
| "也", | |
| "杜", | |
| "篤", | |
| "論", | |
| "都賦", | |
| "關", | |
| "函", | |
| "守", | |
| "嶢", | |
| "山東", | |
| "道", | |
| "窮", | |
| ")", | |
| "沛公", | |
| "引兵", | |
| "繞", | |
| "嶢", | |
| "關", | |
| "<0x0A>", | |
| "擊", | |
| "秦", | |
| "軍", | |
| "元年九月", | |
| "漢王", | |
| "遣", | |
| "將軍", | |
| "薛", | |
| "歐", | |
| "王", | |
| "吸", | |
| "出", | |
| "武", | |
| "關", | |
| "三年", | |
| "<0x0A>", | |
| "五月", | |
| "轅", | |
| "生", | |
| "説", | |
| "漢王", | |
| "曰", | |
| "願", | |
| "君王", | |
| "出", | |
| "武", | |
| "關", | |
| "▁", | |
| "武", | |
| "紀", | |
| "大", | |
| "初", | |
| "四年", | |
| "<0x0A>" | |
| ] | |
| }, | |
| { | |
| "id": "probe-0", | |
| "source": "_probes", | |
| "text": "", | |
| "pieces": [] | |
| }, | |
| { | |
| "id": "probe-1", | |
| "source": "_probes", | |
| "text": "古今和歌集\n天地玄黃 宇宙洪荒", | |
| "pieces": [ | |
| "古今", | |
| "和歌", | |
| "集", | |
| "<0x0A>", | |
| "天地", | |
| "玄", | |
| "黃", | |
| "▁", | |
| "宇宙", | |
| "洪", | |
| "荒" | |
| ] | |
| }, | |
| { | |
| "id": "probe-2", | |
| "source": "_probes", | |
| "text": " 空白 二つ \n\n改行\t末尾 ", | |
| "pieces": [ | |
| "▁", | |
| "▁", | |
| "空", | |
| "白", | |
| "▁", | |
| "▁", | |
| "二つ", | |
| "▁", | |
| "<0x0A>", | |
| "<0x0A>", | |
| "改", | |
| "行", | |
| "<0x09>", | |
| "末", | |
| "尾", | |
| "▁", | |
| "▁" | |
| ] | |
| }, | |
| { | |
| "id": "probe-3", | |
| "source": "_probes", | |
| "text": "體 國 神 神 葛󠄀 𠮷 𠀀", | |
| "pieces": [ | |
| "體", | |
| "▁", | |
| "國", | |
| "▁", | |
| "神", | |
| "▁", | |
| "神", | |
| "▁", | |
| "葛", | |
| "<0xF3>", | |
| "<0xA0>", | |
| "<0x84>", | |
| "<0x80>", | |
| "▁", | |
| "<0xF0>", | |
| "<0xA0>", | |
| "<0xAE>", | |
| "<0xB7>", | |
| "▁", | |
| "<0xF0>", | |
| "<0xA0>", | |
| "<0x80>", | |
| "<0x80>" | |
| ] | |
| }, | |
| { | |
| "id": "probe-4", | |
| "source": "_probes", | |
| "text": "a▁b ▁ ▁▁", | |
| "pieces": [ | |
| "a", | |
| "<0xE2>", | |
| "<0x96>", | |
| "<0x81>", | |
| "b", | |
| "▁", | |
| "<0xE2>", | |
| "<0x96>", | |
| "<0x81>", | |
| "▁", | |
| "<0xE2>", | |
| "<0x96>", | |
| "<0x81>", | |
| "<0xE2>", | |
| "<0x96>", | |
| "<0x81>" | |
| ] | |
| }, | |
| { | |
| "id": "probe-5", | |
| "source": "_probes", | |
| "text": "<s> </s> <unk> <pad>", | |
| "pieces": [ | |
| "<", | |
| "s", | |
| ">", | |
| "▁", | |
| "<", | |
| "/", | |
| "s", | |
| ">", | |
| "▁", | |
| "<", | |
| "u", | |
| "n", | |
| "k", | |
| ">", | |
| "▁", | |
| "<", | |
| "p", | |
| "a", | |
| "d", | |
| ">" | |
| ] | |
| }, | |
| { | |
| "id": "probe-6", | |
| "source": "_probes", | |
| "text": "🙂↔ \r\n", | |
| "pieces": [ | |
| "<0xF0>", | |
| "<0x9F>", | |
| "<0x99>", | |
| "<0x82>", | |
| "<0xE2>", | |
| "<0x80>", | |
| "<0x8D>", | |
| "<0xE2>", | |
| "<0x86>", | |
| "<0x94>", | |
| "<0xC2>", | |
| "<0xA0>", | |
| "<0xE3>", | |
| "<0x80>", | |
| "<0x80>", | |
| "<0x0D>", | |
| "<0x0A>" | |
| ] | |
| }, | |
| { | |
| "id": "probe-7", | |
| "source": "_probes", | |
| "text": "\u0000\u0001", | |
| "pieces": [ | |
| "<0x00>", | |
| "<0x01>", | |
| "<0x7F>" | |
| ] | |
| }, | |
| { | |
| "id": "probe-8", | |
| "source": "_probes", | |
| "text": "カタカナ かたかな ABC abc", | |
| "pieces": [ | |
| "カタ", | |
| "カナ", | |
| "▁", | |
| "かた", | |
| "かな", | |
| "▁", | |
| "<0xEF>", | |
| "<0xBC>", | |
| "<0xA1>", | |
| "<0xEF>", | |
| "<0xBC>", | |
| "<0xA2>", | |
| "<0xEF>", | |
| "<0xBC>", | |
| "<0xA3>", | |
| "▁", | |
| "a", | |
| "b", | |
| "c" | |
| ] | |
| } | |
| ] | |