classical-ja-tokenizer / examples.json
kuramot6f's picture
Initial release (history squashed)
5fe47a9
Raw History Blame Contribute Delete
15 kB
[
{
"id": "kanripo/KR6e0058/KR6e0058_006.txt",
"source": "kanripo",
"text": "故,具足自然法力\n成大智慧故,成辦無礙力以說法故,無畏力\n成就為法立處故,成就意斷力未知已知,智\n成就無二力無生滅故,是謂最勝菩薩摩訶\n薩思惟此十力,最大力、無比力、不上不下\n力、無量力、育養力、不動",
"pieces": [
"故",
",",
"具足",
"自然",
"法",
"力",
"<0x0A>",
"成",
"大",
"智慧",
"故",
",",
"成辦",
"無礙",
"力",
"以",
"說法",
"故",
",",
"無畏",
"力",
"<0x0A>",
"成就",
"為",
"法",
"立",
"處",
"故",
",",
"成就",
"意",
"斷",
"力",
"未知",
"已",
"知",
",",
"智",
"<0x0A>",
"成就",
"無二",
"力",
"無生滅",
"故",
",",
"是謂",
"最勝",
"菩薩摩訶",
"<0x0A>",
"薩",
"思惟",
"此",
"十力",
",",
"最大",
"力",
"、",
"無比",
"力",
"、",
"不",
"上",
"不下",
"<0x0A>",
"力",
"、",
"無量",
"力",
"、",
"育",
"養",
"力",
"、",
"不動"
]
},
{
"id": "kanripo/KR2i0017/KR2i0017_003.txt",
"source": "kanripo",
"text": "月淮北諸盗来附以神武都虞候皇甫暉\n禆將張巒蕭處恭帥師出海泗諸郡以右散騎常侍\n張義方爲監軍使納賊帥咸師朗以歸二月以中書\n舍人嚴續爲奉化軍節度使以江州賈崇爲神武統\n軍侍衛諸軍都指揮使夏四月壬申太白晝見贈故",
"pieces": [
"月",
"淮",
"北",
"諸",
"盗",
"来",
"附",
"以",
"神武",
"都虞候",
"皇甫",
"暉",
"<0x0A>",
"禆",
"將",
"張",
"巒",
"蕭",
"處",
"恭",
"帥師",
"出",
"海",
"泗",
"諸郡",
"以",
"右",
"散騎常侍",
"<0x0A>",
"張",
"義",
"方",
"爲",
"監軍",
"使",
"納",
"賊",
"帥",
"咸",
"師",
"朗",
"以歸",
"二月",
"以",
"中書",
"<0x0A>",
"舍人",
"嚴",
"續",
"爲",
"奉",
"化",
"軍節度使",
"以",
"江州",
"賈",
"崇",
"爲",
"神武",
"統",
"<0x0A>",
"軍",
"侍衛",
"諸軍",
"都指揮使",
"夏四月",
"壬申",
"太白",
"晝",
"見",
"贈",
"故"
]
},
{
"id": "kanripo/KR4d0513/KR4d0513_002.txt",
"source": "kanripo",
"text": "\n江君世令族家在君山陽君山四千仭上有白玉牀雲\n氣出隂壑靈苖産陽岡仙人時徃來石室留禁方江君\n徃得之歸爲恒徳堂九轉空青砂沃以神樓湯散入刀\n圭匕冬炎夏清涼夭閼一以全吾心乃夷康四海患痿\n痺齊民生痏瘡國醫敢束手",
"pieces": [
"<0x0A>",
"江",
"君",
"世",
"令",
"族",
"家",
"在",
"君",
"山陽",
"君",
"山",
"四",
"千仭",
"上有",
"白玉",
"牀",
"雲",
"<0x0A>",
"氣",
"出",
"隂",
"壑",
"靈",
"苖",
"産",
"陽",
"岡",
"仙人",
"時",
"徃來",
"石室",
"留",
"禁",
"方",
"江",
"君",
"<0x0A>",
"徃",
"得之",
"歸",
"爲",
"恒",
"徳",
"堂",
"九",
"轉",
"空",
"青",
"砂",
"沃",
"以",
"神",
"樓",
"湯",
"散",
"入",
"刀",
"<0x0A>",
"圭",
"匕",
"冬",
"炎",
"夏",
"清涼",
"夭",
"閼",
"一",
"以全",
"吾心",
"乃",
"夷",
"康",
"四海",
"患",
"痿",
"<0x0A>",
"痺",
"齊",
"民",
"生",
"痏",
"瘡",
"國",
"醫",
"敢",
"束",
"手"
]
},
{
"id": "kanripo/KR4d0144/KR4d0144_007.txt",
"source": "kanripo",
"text": "王舉漢中平咸陽廓金城以建都活萬姓於三\n章取威定功此焉是保粤若詢事國諜聆風仙籙則真\n氣靈蹤起乎其中柱史一去流沙萬里留玉函於舊宅\n傳寶圖於本枝豈上帝乃眷興王是感不然何錫羨開\n國如此其盛耶太嵗在大火余適下陽",
"pieces": [
"王",
"舉",
"漢中",
"平",
"咸陽",
"廓",
"金城",
"以",
"建",
"都",
"活",
"萬姓",
"於",
"三",
"<0x0A>",
"章",
"取",
"威",
"定",
"功",
"此",
"焉",
"是",
"保",
"粤",
"若",
"詢",
"事",
"國",
"諜",
"聆",
"風",
"仙",
"籙",
"則",
"真",
"<0x0A>",
"氣",
"靈",
"蹤",
"起",
"乎其",
"中",
"柱",
"史",
"一",
"去",
"流沙",
"萬里",
"留",
"玉",
"函",
"於",
"舊宅",
"<0x0A>",
"傳",
"寶",
"圖",
"於",
"本",
"枝",
"豈",
"上帝",
"乃",
"眷",
"興",
"王",
"是",
"感",
"不然",
"何",
"錫",
"羨",
"開",
"<0x0A>",
"國",
"如此",
"其",
"盛",
"耶",
"太",
"嵗",
"在",
"大火",
"余",
"適",
"下",
"陽"
]
},
{
"id": "kanripo/KR2o0020/KR2o0020_072.txt",
"source": "kanripo",
"text": "大義謀國事也此二人是)\n(非之/辯也)集覽(當時不與臣者與許與也正義曰許與相/推奨也如淳曰相與交善也不與臣者謂)\n(牛僧孺事在文宗太和五年蒲人所以要孔子孔子/居陳去過蒲㑹公叔氏以蒲畔蒲人止孔子謂孔子)",
"pieces": [
"大義",
"謀",
"國事",
"也此",
"二人",
"是",
")",
"<0x0A>",
"(",
"非",
"之",
"/",
"辯",
"也",
")",
"集覽",
"(",
"當時",
"不與",
"臣",
"者",
"與",
"許",
"與",
"也",
"正義曰",
"許",
"與",
"相",
"/",
"推",
"奨",
"也",
"如淳曰",
"相與",
"交",
"善也",
"不與",
"臣",
"者謂",
")",
"<0x0A>",
"(",
"牛",
"僧孺",
"事",
"在",
"文宗",
"太和",
"五年",
"蒲",
"人",
"所以",
"要",
"孔子",
"孔子",
"/",
"居",
"陳",
"去",
"過",
"蒲",
"㑹",
"公",
"叔",
"氏",
"以",
"蒲",
"畔",
"蒲",
"人",
"止",
"孔子",
"謂",
"孔子",
")"
]
},
{
"id": "kanripo/KR6k0149/KR6k0149_003.txt",
"source": "kanripo",
"text": "\n僧因緣故。若眾僧知。眾僧得罪。僧祇律云。以瞋恚破鉢。破衣。破塔。破僧房。破僧。破界。盡得偷蘭遮)。齊\n何名破僧謂作妄語。相似語。作羯磨。取籌。又非一\n比丘能破。亦非比丘尼。及下三眾能破。此眾一二\n三",
"pieces": [
"<0x0A>",
"僧",
"因緣故",
"。",
"若",
"眾僧",
"知",
"。",
"眾僧",
"得罪",
"。",
"僧祇",
"律云",
"。",
"以",
"瞋恚",
"破",
"鉢",
"。",
"破",
"衣",
"。",
"破",
"塔",
"。",
"破",
"僧",
"房",
"。",
"破",
"僧",
"。",
"破",
"界",
"。",
"盡",
"得",
"偷蘭遮",
")",
"。",
"齊",
"<0x0A>",
"何",
"名",
"破",
"僧",
"謂",
"作",
"妄語",
"。",
"相似",
"語",
"。",
"作",
"羯磨",
"。",
"取",
"籌",
"。",
"又",
"非一",
"<0x0A>",
"比丘",
"能破",
"。",
"亦非",
"比丘尼",
"。",
"及",
"下",
"三",
"眾",
"能破",
"。",
"此",
"眾",
"一",
"二",
"<0x0A>",
"三"
]
},
{
"id": "kanripo/KR4d0076/KR4d0076_079.txt",
"source": "kanripo",
"text": "懐想親舊不覺澘然未縁\n會面惟冀順時自重\n與周開祖\n某忝命皆出奨借尋自杭至吳興見公擇而元素子野\n孝叔令舉皆在湖燕集甚盛深以開祖不在坐為恨别\n後每到佳山水處未嘗不懐想談笑出京北去風俗既\n椎魯而游従詩酒如開",
"pieces": [
"懐",
"想",
"親",
"舊",
"不覺",
"澘",
"然",
"未",
"縁",
"<0x0A>",
"會",
"面",
"惟",
"冀",
"順",
"時",
"自",
"重",
"<0x0A>",
"與",
"周",
"開",
"祖",
"<0x0A>",
"某",
"忝",
"命",
"皆出",
"奨",
"借",
"尋",
"自",
"杭",
"至",
"吳興",
"見",
"公",
"擇",
"而",
"元素",
"子",
"野",
"<0x0A>",
"孝",
"叔",
"令",
"舉",
"皆在",
"湖",
"燕",
"集",
"甚盛",
"深",
"以",
"開",
"祖",
"不在",
"坐",
"為",
"恨",
"别",
"<0x0A>",
"後",
"每",
"到",
"佳",
"山水",
"處",
"未嘗不",
"懐",
"想",
"談笑",
"出",
"京",
"北",
"去",
"風俗",
"既",
"<0x0A>",
"椎",
"魯",
"而",
"游",
"従",
"詩",
"酒",
"如",
"開"
]
},
{
"id": "kanripo/KR3k0032/KR3k0032_024.txt",
"source": "kanripo",
"text": "洛北藍田南武關之西)括地志藍田關在\n(雍州藍田縣東南九十里即秦嶢關也杜篤論都賦關函守嶢山東道窮)沛公引兵繞嶢關\n擊秦軍元年九月漢王遣將軍薛歐王吸出武關三年\n五月轅生説漢王曰願君王出武關 武紀大初四年\n",
"pieces": [
"洛",
"北",
"藍田",
"南",
"武",
"關",
"之西",
")",
"括",
"地",
"志",
"藍田",
"關",
"在",
"<0x0A>",
"(",
"雍州",
"藍田",
"縣東南",
"九十里",
"即",
"秦",
"嶢",
"關",
"也",
"杜",
"篤",
"論",
"都賦",
"關",
"函",
"守",
"嶢",
"山東",
"道",
"窮",
")",
"沛公",
"引兵",
"繞",
"嶢",
"關",
"<0x0A>",
"擊",
"秦",
"軍",
"元年九月",
"漢王",
"遣",
"將軍",
"薛",
"歐",
"王",
"吸",
"出",
"武",
"關",
"三年",
"<0x0A>",
"五月",
"轅",
"生",
"説",
"漢王",
"曰",
"願",
"君王",
"出",
"武",
"關",
"▁",
"武",
"紀",
"大",
"初",
"四年",
"<0x0A>"
]
},
{
"id": "probe-0",
"source": "_probes",
"text": "",
"pieces": []
},
{
"id": "probe-1",
"source": "_probes",
"text": "古今和歌集\n天地玄黃 宇宙洪荒",
"pieces": [
"古今",
"和歌",
"集",
"<0x0A>",
"天地",
"玄",
"黃",
"▁",
"宇宙",
"洪",
"荒"
]
},
{
"id": "probe-2",
"source": "_probes",
"text": " 空白 二つ \n\n改行\t末尾 ",
"pieces": [
"▁",
"▁",
"空",
"白",
"▁",
"▁",
"二つ",
"▁",
"<0x0A>",
"<0x0A>",
"改",
"行",
"<0x09>",
"末",
"尾",
"▁",
"▁"
]
},
{
"id": "probe-3",
"source": "_probes",
"text": "體 國 神 神 葛󠄀 𠮷 𠀀",
"pieces": [
"體",
"▁",
"國",
"▁",
"神",
"▁",
"神",
"▁",
"葛",
"<0xF3>",
"<0xA0>",
"<0x84>",
"<0x80>",
"▁",
"<0xF0>",
"<0xA0>",
"<0xAE>",
"<0xB7>",
"▁",
"<0xF0>",
"<0xA0>",
"<0x80>",
"<0x80>"
]
},
{
"id": "probe-4",
"source": "_probes",
"text": "a▁b ▁ ▁▁",
"pieces": [
"a",
"<0xE2>",
"<0x96>",
"<0x81>",
"b",
"▁",
"<0xE2>",
"<0x96>",
"<0x81>",
"▁",
"<0xE2>",
"<0x96>",
"<0x81>",
"<0xE2>",
"<0x96>",
"<0x81>"
]
},
{
"id": "probe-5",
"source": "_probes",
"text": "<s> </s> <unk> <pad>",
"pieces": [
"<",
"s",
">",
"▁",
"<",
"/",
"s",
">",
"▁",
"<",
"u",
"n",
"k",
">",
"▁",
"<",
"p",
"a",
"d",
">"
]
},
{
"id": "probe-6",
"source": "_probes",
"text": "🙂‍↔  \r\n",
"pieces": [
"<0xF0>",
"<0x9F>",
"<0x99>",
"<0x82>",
"<0xE2>",
"<0x80>",
"<0x8D>",
"<0xE2>",
"<0x86>",
"<0x94>",
"<0xC2>",
"<0xA0>",
"<0xE3>",
"<0x80>",
"<0x80>",
"<0x0D>",
"<0x0A>"
]
},
{
"id": "probe-7",
"source": "_probes",
"text": "\u0000\u0001",
"pieces": [
"<0x00>",
"<0x01>",
"<0x7F>"
]
},
{
"id": "probe-8",
"source": "_probes",
"text": "カタカナ かたかな ABC abc",
"pieces": [
"カタ",
"カナ",
"▁",
"かた",
"かな",
"▁",
"<0xEF>",
"<0xBC>",
"<0xA1>",
"<0xEF>",
"<0xBC>",
"<0xA2>",
"<0xEF>",
"<0xBC>",
"<0xA3>",
"▁",
"a",
"b",
"c"
]
}
]