esehe/setsuna-ime-dict

setsuna-ime の辞書。インストーラ（install.ps1）が、変換モデル （Bletilla-v0.1-small）と一緒に、この repository の 固定した revision から取得し、SHA-256 を確かめて入れる。

ファイル

• lexicon-v1.lexicon — 読みの辞書（setsuna-ime の [lexicon] file、形式 LEXICON1）。表記・読み・コスト・品詞の 文脈 ID の表と、文脈 ID どうしの接続コストの表。変換モデルが出さなかった辞書の語を候補に足すことと、辞書による 変換に使う。コストは、コーパスでその組がどれだけ使われるかから付けている。
• lexicon-v1-small.lexicon — lexicon-v1 のうち、コスト 15 までのよく使う語（約 6.8 万語）と、一文字の漢字の すべての読み（5,254 字、約 2.5 万の読み）だけの単語辞書（3.6 MB、接続コストの表なし）。部分的な辞書の印が付いて いて、setsuna-ime は語を候補に足すことにだけ使い、変換モデルの候補の並べ替えや選別には使わない。Android 版が lexicon-v1 の代わりに取得する。
• nid-ma-v2-600k-tb/ — 形態素解析器 nid-ma（vibrato の辞書と、学習した CRF のコスト）。setsuna-ime の [engine] analyzer_manifest（schema neo-ime-analyzer-export-v1）。文節編集（← / →）で変換をその語で区切るのに 使う。system.dic.zst が辞書、alternates.bin が読みが複数ある語の別の読みとその連接コスト。

出典

語彙と読みは次の資料から作った。

• SudachiDict（full）— Apache-2.0
• Mozc の辞書と接続コスト、文脈 ID — BSD-3-Clause（IPAdic の部分は NAIST の ライセンス）
• UniDic（cwj）— BSD-3-Clause
• JMdict / JMnedict（EDRDG）— CC BY-SA 4.0

これに合わせて、この repository の辞書は CC BY-SA 4.0 とする。