esehe/Bletilla-v0.1-small

ファイル

• Bletilla-v0.1-small.int8.manifest.json — エンジンが読むマニフェスト
• Bletilla-v0.1-small.int8.onnx — モデル本体（ONNX、量子化済み）
• Bletilla-v0.1-small.vocab.hex.tsv — 語彙
• Bletilla-v0.1-small.pairs.bin / Bletilla-v0.1-small.words.tsv — 候補の並べ替えに使う、学習データの文字の並びと語の頻度の表

License

Apache-2.0

出典

• 初期値: なし（下記の学習データだけで学習）
• 学習データ（各テキストに読みを付けたもの）:
  • FineWeb-2 日本語（ODC-BY 1.0）
  • fineweb-2-edu-japanese（ODC-BY 1.0）
  • JetCopper-10B（Apache-2.0）
  • CC-100 日本語
  • HPLT 3.0 日本語（CC0 1.0）
  • mqa-ja（CC0 1.0）
  • LLM-jp Corpus v4 日本語の一部
  • Wikipedia 日本語版（CC BY-SA 4.0）
  • J-ResearchCorpus（各論文のライセンスに従う）
  • 白書（政府標準利用規約 第2.0版）
  • livedoor ニュースコーパス
  • open2ch（Apache-2.0）
  • ParallelFiction-Ja_En-100k（Apache-2.0）
  • Amazon Reviews Multi 日本語
  • JESC
  • 青空文庫
• 読みの付与: SudachiDict（Apache-2.0）、UniDic、Mozc の辞書（BSD-3-Clause）を参照