rat-77m / docs /spec.md
Mouserat's picture
Upload docs/spec.md with huggingface_hub
d6afd60 verified
|
Raw History Blame Contribute Delete
5.35 kB

rat-77m 仕様書

作成日: 2026-11-15
ベース: Mouserat/t5-6lang-77m の設計を引き継ぎ、言語を日英に絞り、データセットを差し替え
目標パラメータ数: 約77M


1. モデル概要

項目 内容
アーキテクチャ Encoder-Decoder (T5系)
モデルクラス T5ForConditionalGeneration
総パラメータ数 約 77M
本体パラメータ数 約 44M
埋め込みパラメータ数 約 32.8M(vocab≈64k × 512)
対象言語 日本語 + 英語
データ Mouserat/llmjp4-2b-dataset(約2.1B tokens)
想定用途 翻訳・要約・簡単な生成などの小規模タスク
対象環境 ラズパイ3級(INT8量子化前提)

2. アーキテクチャ詳細(前回から引き継ぎ)

項目 値
Encoder層数 6
Decoder層数 6
d_model 512
d_ff 2048
num_heads 8
d_kv 64
dropout_rate 0.1
layer_norm_epsilon 1e-6
feed_forward_proj relu
relative_attention_num_buckets 32
relative_attention_max_distance 128
tie_word_embeddings true
use_cache 学習時 false / 推論時 true

注: gated-gelu にすると本体が大きくなり総パラメータが約89Mになるため、relu を選択。


3. トークナイザーと語彙(64k切り詰め)

3.1 元データ(切り詰め前)

  • トークナイザー: google/mt5-small(vocab_size = 250,112)
  • 解析トークン総数: 2,104,254,464
  • 出現ユニークトークン数: 184,830
  • vocabカバー率: 73.90%
  • 出現回数1回のトークン: 17,433(ユニークの9.4%)

3.2 切り詰め後(採用)

切り詰めサイズ 累積カバー率
Top-16k 90.55%
Top-32k 96.69%
Top-64k 99.53%

決定: 頻度上位約63,999トークン + 特殊トークン3 + Sentinel 100 = 語彙サイズ 64,102 を採用。

  • 特殊トークン: <pad> (0), </s> (1), <unk> (2)
  • Sentinel: <extra_id_0> 〜 <extra_id_99>(Span Corruption用)
  • スコア付与: 頻度順位 r に対して score = -log(r + 1)(前回仕様を踏襲)
  • 切り捨て損失: 約 **0.47%**(十分に小さい)

3.3 頻度上位例(切り詰め前データより)

rank token_id count freq% token
1 259 164,965,428 7.840% ▁
2 261 42,232,936 2.007% ,
3 260 40,288,739 1.915% .
4 292 37,016,582 1.759% 、
5 287 33,712,480 1.602% ▁the
6 263 26,835,961 1.275% s
7 306 20,538,904 0.976% 。
8 304 19,689,032 0.936% ▁of
9 305 19,508,483 0.927% ▁and
10 288 17,436,297 0.829% ▁to
11 423 17,043,321 0.810% の
... ... ... ... ...

日英混在の自然な分布。


4. データセット

  • ソース: Mouserat/llmjp4-2b-dataset
  • 内容: LLM-jp Corpus v4/v4.1 からサンプリング(日 0.8B : 英 1.2B)
  • 形式: little-endian uint32 .bin(既に mT5-small でトークン化済み、系列長1024)
  • 学習時は 64k 語彙への再マップが必要

文書処理

  • トークン化後 1024 トークン分割 + パッキング(短い文書を連結)
  • 目的関数: Span Corruption(noise_density=0.15, mean_span_length=3.0)

5. 初期化(前回の失敗から必須)

mT5 embedding をコピーする場合は必ず RMS 正規化を行う。

1. mT5-small の shared embedding を取得
2. 64k語彙に対応する行だけ抽出(またはランダム初期化 + 共通ピースをコピー)
3. cur_rms = emb.float().pow(2).mean().sqrt()
4. emb *= (0.5 / cur_rms)   # target RMS = 0.5
5. 本体はランダム初期化、tie lm_head

前回の教訓: 正規化なし(RMS≈14.3)だと logits / grad_norm が爆発する。


6. 学習推奨設定

項目 推奨
Optimizer Adafactor(または AdamW 慎重設定)
Learning rate 1e-4 前後(Adafactorならもう少し高くても可)
Warmup 総ステップの1〜5%
max_grad_norm 1.0
精度 bf16
バッチ ハードに合わせて最大化(目安 128 seq × 1024)
監視 真のloss(表示/accum)と grad_norm を必ず記録

停止基準: grad_norm が50超を連続、または真のlossが一方的に上昇。


7. ファイル・リポジトリ

  • モデルリポジトリ: Mouserat/rat-77m
  • データ: Mouserat/llmjp4-2b-dataset
  • 頻度分析元データ: token_frequency_unique.jsonl(切り詰め前の完全リスト)

8. 前回失敗作からの変更点まとめ

項目 t5-6lang-77m rat-77m
言語 6言語 日英のみ
データ mc4-6lang-4b-filtered llmjp4-2b-dataset
語彙 64k(計画) 64k(実測99.53%カバーで確定)
初期化 問題あり → fixed 最初から fixed を適用
リポジトリ名 t5-6lang-77m rat-77m

変更履歴

  • 2026-11-15: 初版。64k切り詰めを実測カバー率で確定。リポジトリを rat-77m に決定。