# rat-77m 仕様書 **作成日**: 2026-11-15 **ベース**: Mouserat/t5-6lang-77m の設計を引き継ぎ、言語を日英に絞り、データセットを差し替え **目標パラメータ数**: 約77M --- ## 1. モデル概要 | 項目 | 内容 | |------|------| | アーキテクチャ | Encoder-Decoder (T5系) | | モデルクラス | `T5ForConditionalGeneration` | | 総パラメータ数 | 約 **77M** | | 本体パラメータ数 | 約 **44M** | | 埋め込みパラメータ数 | 約 **32.8M**(vocab≈64k × 512) | | 対象言語 | 日本語 + 英語 | | データ | Mouserat/llmjp4-2b-dataset(約2.1B tokens) | | 想定用途 | 翻訳・要約・簡単な生成などの小規模タスク | | 対象環境 | ラズパイ3級(INT8量子化前提) | --- ## 2. アーキテクチャ詳細(前回から引き継ぎ) | 項目 | 値 | |------|-----| | Encoder層数 | 6 | | Decoder層数 | 6 | | d_model | 512 | | d_ff | 2048 | | num_heads | 8 | | d_kv | 64 | | dropout_rate | 0.1 | | layer_norm_epsilon | 1e-6 | | feed_forward_proj | **relu** | | relative_attention_num_buckets | 32 | | relative_attention_max_distance | 128 | | tie_word_embeddings | true | | use_cache | 学習時 false / 推論時 true | 注: gated-gelu にすると本体が大きくなり総パラメータが約89Mになるため、relu を選択。 --- ## 3. トークナイザーと語彙(64k切り詰め) ### 3.1 元データ(切り詰め前) - トークナイザー: `google/mt5-small`(vocab_size = 250,112) - 解析トークン総数: **2,104,254,464** - 出現ユニークトークン数: **184,830** - vocabカバー率: **73.90%** - 出現回数1回のトークン: 17,433(ユニークの9.4%) ### 3.2 切り詰め後(採用) | 切り詰めサイズ | 累積カバー率 | |----------------|--------------| | Top-16k | 90.55% | | Top-32k | 96.69% | | **Top-64k** | **99.53%** | **決定**: 頻度上位約63,999トークン + 特殊トークン3 + Sentinel 100 = **語彙サイズ 64,102** を採用。 - 特殊トークン: `` (0), `` (1), `` (2) - Sentinel: `` 〜 ``(Span Corruption用) - スコア付与: 頻度順位 `r` に対して `score = -log(r + 1)`(前回仕様を踏襲) - 切り捨て損失: 約 **0.47%**(十分に小さい) ### 3.3 頻度上位例(切り詰め前データより) | rank | token_id | count | freq% | token | |------|----------|-------|-------|-------| | 1 | 259 | 164,965,428 | 7.840% | ▁ | | 2 | 261 | 42,232,936 | 2.007% | , | | 3 | 260 | 40,288,739 | 1.915% | . | | 4 | 292 | 37,016,582 | 1.759% | 、 | | 5 | 287 | 33,712,480 | 1.602% | ▁the | | 6 | 263 | 26,835,961 | 1.275% | s | | 7 | 306 | 20,538,904 | 0.976% | 。 | | 8 | 304 | 19,689,032 | 0.936% | ▁of | | 9 | 305 | 19,508,483 | 0.927% | ▁and | | 10 | 288 | 17,436,297 | 0.829% | ▁to | | 11 | 423 | 17,043,321 | 0.810% | の | | ... | ... | ... | ... | ... | 日英混在の自然な分布。 --- ## 4. データセット - **ソース**: Mouserat/llmjp4-2b-dataset - 内容: LLM-jp Corpus v4/v4.1 からサンプリング(日 0.8B : 英 1.2B) - 形式: little-endian uint32 .bin(既に mT5-small でトークン化済み、系列長1024) - 学習時は 64k 語彙への再マップが必要 ### 文書処理 - トークン化後 1024 トークン分割 + パッキング(短い文書を連結) - 目的関数: Span Corruption(noise_density=0.15, mean_span_length=3.0) --- ## 5. 初期化(前回の失敗から必須) **mT5 embedding をコピーする場合は必ず RMS 正規化を行う。** ```text 1. mT5-small の shared embedding を取得 2. 64k語彙に対応する行だけ抽出(またはランダム初期化 + 共通ピースをコピー) 3. cur_rms = emb.float().pow(2).mean().sqrt() 4. emb *= (0.5 / cur_rms) # target RMS = 0.5 5. 本体はランダム初期化、tie lm_head ``` 前回の教訓: 正規化なし(RMS≈14.3)だと logits / grad_norm が爆発する。 --- ## 6. 学習推奨設定 | 項目 | 推奨 | |------|------| | Optimizer | Adafactor(または AdamW 慎重設定) | | Learning rate | 1e-4 前後(Adafactorならもう少し高くても可) | | Warmup | 総ステップの1〜5% | | max_grad_norm | 1.0 | | 精度 | bf16 | | バッチ | ハードに合わせて最大化(目安 128 seq × 1024) | | 監視 | 真のloss(表示/accum)と grad_norm を必ず記録 | 停止基準: grad_norm が50超を連続、または真のlossが一方的に上昇。 --- ## 7. ファイル・リポジトリ - モデルリポジトリ: `Mouserat/rat-77m` - データ: `Mouserat/llmjp4-2b-dataset` - 頻度分析元データ: token_frequency_unique.jsonl(切り詰め前の完全リスト) --- ## 8. 前回失敗作からの変更点まとめ | 項目 | t5-6lang-77m | rat-77m | |------|--------------|---------| | 言語 | 6言語 | **日英のみ** | | データ | mc4-6lang-4b-filtered | **llmjp4-2b-dataset** | | 語彙 | 64k(計画) | **64k(実測99.53%カバーで確定)** | | 初期化 | 問題あり → fixed | **最初から fixed を適用** | | リポジトリ名 | t5-6lang-77m | **rat-77m** | --- ## 変更履歴 - 2026-11-15: 初版。64k切り詰めを実測カバー率で確定。リポジトリを rat-77m に決定。