|
Download docs/spec.md from Mouserat/rat-77m: direct link, hf CLI and curl.
- Browser
- Download file 5.35 kB
-
https://huggingface.co/Mouserat/rat-77m/resolve/main/docs/spec.md
- Command line
-
hf download hf://Mouserat/rat-77m/docs/spec.md
-
curl -L -o spec.md https://huggingface.co/Mouserat/rat-77m/resolve/main/docs/spec.md
5.35 kB
rat-77m 仕様書
作成日: 2026-11-15
ベース: Mouserat/t5-6lang-77m の設計を引き継ぎ、言語を日英に絞り、データセットを差し替え
目標パラメータ数: 約77M
1. モデル概要
| 項目 | 内容 |
|---|---|
| アーキテクチャ | Encoder-Decoder (T5系) |
| モデルクラス | T5ForConditionalGeneration |
| 総パラメータ数 | 約 77M |
| 本体パラメータ数 | 約 44M |
| 埋め込みパラメータ数 | 約 32.8M(vocab≈64k × 512) |
| 対象言語 | 日本語 + 英語 |
| データ | Mouserat/llmjp4-2b-dataset(約2.1B tokens) |
| 想定用途 | 翻訳・要約・簡単な生成などの小規模タスク |
| 対象環境 | ラズパイ3級(INT8量子化前提) |
2. アーキテクチャ詳細(前回から引き継ぎ)
| 項目 | 値 |
|---|---|
| Encoder層数 | 6 |
| Decoder層数 | 6 |
| d_model | 512 |
| d_ff | 2048 |
| num_heads | 8 |
| d_kv | 64 |
| dropout_rate | 0.1 |
| layer_norm_epsilon | 1e-6 |
| feed_forward_proj | relu |
| relative_attention_num_buckets | 32 |
| relative_attention_max_distance | 128 |
| tie_word_embeddings | true |
| use_cache | 学習時 false / 推論時 true |
注: gated-gelu にすると本体が大きくなり総パラメータが約89Mになるため、relu を選択。
3. トークナイザーと語彙(64k切り詰め)
3.1 元データ(切り詰め前)
- トークナイザー:
google/mt5-small(vocab_size = 250,112) - 解析トークン総数: 2,104,254,464
- 出現ユニークトークン数: 184,830
- vocabカバー率: 73.90%
- 出現回数1回のトークン: 17,433(ユニークの9.4%)
3.2 切り詰め後(採用)
| 切り詰めサイズ | 累積カバー率 |
|---|---|
| Top-16k | 90.55% |
| Top-32k | 96.69% |
| Top-64k | 99.53% |
決定: 頻度上位約63,999トークン + 特殊トークン3 + Sentinel 100 = 語彙サイズ 64,102 を採用。
- 特殊トークン:
<pad>(0),</s>(1),<unk>(2) - Sentinel:
<extra_id_0>〜<extra_id_99>(Span Corruption用) - スコア付与: 頻度順位
rに対してscore = -log(r + 1)(前回仕様を踏襲) - 切り捨て損失: 約 **0.47%**(十分に小さい)
3.3 頻度上位例(切り詰め前データより)
| rank | token_id | count | freq% | token |
|---|---|---|---|---|
| 1 | 259 | 164,965,428 | 7.840% | ▁ |
| 2 | 261 | 42,232,936 | 2.007% | , |
| 3 | 260 | 40,288,739 | 1.915% | . |
| 4 | 292 | 37,016,582 | 1.759% | 、 |
| 5 | 287 | 33,712,480 | 1.602% | ▁the |
| 6 | 263 | 26,835,961 | 1.275% | s |
| 7 | 306 | 20,538,904 | 0.976% | 。 |
| 8 | 304 | 19,689,032 | 0.936% | ▁of |
| 9 | 305 | 19,508,483 | 0.927% | ▁and |
| 10 | 288 | 17,436,297 | 0.829% | ▁to |
| 11 | 423 | 17,043,321 | 0.810% | の |
| ... | ... | ... | ... | ... |
日英混在の自然な分布。
4. データセット
- ソース: Mouserat/llmjp4-2b-dataset
- 内容: LLM-jp Corpus v4/v4.1 からサンプリング(日 0.8B : 英 1.2B)
- 形式: little-endian uint32 .bin(既に mT5-small でトークン化済み、系列長1024)
- 学習時は 64k 語彙への再マップが必要
文書処理
- トークン化後 1024 トークン分割 + パッキング(短い文書を連結)
- 目的関数: Span Corruption(noise_density=0.15, mean_span_length=3.0)
5. 初期化(前回の失敗から必須)
mT5 embedding をコピーする場合は必ず RMS 正規化を行う。
1. mT5-small の shared embedding を取得
2. 64k語彙に対応する行だけ抽出(またはランダム初期化 + 共通ピースをコピー)
3. cur_rms = emb.float().pow(2).mean().sqrt()
4. emb *= (0.5 / cur_rms) # target RMS = 0.5
5. 本体はランダム初期化、tie lm_head
前回の教訓: 正規化なし(RMS≈14.3)だと logits / grad_norm が爆発する。
6. 学習推奨設定
| 項目 | 推奨 |
|---|---|
| Optimizer | Adafactor(または AdamW 慎重設定) |
| Learning rate | 1e-4 前後(Adafactorならもう少し高くても可) |
| Warmup | 総ステップの1〜5% |
| max_grad_norm | 1.0 |
| 精度 | bf16 |
| バッチ | ハードに合わせて最大化(目安 128 seq × 1024) |
| 監視 | 真のloss(表示/accum)と grad_norm を必ず記録 |
停止基準: grad_norm が50超を連続、または真のlossが一方的に上昇。
7. ファイル・リポジトリ
- モデルリポジトリ:
Mouserat/rat-77m - データ:
Mouserat/llmjp4-2b-dataset - 頻度分析元データ: token_frequency_unique.jsonl(切り詰め前の完全リスト)
8. 前回失敗作からの変更点まとめ
| 項目 | t5-6lang-77m | rat-77m |
|---|---|---|
| 言語 | 6言語 | 日英のみ |
| データ | mc4-6lang-4b-filtered | llmjp4-2b-dataset |
| 語彙 | 64k(計画) | 64k(実測99.53%カバーで確定) |
| 初期化 | 問題あり → fixed | 最初から fixed を適用 |
| リポジトリ名 | t5-6lang-77m | rat-77m |
変更履歴
- 2026-11-15: 初版。64k切り詰めを実測カバー率で確定。リポジトリを rat-77m に決定。