rat-77m / docs /spec.md
Mouserat's picture
Upload docs/spec.md with huggingface_hub
d6afd60 verified
|
Raw History Blame Contribute Delete
5.35 kB
# rat-77m 仕様書
**作成日**: 2026-11-15
**ベース**: Mouserat/t5-6lang-77m の設計を引き継ぎ、言語を日英に絞り、データセットを差し替え
**目標パラメータ数**: 約77M
---
## 1. モデル概要
| 項目 | 内容 |
|------|------|
| アーキテクチャ | Encoder-Decoder (T5系) |
| モデルクラス | `T5ForConditionalGeneration` |
| 総パラメータ数 | 約 **77M** |
| 本体パラメータ数 | 約 **44M** |
| 埋め込みパラメータ数 | 約 **32.8M**(vocab≈64k × 512) |
| 対象言語 | 日本語 + 英語 |
| データ | Mouserat/llmjp4-2b-dataset(約2.1B tokens) |
| 想定用途 | 翻訳・要約・簡単な生成などの小規模タスク |
| 対象環境 | ラズパイ3級(INT8量子化前提) |
---
## 2. アーキテクチャ詳細(前回から引き継ぎ)
| 項目 | 値 |
|------|-----|
| Encoder層数 | 6 |
| Decoder層数 | 6 |
| d_model | 512 |
| d_ff | 2048 |
| num_heads | 8 |
| d_kv | 64 |
| dropout_rate | 0.1 |
| layer_norm_epsilon | 1e-6 |
| feed_forward_proj | **relu** |
| relative_attention_num_buckets | 32 |
| relative_attention_max_distance | 128 |
| tie_word_embeddings | true |
| use_cache | 学習時 false / 推論時 true |
注: gated-gelu にすると本体が大きくなり総パラメータが約89Mになるため、relu を選択。
---
## 3. トークナイザーと語彙(64k切り詰め)
### 3.1 元データ(切り詰め前)
- トークナイザー: `google/mt5-small`(vocab_size = 250,112)
- 解析トークン総数: **2,104,254,464**
- 出現ユニークトークン数: **184,830**
- vocabカバー率: **73.90%**
- 出現回数1回のトークン: 17,433(ユニークの9.4%)
### 3.2 切り詰め後(採用)
| 切り詰めサイズ | 累積カバー率 |
|----------------|--------------|
| Top-16k | 90.55% |
| Top-32k | 96.69% |
| **Top-64k** | **99.53%** |
**決定**: 頻度上位約63,999トークン + 特殊トークン3 + Sentinel 100 = **語彙サイズ 64,102** を採用。
- 特殊トークン: `<pad>` (0), `</s>` (1), `<unk>` (2)
- Sentinel: `<extra_id_0>` 〜 `<extra_id_99>`(Span Corruption用)
- スコア付与: 頻度順位 `r` に対して `score = -log(r + 1)`(前回仕様を踏襲)
- 切り捨て損失: 約 **0.47%**(十分に小さい)
### 3.3 頻度上位例(切り詰め前データより)
| rank | token_id | count | freq% | token |
|------|----------|-------|-------|-------|
| 1 | 259 | 164,965,428 | 7.840% | ▁ |
| 2 | 261 | 42,232,936 | 2.007% | , |
| 3 | 260 | 40,288,739 | 1.915% | . |
| 4 | 292 | 37,016,582 | 1.759% | 、 |
| 5 | 287 | 33,712,480 | 1.602% | ▁the |
| 6 | 263 | 26,835,961 | 1.275% | s |
| 7 | 306 | 20,538,904 | 0.976% | 。 |
| 8 | 304 | 19,689,032 | 0.936% | ▁of |
| 9 | 305 | 19,508,483 | 0.927% | ▁and |
| 10 | 288 | 17,436,297 | 0.829% | ▁to |
| 11 | 423 | 17,043,321 | 0.810% | の |
| ... | ... | ... | ... | ... |
日英混在の自然な分布。
---
## 4. データセット
- **ソース**: Mouserat/llmjp4-2b-dataset
- 内容: LLM-jp Corpus v4/v4.1 からサンプリング(日 0.8B : 英 1.2B)
- 形式: little-endian uint32 .bin(既に mT5-small でトークン化済み、系列長1024)
- 学習時は 64k 語彙への再マップが必要
### 文書処理
- トークン化後 1024 トークン分割 + パッキング(短い文書を連結)
- 目的関数: Span Corruption(noise_density=0.15, mean_span_length=3.0)
---
## 5. 初期化(前回の失敗から必須)
**mT5 embedding をコピーする場合は必ず RMS 正規化を行う。**
```text
1. mT5-small の shared embedding を取得
2. 64k語彙に対応する行だけ抽出(またはランダム初期化 + 共通ピースをコピー)
3. cur_rms = emb.float().pow(2).mean().sqrt()
4. emb *= (0.5 / cur_rms) # target RMS = 0.5
5. 本体はランダム初期化、tie lm_head
```
前回の教訓: 正規化なし(RMS≈14.3)だと logits / grad_norm が爆発する。
---
## 6. 学習推奨設定
| 項目 | 推奨 |
|------|------|
| Optimizer | Adafactor(または AdamW 慎重設定) |
| Learning rate | 1e-4 前後(Adafactorならもう少し高くても可) |
| Warmup | 総ステップの1〜5% |
| max_grad_norm | 1.0 |
| 精度 | bf16 |
| バッチ | ハードに合わせて最大化(目安 128 seq × 1024) |
| 監視 | 真のloss(表示/accum)と grad_norm を必ず記録 |
停止基準: grad_norm が50超を連続、または真のlossが一方的に上昇。
---
## 7. ファイル・リポジトリ
- モデルリポジトリ: `Mouserat/rat-77m`
- データ: `Mouserat/llmjp4-2b-dataset`
- 頻度分析元データ: token_frequency_unique.jsonl(切り詰め前の完全リスト)
---
## 8. 前回失敗作からの変更点まとめ
| 項目 | t5-6lang-77m | rat-77m |
|------|--------------|---------|
| 言語 | 6言語 | **日英のみ** |
| データ | mc4-6lang-4b-filtered | **llmjp4-2b-dataset** |
| 語彙 | 64k(計画) | **64k(実測99.53%カバーで確定)** |
| 初期化 | 問題あり → fixed | **最初から fixed を適用** |
| リポジトリ名 | t5-6lang-77m | **rat-77m** |
---
## 変更履歴
- 2026-11-15: 初版。64k切り詰めを実測カバー率で確定。リポジトリを rat-77m に決定。