# `experiments/` と `lib/` の状態について（正直に）

> 別のAIに `lib/` と `experiments/` を精査させたら **91件**の指摘が返ってきました。
> 全部は直していません。**なぜ直さないか**と、**何を直したか**を書きます。

---

## 1. これは「ライブラリ」ではなく「記録」です

`lib/` と `experiments/` は、**1回走らせて数字を取ったきりのコード**です。
保守しているライブラリではありません。実験の記録として置いてあります。

だから:

- **そのままでは動きません。** モデルの重み（数GB）や較正データが要りますが、
  それらはリポジトリに入っていません（`.gitignore`）。
- 環境変数で場所を差し替えられるようにはしました
  （`MODEL_BLOB` / `LOCALAI_ROOT` / `KERNEL_DIR`）。
- **`experiments/28`〜`52` のコードは入っていません。**
  `RESULTS.md` は実験52まで書いてありますが、コードは27までです。
- **`tools/gguf/prune_experts.py`（モデルを作った当の道具）も入っていません。**

この README の主張（考える深さの効果）を再現するのに必要なものは
`monosashi/` と `kangaeru_fukasa.py` に全部あります。足りていないのは圧縮研究の側です。

---

## 2. 指摘を仕分けた結果

22件を実物に当たって確かめ、**16件が当たり、6件が外れ**でした。

### ★ 外れていたもの（そのまま直すと壊していました）

| 指摘 | 実物では |
|---|---|
| `distill.py` 末尾232列が最適化されない（重大度 高） | **外れ。** 実際に走らせたら **1000列すべて**変わりました |
| `02_entropy` の bpw 換算で `k` で割っていない（重大度 高） | **外れ。** 関数の外（68〜71行）で **全部 `/ k` している** |
| `e8.py` の1D配列で IndexError（重大度 高） | **再現せず。** 指摘のコードが実物と合っていません |
| `14_trellis` のスケールが8bitで不公平 | **外れ。** 該当の書き方が見当たりません |
| `07` が `05` のコピペ | **外れ。** `lowrank_cost` を持っていません |
| `/path/to/…` が決め打ちでクラッシュ（重大度 高・3件） | **半分は私のせい。** 元は実在するパスで、**個人情報を消すために私が置き換えた**もの。指摘としては正しいので、環境変数で差し替えられるようにしました |

★ **「重大度 高」と付いていても、走らせれば消えるものが混ざっています。**
指摘をそのまま信じて直していたら、動いていたものを壊していました。

### ★ 当たっていたもの（直しました）

| どこ | 何が壊れていたか | 直し方 |
|---|---|---|
| `lib/rotate.py` | `inverse` の説明が**逆**（`False`→Qᵀ、`True`→Q） | **説明の方**を直した。往復は正しく元に戻るので**過去の結果は1ビットも変わりません** |
| `lib/entropy.py` | `ncode` が大きいと `ncode×ncode` の表でメモリが尽きる（2¹⁶で数十GB） | 大きすぎたら断る |
| `lib/entropy.py` | グループの最後と次の先頭を**つながっていると数える** | 注記した（短いグループを大量に渡すときは別々に呼ぶ） |
| `lib/distill.py` | 収束判定が単調減少前提。**誤差が増えたときも「収束」と誤判定**していた | 減ったときだけ見る |
| `lib/brecq.py` | `LinAlgError` を黙って握りつぶし、**補正が効いたように見えていた** | 必ず知らせる |
| `lib/council.py` | `nv` のパス決め打ち／`with` なし／異常終了を無視 | PATH も見る／`with`／異常終了を知らせる |
| `05_lowrank`, `07` | bpw に**スケールの取り分(16/G)が入っていなかった** | 下に詳しく |
| `12_realact` | `imat` に0があると `log(0)` で**以降すべて NaN** | 下限で押さえる |
| `17_gptq_real` | わずかな非正定値で `cholesky` が落ちる | 対角に少しずつ足して押し戻す |
| `21_sweep` | PPL が読めないと `None` を返し、並べ替えで落ちる | `inf` を返す |
| `23_alloc` | λ が負の層を**黙って捨てて既定値に落ちていた** | 捨てた数を数える |
| `01_subbit` | 3つの基準が全部「基準」という名前 | 8bit/4bit/2bit に分けた |

---

## 3. `05_lowrank` の欠陥 ── 数字はどれだけ狂っていたか

いちばん結論に響きうる指摘だったので、実際に計算しました。

もとの式は `r*(out+inn)*bits/(out*inn)` だけで、**A と B を量子化したときの
グループごとのスケール（16bit）が入っていません**。

| ランク | いままでの値 | 正しい値 | 差 |
|---|---|---|---|
| 16 | 0.0625 | 0.0669 | +7.0% |
| 32 | 0.1250 | 0.1299 | +3.9% |
| 64 | 0.2500 | 0.2559 | +2.3% |
| 128 | 0.5000 | 0.5078 | +1.6% |

**低ランク側だけを見ると 1.6〜7.0% 少なく出ていました。**

ただし全体の bpw は「低ランク側＋残差(PVQ)側」の合計で、**残差側が支配的**です。
記録されている実際の値で計算すると:

| | 記録された bpw | 正しくは |
|---|---|---|
| ランク16 | 0.781 | 0.786（**+0.6%**） |
| ランク32 | 0.938 | 0.942（**+0.5%**） |

→ **合計では 0.5〜0.6%。結論はひっくり返りません。**
式は直しましたが、`results/` の JSON は**直す前の値のまま**です。

---

## 4. 直していないもの

以下は「そのとおりだが、記録としては直す価値が薄い」と判断しました。

- 合成データで手法を評価している（`01`, `06` ほか）
  → **この指摘は正しく、しかも私たち自身が後で気づいたこと**です。
  `RESULTS.md` と `README.md` の「効かなかったこと」に、
  「合成データで手法を評価してはいけない（手法の優劣が反転する）」として
  **教訓のかたちで残してあります。** 当時のコードはその失敗の記録なので、
  直すと記録でなくなります。
- `N=1` の評価、8シードでの t 検定、統計的検出力の不足（`11`, `16` ほか）
  → **そのとおりです。** 当時の数字は「傾向」として読んでください。
- `10_pushdown` が SwiGLU/RMSNorm をまたぐ線形結合で理論的に破綻
  → **そのとおりで、実験は失敗として記録されています。**
- `19_full_unified` の OOM
  → **コード自身の冒頭注記が既に認めています**（だから `quantize2.py` がある）。
- `26_brecq` の事前検証（6ブロック）で合格→全層で崩壊
  → **`RESULTS.md` に失敗として記録済み**です。指摘のとおり、
  小さく試して通ったことを全体の保証にしてはいけません。
- コードの重複、`assert` の使用、リソースリークなどの作法
  → 記録の読みやすさに影響しないので触っていません。

---

## 5. この経験からの教訓

**レビューを受けたら、指摘の仕分けが本体です。**

- 91件のうち、実物に当たれたのは22件。そのうち **6件が外れ**（3割弱）。
- とくに「重大度 高」でも、**走らせれば消えるもの**がありました
  （`distill.py` は実際に走らせれば1000列すべて変わると1分で分かります）。
- **読んだだけの指摘と、走らせた指摘は、重みが違います。**
- そして今回、**指摘の一部は私自身が作り込んだもの**でした
  （個人情報を消すためにパスを書き換えた結果）。

前に別の実験でも同じ結論が出ています ——
多モデルで粗探しをして合意した上位8件を実物で確かめたら、**本物は2件だけ**でした。