Blame for source/kernel/chokkan2.py

# -*- coding: utf-8 -*-
"""chokkan2 ── 直感役の作り直し（2026-09-22）。確率をまともにする三段: 事後確率 → 較正 → 保留。

  なぜ作り直すか（Codex の設計 dougu/kekka/shinsa_sekkei2.md）:
    ・いまの chokkan.py は softmax 回帰の生の値を自信として使っている。未知語・クラス頻度・証拠の量を
      知らないので、「知らない文ほど自信満々」になり得る。線も 1/7 の校正用 1回で決めていた。
    ・ここでは 文字 n-gram の **Dirichlet-multinomial 単純ベイズ**（共役事前分布）にする。
      未知の n-gram には事前分布が効くので、小さい教材でも確率が暴れない。
    ・較正は **交差検証の外（out-of-fold）** の予測で温度 T を決める（自分の学習点で較正しない）。
    ・保留は 2つ: 自信 < 線、または 証拠が薄い（見たことのある n-gram の割合が低い）。

  標準ライブラリだけ。重みは JSON（chokkan2_omomi.json）。使い方は chokkan.py と同じ:
    chokkan2.kimeru("5分はかって") → {"用件": "タイマー", "自信": 0.93, "証拠": 0.88, "上位": [...], "ms": 0}
    python3 chokkan2.py --train   … 学習して保存    --kuraberu … いまの chokkan と比べる
"""
from __future__ import annotations
import json, math, os, random, re, time, unicodedata

HERE = os.path.dirname(os.path.abspath(__file__))
OMOMI = os.path.join(HERE, "chokkan2_omomi.json")
ZATSUDAN = "雑談"
_Q = re.compile(r"[「『\"“](.*?)[」』\"”]")
_NUM = re.compile(r"[0-9]+(?:[.,][0-9]+)?")
NGRAM = (2, 3, 4, 5)            # 文字 n-gram の長さ（1 は情報が薄いので入れない）


def _seiri(text: str) -> str:
    s = unicodedata.normalize("NFKC", text or "").lower()
    s = _Q.sub("「q」", s)
    s = _NUM.sub("0", s)
    return re.sub(r"\s+", "", s)


def tokuchou(text: str) -> dict:
    """文字 n-gram の **回数**（単純ベイズなので回数のまま。長さの効きは推論で割って消す）"""
    t = "^" + _seiri(text) + "$"
    f = {}
    for n in NGRAM:
        for i in range(len(t) - n + 1):
            g = t[i:i + n]
            f[g] = f.get(g, 0) + 1
    return f


class Model:
    """Dirichlet-multinomial 単純ベイズ。alpha は事前分布の強さ、T は温度、sen は線、shouko は証拠の下限。"""

    def __init__(self, classes=None, kazu=None, goukei=None, mae=None, V=0, alpha=0.2, T=1.0, sen=0.5, shouko=0.0, nagasa=0.5):
        self.classes = list(classes or [])
        self.kazu = kazu or {}         # n-gram → [回数 × クラス数]
        self.goukei = goukei or []     # クラスごとの総回数
        self.mae = mae or []           # log 事前確率
        self.V = V                     # 語彙の大きさ
        self.alpha, self.T, self.sen, self.shouko, self.nagasa = alpha, T, sen, shouko, nagasa

    def _logp(self, f: dict, alpha=None):
        """log p(文|用件)。長さで割ってから温度をかけるのは kakuritsu 側"""
        al = self.alpha if alpha is None else alpha
        C = len(self.classes)
        z = [0.0] * C
        shiru = 0
        n = 0
        for g, x in f.items():
            row = self.kazu.get(g)
            n += x
            if row is not None:
                shiru += x
            for c in range(C):
                cnt = row[c] if row is not None else 0
                z[c] += x * math.log((cnt + al) / (self.goukei[c] + al * self.V))
        return z, (shiru / n if n else 0.0), n

    def kakuritsu(self, f: dict, T=None, alpha=None):
        z, shouko, n = self._logp(f, alpha)
        # 長さの効きをならす（長文ほど確率が 0/1 に張り付くのを防ぐ）。nagasa=1 で完全に平均、0 で生
        w = 1.0 / max(1.0, n) ** self.nagasa
        z = [self.mae[c] + z[c] * w for c in range(len(self.classes))]
        T = self.T if T is None else T
        m = max(z)
        e = [math.exp((x - m) / T) for x in z]
        s = sum(e)
        return [x / s for x in e], shouko

    # ── 学習 ──
    def fit(self, rei: list):
        self.classes = sorted({c for _, c in rei})
        C = len(self.classes)
        idx = {c: i for i, c in enumerate(self.classes)}
        self.kazu = {}
        self.goukei = [0] * C
        kensuu = [0] * C
        for t, c in rei:
            y = idx[c]
            kensuu[y] += 1
            for g, x in tokuchou(t).items():
                row = self.kazu.get(g)
                if row is None:
                    row = self.kazu[g] = [0] * C
                row[y] += x
                self.goukei[y] += x
        self.V = len(self.kazu)
        # 事前確率: 件数そのままだと雑談（10倍ある）に寄るので √件数 でならす
        w = [math.sqrt(k) for k in kensuu]
        s = sum(w)
        self.mae = [math.log(x / s) for x in w]
        return self

    def save(self, path=OMOMI):
        tmp = path + ".tmp"
        json.dump({"classes": self.classes, "kazu": self.kazu, "goukei": self.goukei, "mae": self.mae, "V": self.V,
                   "alpha": self.alpha, "T": self.T, "sen": self.sen, "shouko": self.shouko, "nagasa": self.nagasa,
                   "made": time.strftime("%Y-%m-%d %H:%M")}, open(tmp, "w", encoding="utf-8"), ensure_ascii=False)
        os.replace(tmp, path)

    @classmethod
    def load(cls, path=OMOMI):
        d = json.load(open(path, encoding="utf-8"))
        return cls(d["classes"], d["kazu"], d["goukei"], d["mae"], d["V"], d["alpha"], d["T"], d["sen"], d["shouko"], d.get("nagasa", 0.5))


_MODEL = None


def model() -> Model:
    global _MODEL
    if _MODEL is None:
        _MODEL = Model.load()
    return _MODEL


def kimeru(text: str, sen: float = None, shouko: float = None) -> dict:
    """頼み文 → {"用件": 名前 or None, "自信": p, "証拠": 0〜1, "上位": [(名, p)×3], "ms": ms}"""
    t0 = time.monotonic()
    m = model()
    p, sho = m.kakuritsu(tokuchou(text))
    o = sorted(range(len(p)), key=lambda i: -p[i])
    na, pa = m.classes[o[0]], p[o[0]]
    sen = m.sen if sen is None else sen
    shouko = m.shouko if shouko is None else shouko
    out = {"用件": None, "自信": round(pa, 3), "証拠": round(sho, 3),
           "上位": [(m.classes[i], round(p[i], 3)) for i in o[:3]], "ms": int((time.monotonic() - t0) * 1000)}
    if na != ZATSUDAN and pa >= sen and sho >= shouko:
        out["用件"] = na
    return out


# ── 学習の全体（交差検証で alpha・nagasa・温度・線を決める）──
def _oof(rei, K=5, alpha=0.2, nagasa=0.5, seed=0):
    """out-of-fold の (確率, 証拠, 正解) を返す。較正と線決めはこれだけを使う"""
    rnd = random.Random(seed)
    by = {}
    for t, c in rei:
        by.setdefault(c, []).append(t)
    fold = {}
    for c, ts in by.items():
        ts = list(ts)
        rnd.shuffle(ts)
        for i, t in enumerate(ts):
            fold[(t, c)] = i % K
    out = []
    for k in range(K):
        gaku = [(t, c) for (t, c) in rei if fold[(t, c)] != k]
        test = [(t, c) for (t, c) in rei if fold[(t, c)] == k]
        m = Model(alpha=alpha, nagasa=nagasa).fit(gaku)
        for t, c in test:
            p, sho = m.kakuritsu(tokuchou(t), T=1.0)
            out.append((p, sho, m.classes.index(c), m.classes))
    return out


def gakushuu(nozoku=None, seed=0, quiet=False, K=5):
    import chokkan as C1
    rei = C1.kyouzai(nozoku, quiet=quiet)
    best = None
    for alpha in (0.05, 0.1, 0.2, 0.5, 1.0):
        for nagasa in (0.3, 0.5, 0.7, 1.0):
            oof = _oof(rei, K, alpha, nagasa, seed)
            nll = -sum(math.log(max(p[y], 1e-12)) for p, _, y, _ in oof) / len(oof)
            if best is None or nll < best[0]:
                best = (nll, alpha, nagasa, oof)
    nll, alpha, nagasa, oof = best
    # 温度: out-of-fold の NLL 最小
    def nll_at(T):
        s = 0.0
        for p, _, y, _ in oof:
            z = [math.log(max(x, 1e-300)) / T for x in p]
            mx = max(z)
            e = [math.exp(x - mx) for x in z]
            s -= math.log(max(e[y] / sum(e), 1e-12))
        return s / len(oof)
    T = min((0.5, 0.7, 0.85, 1.0, 1.2, 1.5, 2.0, 2.5, 3.0, 4.0), key=nll_at)
    # 線と証拠の下限: 雑談の誤発動 0 のまま 道具を最も拾う（out-of-fold で）
    def naosu(p, T):
        z = [math.log(max(x, 1e-300)) / T for x in p]
        mx = max(z)
        e = [math.exp(x - mx) for x in z]
        s = sum(e)
        return [x / s for x in e]
    bestsen = None
    for sen in (0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.95):
        for sho_min in (0.0,):   # 証拠の下限は 独立した物差し2 で 149問中 3問しか拾えず（移らない）→ 使わない（2026-09-22 実測）
            ok = go = 0
            for p, sho, y, cls in oof:
                q = naosu(p, T)
                i = max(range(len(q)), key=lambda j: q[j])
                deru = cls[i] != ZATSUDAN and q[i] >= sen and sho >= sho_min
                if cls[y] == ZATSUDAN:
                    go += deru
                else:
                    ok += (deru and i == y)
            # 誤発動を最小に、同じなら道具を多く拾う方（誤発動 0 が無い教材でも決まる）
            if bestsen is None or (go, -ok) < (bestsen[3], -bestsen[2]):
                bestsen = (sen, sho_min, ok, go)
    m = Model(alpha=alpha, nagasa=nagasa).fit(rei)
    m.T, m.sen, m.shouko = T, bestsen[0], bestsen[1]
    m.save()
    if not quiet:
        print("  教材 %d文・用件 %d・n-gram %d種  alpha=%.2f 長さ%.1f T=%.2f 線=%.2f 証拠≧%.1f  (OOF NLL %.3f・OOF 道具 %d拾い・雑談の誤発動 %d)"
              % (len(rei), len(m.classes), m.V, alpha, nagasa, T, m.sen, m.shouko, nll, bestsen[2], bestsen[3]))
    global _MODEL
    _MODEL = Model.load()
    return _MODEL


if __name__ == "__main__":
    import sys
    if "--train" in sys.argv:
        gakushuu()
    else:
        for t in sys.argv[1:] or ["ちょっと5分はかって", "今日は疲れた"]:
            print(t, "→", kimeru(t))