No-22/rwkv-agent-weights

RWKV-Agent 权重（State 与 MiSS 适配器）

RWKV-Agent 在 RWKV-7 基模上训出的两种轻量权重，让基模学会当本地工具 Agent。两者都不改基模本身，推理时按请求挂上：

• State（state tuning）：只训练模型的初始状态，7.2B 上单文件 16MB，配不带思考的 g1k 格式。
• MiSS 适配器：一种低秩适配器，7.2B r16 约 36MB，配带思考的 g1k-think 格式。

训练数据在数据集仓库 No-22/rwkv-agent-distill。

先认基模

State 和 MiSS 都只对训练时用的那一个基模文件有效。 同系列换一个日期的新版本，权重也会失效：MiSS 加载时会校验基模指纹，不匹配就拒绝；State 虽然能加载，但效果没有保证。所以本仓库第一层目录就是基模，换基模就在旁边开一个新目录，旧的保留不动：

<基模文件名，不带 .pth>/
  state/<数据版本>/   State 权重 + train.json（训练参数）
  miss/<数据版本>/    MiSS 适配器（每组一个子目录）+ train.json
index.json            所有权重的机器可读索引：基模 sha256、方法、训练数据版本与 sha256、文件 sha256、跑分
SHA256SUMS            本仓库所有文件的 sha256

训练数据和基模权重无关，换基模可以直接用同一份数据重训；只有对话格式（meta.wire_canonical）变了才需要重新渲染，见数据集仓库 README。

已有的基模

基模目录	来源	基模 sha256	词表
rwkv7-g1k-7.2b-20260930-ctx25600	BlinkDL/rwkv7-g1 的 rwkv7-g1k-7.2b-20260930-ctx25600.pth	0853d4ce2e4e0629762797d05036a84cc69fb2fb9eff5590dd22aeb518a4c842	rwkv_vocab_v20230424.txt

rwkv7-g1k-7.2b-20260930-ctx25600

目录前缀 rwkv7-g1k-7.2b-20260930-ctx25600/，下表路径都相对于它：

路径	方法	训练数据	说明
state/v1.41/v141b-s1224.pth	State	v1.41（3662 行，sha256 feb2fd6b…）	lr 0.01→0.00167，第 1224 步（共 1374 步）。State 推荐
state/v1.41/train.json	训练参数	—	训练器及版本、超参、等效命令行、数据 sha256
miss/v2.1/r16-lr2e-5-e2/adapter-final.pth	MiSS r16	v2.1（5512 行，sha256 2fbf6760…）	lr 2e-5→2e-6，2 epoch 共 1378 步，最终权重。MiSS 推荐
miss/v2.1/r16-lr1e-5-e2/adapter-final.pth	MiSS r16	同上	lr 1e-5→1e-6，对照组
miss/v2.1/r16-lr3e-5-e2/adapter-final.pth	MiSS r16	同上	lr 3e-5→3e-6，对照组
miss/v2.1/train.json	训练参数	—	训练器及版本、三组共用超参与各自学习率、等效命令行、起止时间

MiSS 文件内嵌 archive/miss.json，里面的 content_version 就是推理服务注册后返回的版本号，可以用来核对挂上的是不是这个文件。三个版本号与 2026-10-17 跑分时端点上登记的一致：

适配器	content_version
r16-lr1e-5-e2	3935b51573ca92350ceb783958171a54b765f09b79ad29be5422ea338dd59ee7
r16-lr2e-5-e2	360fa110a40e324bd1bf2976a7b31739e46379752c6ebc4bf8c370c77d93daa5
r16-lr3e-5-e2	a5d0b1b11d2f11efeeebc50f2290b5b0dd3978adeaaf8095f017b857429a5782

跑分

新考卷 exam（568 题，App harness，每组跑两遍取平均；10-16 和 10-17 两天的推理后端版本不同，跨天只作参考）：

权重	得分	说明
基模（不挂任何权重）	21.4%	2026-10-16
State v141b-s1224	46.9%	2026-10-16
MiSS v2.0 r16 lr3e-5（未上传）	46.0%（261.0 题）	2026-10-17
MiSS v2.1 r16 lr2e-5	52.2%（296.5 题）	2026-10-17，对 v2.0 逐题 +95/−54，p=0.001
MiSS v2.1 r16 lr1e-5	51.3%（291.5 题）	与 2e-5 分不出
MiSS v2.1 r16 lr3e-5	49.4%（280.5 题）	读对了却取错值、算错的题变多

State v1.41 在旧题库上的三次平均（2026-10-13）：workbank 干净题 25.0、bfcl-product 41.0/60、bash 探针 9.0/26；上一版 v1.3 是 22.7 / 24.3 / 2.0，基模 bfcl 是 44。

完整报告见 GitHub 仓库 docs/evaluations/（state-v141-20261013、exam-3arm-20261016、exam-v21-20261017）。

已知问题

• 训练数据的已知问题（含 v1.41 里 80 行由测试题改编）见数据集仓库 README。
• MiSS 模型被问身份时可能自称 Qwen（思考风格继承自千问老师）。
• v2.1 的退步：网页题、不该调工具的题比 v2.0 少对几题（本地搜空后不上网、纯数学题去调计算器）。

训练器

两种权重都用 rwkv_lightning_cuda 自带的训练器：State 用 rwkv_state_tune，MiSS 用 rwkv_miss_tune。必须是带 segments 掩码（提交 47df608）的版本，也就是 v1.8.1 及以后；更早的版本会对整段提示都算 loss，训出来不一样。确切构建提交训练时没有记录。每个版本目录下的 train.json 写了全部超参和等效命令行。

用法

需要支持 State 上传和 /v1/adapters 的 rwkv_lightning 推理服务（v1.8.1 及以后），推理服务加载的基模必须和权重所在目录一致。用 RWKV-Agent 的 rwkv-cli：

# State：上传后得到 state_id，跑 agent 时用 --state-id 指定
rwkv-cli state upload --api-url <URL> --file rwkv7-g1k-7.2b-20260930-ctx25600/state/v1.41/v141b-s1224.pth

# MiSS：注册成 adapter_id，请求时带上它
rwkv-cli adapter register --api-url <URL> --adapter-id v21-lr2e-5-e2 --file rwkv7-g1k-7.2b-20260930-ctx25600/miss/v2.1/r16-lr2e-5-e2/adapter-final.pth

格式与采样：State 用 --profile g1k，MiSS 必须用 g1k-think（不带思考时效果明显变差）；采样用 --sampling g1k-agent。

换新基模时要做的

1. 新建目录 <新基模文件名>/，用数据集仓库里同一份训练数据重训 State / MiSS，按 state/<数据版本>/、miss/<数据版本>/ 放好，同目录写 train.json（训练器与版本、超参、命令行、数据 sha256）。
2. 在 index.json 的 bases 里加新基模（来源、文件名、sha256、词表），在 entries 里每个权重文件加一条。
3. 在本 README「已有的基模」表加一行，再加一节写该基模下的文件和跑分；新旧基模的分数在同一天、同一后端上重跑后才能直接比较。
4. 重算 SHA256SUMS。旧基模目录不动。

本仓库尚未指定许可证。