Blame for README.md

---
title: 自一致性与多数投票的收益边界研究
emoji: 📊
colorFrom: blue
colorTo: indigo
sdk: static
pinned: false
---

# 📊 LLM 自一致性与多数投票的收益边界研究

> **CISC 7402 — Mathematics for Artificial Intelligence 课程项目**
> **团队规模**：2 人 | **展示截止**：11月18日 | **当前状态**：🟢 实验执行中

## 🔍 研究问题

大语言模型在单次生成时具有随机性。自一致性（Self-Consistency）通过采样多条推理路径并**多数投票**来提升准确率，但这并非免费的午餐：采样规模扩大带来计算成本的线性增长，而准确率增益可能边际递减；温度升高虽增加多样性，却可能引入更多错误。

本项目（基于 GSM8K 数据集与 Qwen2.5-7B 模型）旨在量化回答以下三个核心问题：
1. **主效应**：多数投票（T=0.6, N=20）相对贪心解码（Greedy）的真实净增益是多少？
2. **收益边界**：准确率增益随采样次数（N）和温度（T）如何变化？
3. **置信度代理**：早期投票的一致性（c₅）能否有效预测“是否值得继续采样”？

---

## 👥 分阶段双轨并行工作安排

为了保证在 11.18 前交付高质量的可演示版本，本项目采用**“双轨并行、阶段推进、交叉验收”**的敏捷协作模式。我们将 2 周时间划分为三个明确的阶段，两人各自负责一条独立产出线，在关键节点进行成果汇总与强制验证。

### 🟢 阶段 0：基建与冻结（D1 - D5）
**核心目标**：跑通全链路，锁定实验参数，消除后期返工风险。
- **管线轨（成员 A）**：
  - 搭建环境与加载 Qwen2.5-7B 模型。
  - 完成 dev 30 / test 100 数据抽样，并生成冻结快照 `ids.json`。
  - 跑通 Pilot 实验，验证解析失败率 < 10% 且截断率 < 5%。
  - 编写并测试核心生成脚本 `gen.py`（验证断点续跑机制）。
  - **产出**：`ids.json`、`pilot.parquet`、可运行的 `gen.py`。
- **分析轨（成员 B）**：
  - 梳理文献矩阵，明确对比基线。
  - 编写 `metrics_spec.md`，严格定义 C/D 分解、c₅ 分层、配对 Bootstrap 的数学口径。
  - 使用 Pilot 假数据跑通 `analyze.py` 与 `plots.py` 骨架。
  - **产出**：`metrics_spec.md`、分析脚本骨架。
- **🔒 阶段交汇（D5 参数冻结）**：
  - 双方逐条核对 `config.py` 与 `metrics_spec.md`，确认无误后生成 `frozen.json` 并签字。
  - **纪律要求**：此后 test 集正式开跑，**任何参数（T、N、Prompt）一律不准修改**。

### 🟡 阶段 1：全量生成与前置写作（D6 - D9）
**核心目标**：完成 12,100 次全量生成，同时并行推进报告前置章节，确保主结果绝对可验证。
- **管线轨（成员 A）**：
  - 启动正式生成（优先跑 T=0.6 的全部 2 流），监控运行状态。
  - 跑完后合并分片，输出统一的原始数据格式 `raw.parquet` 及管线内部主统计 `main_stats_A.csv`。
  - 生成计算成本统计表 `cost.csv`。
  - **产出**：`raw.parquet`、`cost.csv`、`main_stats_A.csv`。
- **分析轨（成员 B）**：
  - 并行撰写报告 Method、Setup 与 Related Work 草稿。
  - 编写独立复算脚本 `recompute.py`。
  - **产出**：报告前置章节草稿、`recompute.py`。
- **🔒 阶段交汇（D9 独立复算与数据对齐）**：
  - 管线轨交付 `raw.parquet`；分析轨在 24 小时内运行独立脚本复算主结果指标（Greedy Acc, C 数, D 数）。
  - **纪律要求**：双方产出数值必须逐项比对完全一致（容差 `1e-6`）。**验证通过后**，才能解锁后续的统计分析阶段；不一致则必须停下排查解析或合并逻辑。

### 🔴 阶段 2：可靠性分析与产出整合（D10 - D14）
**核心目标**：将数据转化为统计结论与可视化图表，并行完成报告组装与最终排练。
- **分析轨（成员 B）**：
  - 运行完整 `analyze.py`，产出主比较区间、增量表、c₅ 分层与敏感性分析。
  - 绘制三张核心主图（准确率曲线、C/D 堆叠、c₅ 分组）。
  - 撰写 Results 与 Discussion 主体。
  - **产出**：`tables/`、`figs/`、报告初稿。
- **管线轨（成员 A）**：
  - 整理失败率与计算成本附表。
  - 审核报告中的实验设置与成本段落。
  - 编写演示文稿中的管线与工程细节页；协助排查错例。
  - **产出**：成本/失败率附表、演示实验页。
- **🤝 阶段交汇（D13 结论边界）**：
  - 两人基于各自的视角，共同撰写“能说/不能说”段落，防止过度推断。
- **最终定稿（D14）**：
  - 两人联合排练 15 分钟展示，**此后不再修改任何内容**，准备 11.18 答辩。

---

## 🛠️ 实验设计锁定 (Scope Lock)

为了确保 2 周内交付确定性结果，对实验规模进行了如下锁定（暂定）：

| 维度 | 设定值 | 说明 |
| :--- | :--- | :--- |
| **模型** | Qwen2.5-7B-Instruct | 仅跑 7B，3B 作为后续扩展 |
| **数据集** | GSM8K (Test 100 题) | dev 30 题用于 Pilot 验证 |
| **温度 (T)** | {0.3, 0.6, 0.9} | 覆盖低、中、高随机性 |
| **采样数 (N)** | {1, 5, 10, 20} | 观测边际递减，去掉 N=3 |
| **独立流** | 2 Streams | 满足配对 Bootstrap 需求 |
| **总生成量** | **12,100 次** | 100×3×2×20 + 100 (Greedy) |

---

## 📂 代码结构（按双轨并行划分）

```text
project/
├── config.py              # [全局] 唯一真源：参数配置、种子规则
├── common.py              # [全局] 提示构造 / 答案抽取 / 投票逻辑
│
├── 【管线轨代码】 ──────────
├── gen.py                 # [阶段1] 正式生成：网格调度 + 断点续跑
├── merge.py               # [阶段1] 合并分片 + 生成成本统计
├── degrade.py             # [应急] 超时/失败降级预案
│
└── 【分析轨代码】 ──────────
├── recompute.py           # [阶段1] 独立复算：交叉验证管线数据正确性
├── analyze.py             # [阶段2] C/D 分解 / c5 分层 / Bootstrap
└── plots.py               # [阶段2] 三张核心主图绘制

---

## 📌 交付标准与验收清单

本项目不仅追求统计结果，更注重过程的可复现性与工程严谨性。围绕三个阶段的推进，11 月 18 日的最终提交必须包含以下交付物，并逐项完成验收：

### 1. 阶段 0 产出：基线与冻结规范
- [ ] **参数冻结快照**：包含 `ids.json`（Data Split）与 `frozen.json`（Prompt、T、N、Seed 等全局参数）。
- [ ] **统计口径规范**：包含 `metrics_spec.md`（C/D 分解、c₅ 分层边界、Bootstrap 实现口径），且双方已签字确认。

### 2. 阶段 1 产出：原始数据与交叉验证
- [ ] **原始数据仓库**：完整的 `raw.parquet`（约 2400 行），无重复、无遗漏。
- [ ] **独立复算记录**：包含 `recompute.py` 脚本及 `handoff2.md` 签字，证明分析轨在独立环境下复算的 Greedy Acc、C 数、D 数与管线轨产出**完全一致（容差 1e-6）**。
- [ ] **成本与失败率**：`cost.csv` 记录了各配置的 Token 消耗与解析失败率。

### 3. 阶段 2 产出：统计分析结果
- [ ] **主比较区间**：提供点估计与 95% 配对 Bootstrap 置信区间（基于 2000 次重采样）。
- [ ] **增量分析**：展示相邻 N 的增量表（明确标注间距不均），并绘制三温度下的准确率曲线。
- [ ] **C/D 分解**：清晰报告 \(C_N\)（纠错数）与 \(D_N\)（损害数），并绘制堆叠柱状图。
- [ ] **一致性分层**：展示 \(c_5\) 三层分组（低/中/高）的组内样本量 \(n\)、N=5→20 的增益与区间（若 \(n<30\) 需标注“不稳定”）。
- [ ] **敏感性分析**：提供“无效票计入分母”条件下的 \(c_5\) 对比附表。

### 4. 最终报告与演示 (Final Report & Presentation)
- [ ] **报告格式**：严格使用 ICLR 2027 MT_E 模板，正文控制在 **≤9 页**（附录不限）。
- [ ] **差异声明**：包含“与 Proposal 的差异”说明（如：因时间约束，测试集降至 100 题，可检出效应约 ≥7pp）。
- [ ] **附录规范**：包含核心代码骨架、指标公式汇总、成员贡献声明、AI 工具使用声明。
- [ ] **演示材料**：15 分钟的高质量展示（含三张核心主图 + 一页“没发现什么”的负结果/边界声明）。

---

## 🛡️ 核心代码示例：跨轨独立复算 (Cross-Track Validation)

为了打破“一人跑数据、一人写报告”的串行反模式，本项目在**阶段 1 末尾（D9）**设置了强制验证点。**分析轨必须使用独立的 `recompute.py` 从底层原始数据重新计算主结果，与管线轨的产出逐项比对，一致后方可解锁阶段 2 的正式分析。**

```python
# recompute.py - 由分析轨独立编写与执行（不 import 管线轨的分析代码）
import pandas as pd
import config as C

def verify_main_results():
    # 1. 分析轨独立读取底层数据
    df = pd.read_parquet(C.RAW_PARQUET)
    
    # 2. 独立计算核心指标
    greedy_acc = df.drop_duplicates("qid").greedy_correct.mean()
    main_df = df[(df.T == C.MAIN_T) & (df.N == C.MAIN_N)]
    main_acc = main_df.correct.mean()
    C_count = int(((~main_df.greedy_correct) & main_df.correct).sum())
    D_count = int((main_df.greedy_correct & (~main_df.correct)).sum())
    
    # 3. 与管线轨的产出一一比对
    ref = pd.read_csv(C.MAIN_STATS_A).iloc[0]
    checks = {
        "greedy_acc": (greedy_acc, ref.greedy_acc),
        "main_acc":   (main_acc, ref.main_acc),
        "C":          (C_count, int(ref.C)),
        "D":          (D_count, int(ref.D))
    }
    
    # 4. 强制一致性校验（不通过则阻断流水线，进入阶段 2）
    for k, (v, r) in checks.items():
        assert abs(float(v) - float(r)) < 1e-6, f"{k} 数值不一致！管线轨={r}, 分析轨={v}"
    
    print("✅ [阶段 1 闸门通过] 独立复算成功，数据一致性校验通过，解锁阶段 2。")

if __name__ == "__main__":
    verify_main_results()
```

---

## 📅 项目时间线 (三阶段冲刺计划)

为了确保在 11.18 前交付高质量的版本，团队采用“三阶段”并行推进，并在关键节点设立硬闸门：

- **[阶段 0] 基建与冻结 (11.04 - 11.08)**：
  - 11.04 - 11.05：环境搭建、数据抽样冻结、文献矩阵梳理。
  - 11.06 - 11.07：Pilot 测试跑通，分析脚本骨架联调。
  - **11.08 (硬闸门 1)**：双方签字确认 `frozen.json` 与 `metrics_spec.md`，**此后 test 集正式开跑，参数一律不准改**。

- **[阶段 1] 生成与验证 (11.09 - 11.12)**：
  - 11.09 - 11.11：管线轨启动全量生成（优先跑 T=0.6），分析轨撰写 Method/Setup 草稿。
  - **11.12 (硬闸门 2)**：管线轨交付 `raw.parquet`；分析轨 24h 内跑通独立复算，**数值不一致不推进**。

- **[阶段 2] 分析与交付 (11.13 - 11.17)**：
  - 11.13 - 11.15：输出四件套（主比较、增量、C/D、c₅），完成三图绘制与报告主体。
  - **11.16 (硬闸门 3)**：共同撰写“能说/不能说”的 Discussion 边界。
  - **11.17 (最终定稿)**：15 分钟展示排练，设备检查。**此后不再修改任何内容**。

- **[D-Day] 项目展示 (11.18)** 🎯

---

## 📜 学术规范与声明 (Academic Integrity)

作为课程项目的重要组成部分，本项目严格遵守学术规范，并在最终报告中作如下声明：

### 成员贡献声明 (CRediT)
本项目采用三阶段双轨并行模式，两位成员对项目成功做出了同等贡献：
- **成员 A (管线轨)**：负责阶段 0 的环境搭建与参数冻结；负责阶段 1 的 12,100 次生成任务调度、断点续跑与原始数据落盘；负责阶段 2 的工程细节段落撰写；参与结论边界撰写。
- **成员 B (分析轨)**：负责阶段 0 的评估口径约定；负责阶段 1 的前置章节撰写；负责阶段 2 的 C/D 分解、c₅ 分层、Bootstrap 区间计算与图表绘制。**并在阶段 1 末尾建立独立复算脚本，对管线数据执行强制交叉验证**。
- **共同承担**：研究问题定义、主比较口径决策、各阶段交汇点签字、结论边界撰写、报告交叉互审与最终排练。

### AI 工具使用声明 (AI Usage)
本项目在以下环节使用了生成式 AI 工具辅助：
1. **环境与样板代码**：辅助生成数据加载、绘图模板代码，核心实验逻辑（随机种子设置、投票逻辑）由成员独立设计并逐行审查。
2. **文本润色**：辅助对报告草稿的段落衔接与英文表述提出修改建议，全部研究结论、实验分析与局限性讨论均由团队成员独立完成。
3. **数据完整性**：**未在任何环节使用 AI 工具伪造、生成或改写实验数据**。所有数值结果均可由仓库内代码与公开的原始记录文件复现。

---
<div align="center">
  <p><b>CISC 7402 - Mathematics for Artificial Intelligence</b></p>
  <p>© 2026 Team Self-Consistency. All Rights Reserved.</p>
</div>