评测：别用训练集骗自己

从「量一次基线」到「一条流水线」

L0「先量起点」教你测出训练前的分数。这一节把它做成每次实验都跑同一套、结果彼此可比的流水线，并回答一个更难的问题：这个分数有多可信？

区别在于：

评测三要素

分数可比的前提是这三样逐字相同：

① 固定测试集     哪些题、多少题、什么顺序
② 固定采样参数   temperature / top_p / max_tokens / seed
③ 固定判分器     抽取规则 + 归一化规则，且有版本号

任何一样变了，两次分数就不能直接比。把它们写进配置文件，别散落在命令行里。

# scripts/eval/config.py
from dataclasses import dataclass, asdict
import hashlib, json

@dataclass(frozen=True)
class EvalConfig:
    # ① 测试集
    dataset: str = "openai/gsm8k"
    split: str = "test"
    n_questions: int | None = None      # None = 全量 1319

    # ② 采样
    temperature: float = 0.0            # greedy
    top_p: float = 1.0
    max_tokens: int = 512
    n_samples: int = 1
    seed: int = 0

    # ③ 判分器版本 —— 改了抽取规则就要升版本
    scorer_version: str = "v2"

    def fingerprint(self) -> str:
        """配置指纹。两次评测指纹不同 = 分数不可比。"""
        s = json.dumps(asdict(self), sort_keys=True)
        return hashlib.sha256(s.encode()).hexdigest()[:8]

run-01  eval[a3f81c2e]  57.9%
run-08  eval[a3f81c2e]  63.2%     ← 指纹相同，可比
run-09  eval[7d2b04f1]  71.4%     ← 指纹不同！不可比

greedy 报主分，采样报上限

两个口径都要有，各回答不同问题：

主分用 greedy，理由是零方差——同样的模型、同样的配置，跑十次得到同一个数。这让你能分辨出 1 个百分点的真实差异（前提是判分器误差也小）。

pass@k 用来看两件事：

1. 训练前：pass@k 远高于 pass@1 → RL 有空间（L0 讲过）
2. 训练后：pass@1 向 pass@k 靠近了多少 → RL 做的正是这件事

训练前   pass@1 = 20.9%   pass@8 = 48.3%   差距 27.4
训练后   pass@1 = 63.2%   pass@8 = 71.8%   差距  8.6

读法：RL 把「偶尔能做对」变成了「稳定做对」——
     pass@1 涨了 42 个点，而 pass@8 只涨 23 个点，
     差距从 27 缩到 9。这就是「概率质量往正确路径上挪」的量化证据。

判分器的误差要纳入结论

L0 教了怎么估（抽 50 条人工核对）。这一节要做的是把它变成流程的一部分。

def audit(records, n=50, seed=0):
    """抽样人工核对，返回假阳性 / 假阴性计数。"""
    import random
    rng = random.Random(seed)
    sample = rng.sample(records, min(n, len(records)))
    print(f"抽 {len(sample)} 条核对。对每条判断：判分器判对了吗？\n")
    for i, r in enumerate(sample, 1):
        print(f"--- {i}/{len(sample)} ---")
        print(f"标准答案: {r['gold']}    抽到: {r['pred']}    判定: {'对' if r['ok'] else '错'}")
        print(f"回答尾部: ...{r['text'][-180:]}\n")
    # 人工数出来的两个数，填回这里
    return {"false_positive": 0, "false_negative": 1}

泛化检查：换一个同类数据集

这是最容易省、但最能救你的一步。

只在 GSM8K 上评，你无法区分两种情况：

• 模型真的学会了小学应用题的推理
• 模型学会了 GSM8K 这批题的表面模式（题目风格、常见数字范围、答案格式）

换一个同类但独立的数据集测一次就能分开。 候选：

评测流水线演练。四步：主分、pass@k、审计、泛化。
goals 看目标，hint 要提示。

把评测接进训练循环

训练中定期评测能让你在浪费几小时之前发现方向不对。但它有成本，eval_interval 要权衡：

评测成本 = 题数 × 单题生成时间
1319 题 greedy ≈ 8 分钟

在 200 步、每步约 45 秒（总计约 2.5 小时）的训练里：

训练中每 25 步  →  200 题子集（约 1.5 分钟），只看趋势
训练结束       →  全量 1319 题，作为正式分数

结果表怎么写才不骗自己

对比 L2「三轮迭代」那份报告，这里补上三个必备栏位：

## 评测口径
配置指纹 a3f81c2e：GSM8K test 全量 1319 题，greedy(temp=0, seed=0),
max_tokens=512, 判分器 v2
判分误差 2.0%（50 条审计）· 种子波动 ≈3% · 分辨率下限 ≈4 个百分点

| run | 改动 | GSM8K | SVAMP | Δ(GSM8K) | 判定 |
| --- | --- | --- | --- | --- | --- |
| base | 训练前 | 20.85% | 24.33% | — | — |
| 01 | 对照组 | 57.9% | 53.1% | +37.1 | 确定有效 |
| 08 | +动态采样 | 63.2% | 58.7% | +5.3 | 确定更好 |
| 03 | G 8→16 | 58.7% | — | +0.8 | **无差异** |

四条写法上的纪律：

1. 口径写在表格上方，不要让读者猜
2. 误差与分辨率下限写出来，否则 +0.8 会被误读成「有提升」
3. 「判定」列独立于「Δ」列 —— 数字是事实，判定是结论，小于分辨率就写「无差异」
4. 泛化列（SVAMP）和主列并排 —— 只有主列涨、泛化列不涨时，主列的数字是虚的

这节课的落点

• 评测三要素必须逐字固定：测试集、采样参数、判分器版本
• 配置指纹把三者哈希成短串，指纹不同即不可比，能当场暴露口径漂移
• greedy 报主分（零方差、可复现），pass@k 看上限
• pass@1 追赶 pass@8 是 RL 核心机制的量化证据；pass@8 也涨说明探索出了新解法
• 判分误差要审计（50 条）并纳入结论；改判分器要升版本并重评所有历史 run
• 泛化检查换一个同类数据集；泛化不涨则主列数字是虚的
• 训练中用固定的 200 题子集看趋势，全量只在结尾跑
• 结果表四条纪律：口径在上、误差写明、判定列独立于 Δ 列、泛化列并排
• 最常见的自欺是从多次运行里只报最大值；要么全报，要么报多种子均值 ± 标准差