闯关预计 40 分钟
闯关：读第一次训练曲线
给你六组真实形状的训练曲线，判断哪些是在学、哪些是在作弊、哪些已经废了。
学完这节你能做到
- 从 reward、KL、长度、熵四条线的组合形状判断训练状态
- 看到异常曲线时，说出下一步该改哪个参数
- 建立「先看曲线再改代码」的习惯
正文待编写以下是本节已定稿的小节大纲
- 1健康形状长什么样：reward 缓升、KL 小幅上行、长度稳定
- 2案例一：reward 冲顶但准确率没变 —— 格式分被刷了
- 3案例二：reward 上升伴随长度暴涨 —— 长度作弊
- 4案例三：KL 飞了，模型开始说胡话
- 5案例四：熵掉到接近 0，输出全部一样
- 6案例五：优势标准差归零，训练实际已停
- 7案例六：曲线锯齿 —— 学习率或 batch 太小