调参优先级：先动哪三个旋钮

十几个旋钮，只有三个值得动

GRPO 的配置项加起来有二十多个。新手的典型做法是逐个微调，跑完发现哪个都没用，卡时烧光了。

真实的影响力分布极不均匀：

影响力
  ▲
  │ ████████████████████  reward 设计
  │ ████████              学习率 / KL 系数
  │ ████                  G / batch / temperature
  │ ▌                     clip 阈值 / betas / warmup
  └──────────────────────────────────────────────→

这一节给出这个排序的依据，以及每一档的合理起始值。L2「三轮迭代」那次实验的结论正是这个排序的实证：调超参最好只拿到 +0.8（噪声内），改采样策略拿到 +5.3。

第一优先：reward 设计

它不算超参，但影响最大——而且是唯一一个「调错了别的都救不了」的东西。

理由在 L1「reward 从哪来」讲过：模型优化的是你写的 reward，不是你心里想的目标。如果 reward 有捷径，无论学习率、KL、batch 怎么调，模型都会去走那条捷径。

检查顺序（每次实验前都过一遍）：

□ reward 拆成分项记录了吗？（否则 hacking 发生时看不出来）
□ 每一项的「成功率 × 分值」排序对吗？便宜的分给得少吗？
□ 空答案 / 截断样本拿多少分？
□ 有没有「重复某模式就能重复拿分」的项？
□ 分数是纯 0/1 吗？（容易整组归零）

第二优先：学习率与 KL 系数

学习率

RL 后训练的学习率比 SFT 低一到两个数量级：

为什么这么低：RL 的每一步都在改变数据分布本身（改了模型就改了下一批采样）。走太快会让分布剧烈震荡，采出来的数据和优势估计都失去意义。

起始值 1e-6（slime、Miles、TRL 的推荐档都在这里）。

KL 系数 β

L2 那轮实验的结论值得记住：β=0.01 有害的机制是 KL 不区分「有益的漂移」和「有害的漂移」。 它把模型拴在初始分布附近，连「多写几步推理」这个有益变化都做不出来（len 只涨到 108，对照组 152）。

第三优先：G、batch、temperature

G（组大小）

L2 的实测结论：收益递减点在 8 附近。

下界是 4（再小基线估计不可用），上界看你的耐心。不确定就用 8。

batch

两个维度要分开看：

单卡上受显存限制，8 prompt × G=8 = 64 条序列是个舒服的组合。显存有余量时优先加 prompt 数。

temperature

它是探索与稳定之间最直接的旋钮：

诊断对应关系：

adv_std 一直很低（且 entropy 正常）  →  提 temperature，增加组内差异
entropy 在往 0 走                   →  提 temperature（配合熵奖励）
输出开始不通顺、格式散乱             →  降回 1.0

基本不用动的

三组起始配置

拿去直接用，不用自己试。

Qwen3-0.6B 全参（本路径主线）

G                    8
每步 prompt 数         8
micro batch          2      （OOM 就降到 1 + 梯度累积）
学习率                1e-6
betas                0.9 / 0.98
β (KL)               0      （但留参考模型做监控）
clip                 0.2 / 0.28
temperature          1.0
top_p                1.0
max_completion_len   512
归一化                序列平权
梯度检查点             开
参考模型               留
vLLM util            0.30 起，跑通后往上调到 0.5
sleep mode           开
────────────────────────────────
预期显存              约 21 GiB / 32 GiB
预期单步              约 45 秒

Qwen3-1.7B LoRA

LoRA rank            16      （target: attn + mlp）
G                    8
每步 prompt 数         8
micro batch          1  + 梯度累积 4
学习率                2e-5    ← LoRA 要比全参高一个数量级
betas                0.9 / 0.98
β (KL)               0       （参考模型 = 禁用适配器，免费）
temperature          1.0
max_completion_len   512
vLLM util            0.35
────────────────────────────────
预期显存              约 24 GiB / 32 GiB

with model.disable_adapter():
    logp_ref, _ = sequence_logprobs(model, input_ids, attn_mask, comp_mask)

Qwen3-8B QLoRA（32GB 的上限）

量化                  4bit (nf4)
LoRA rank            16
G                    4       ← 显存所迫，已到下界
每步 prompt 数         4
micro batch          1  + 梯度累积 8
学习率                2e-5
max_completion_len   512     ← 不能再长
vLLM util            0.30
sleep mode           开（必须）
────────────────────────────────
预期显存              约 29 GiB / 32 GiB   ⚠️ 很紧
预期单步              约 3 分钟

调参的实验序列

有限卡时下，按这个顺序花：

第 1 步  基准配置跑通，拿到对照组          （必须）
第 2 步  检查 reward：分项记录、找作弊路径   （最高性价比，不花卡时）
第 3 步  看 clip_frac 决定学习率要不要动    （看仪表盘，多半不用动）
第 4 步  上动态采样过滤退化组              （L2 实测 +5.3，最大单项收益）
第 5 步  数据难度：adv_std 低了就换难题     （比调参有效）
第 6 步  才轮到 G / temperature 微调       （通常在噪声内）

这节课的落点

• 影响力排序：reward 设计 ≫ 学习率/KL > G/batch/temperature ≫ clip/betas/warmup
• reward 是唯一「调错了别的都救不了」的东西，且改它常表现为「监控变可信」而非分数上涨
• 学习率起始 1e-6（比 SFT 低一到两个数量级），用 clip_frac 当仪表盘
• β 默认 0，但一定要留参考模型做 KL 监控；β=0.01 实测掉 11.8 个点
• G 的收益递减点在 8；加大 batch 优先加 prompt 数而非 G
• micro_batch 不是超参（配梯度累积数学等价），只管显存和速度
• temperature 1.0 起步，是探索与稳定的直接旋钮
• adam_beta2 用 0.98（唯一的反默认推荐），warmup 不需要
• 三组起始配置：0.6B 全参 / 1.7B LoRA（lr 2e-5 + 免费参考模型）/ 8B QLoRA（能跑不好跑）
• 实验序列：跑通 → 查 reward → 看 clip_frac → 上动态采样 → 换难题 → 才微调 G