RLforge
27 lessons · 5 levels · 3 tracks

选一条路线。

27 节课不必都学。终点是同一个：你自己手写一份 GRPO，在单卡 32GB 上把 Qwen3-0.6B 的数学题正确率训上去，再换成 TRL 框架跑一遍做对照。 想看全貌就切到「完整主线」，那条是不做裁剪的全部 27 节。

先跑起来
周末两天 · 手上有卡 · 想先看到 reward 曲线动
先搞懂原理
暂时没有卡 · 想吃透数学 · 面试或科研准备
完整主线
L0 到 L4 一节不落 · 约需两周业余时间

先让 5090 上真的训出点东西，原理边跑边补

12 节 · 约 9 小时 · 已完成 0/12

把概念课压到最少，只留理解代码必需的那几节。路线是一条直线：装环境 → 算显存 → 手写 GRPO → 跑通 → 看曲线。中途会有你暂时不懂的地方，标注了「回头看哪一节」，不影响先跑完。

  • 在自己的 5090 上跑完一次完整 GRPO 训练，看到 reward 曲线上升
  • 手上有一份两百行、每行都看得懂的 RL 训练脚本
  • 训练炸了的时候，知道先看哪四条曲线
0%
沿这条路线开始 · 第 1 节 Blackwell 的工具链地雷：sm_120 到底装什么版本
Stage 1

先把环境和账算清楚

3 节 · 120 分钟

这三节不跳，跳了后面全是 OOM 和玄学报错

  1. 1L0Blackwell 的工具链地雷：sm_120 到底装什么版本40m
  2. 2L0显存账本：32GB 到底放得下什么45m
  3. 3L0第一次推理：把 vLLM 跑起来，量出你的 tok/s35m
Stage 2

够用的原理

2 节 · 65 分钟

只讲写代码时会用到的部分，数学推导放到后面再补

  1. 4L1RL 的最小心智模型：试、评、改25m
  2. 5L1从 PPO 到 GRPO：丢掉 critic 换来了什么40m
Stage 3

手写并跑通

4 节 · 190 分钟

这条线的主体，四节课拼出一个能跑的训练脚本

  1. 6L2写 rollout：让模型自己生成一批答案45m
  2. 7L2写 reward 函数：把「答对了」变成一个数35m
  3. 8L2GRPO 的核心 20 行：优势、ratio、clip、KL50m
  4. 9L2拼成训练循环：第一次真正的 RL 训练60m
Stage 4

跑完之后

3 节 · 135 分钟

看懂自己跑出来的东西，再上一次框架做对照

  1. 10L2闯关：读第一次训练曲线40m
  2. 11L4闯关：五种炸法45m
  3. 12L3TRL GRPOTrainer：5090 单卡实跑50m

这条线是挑着学的，没排进来的课不会消失 —— 切到「完整主线」就是按 L0–L4 通读的全部 27 节。三条路线共用同一份进度。