RLforge
27 lessons · 5 levels · 3 tracks

选一条路线。

27 节课不必都学。终点是同一个：你自己手写一份 GRPO，在单卡 32GB 上把 Qwen3-0.6B 的数学题正确率训上去，再换成 TRL 框架跑一遍做对照。 想看全貌就切到「完整主线」，那条是不做裁剪的全部 27 节。

先跑起来
周末两天 · 手上有卡 · 想先看到 reward 曲线动
先搞懂原理
暂时没有卡 · 想吃透数学 · 面试或科研准备
完整主线
L0 到 L4 一节不落 · 约需两周业余时间

先把公式推明白，代码只是公式的转写

13 节 · 约 8 小时 · 已完成 0/13

按概念的依赖顺序走：策略梯度 → 基线 → PPO → GRPO，每一步都落到具体公式。动手部分保留手写实现，因为那是验证你真的懂了的唯一方式；环境和框架的工程细节压后。

  • 独立推导策略梯度，说清基线为什么降方差不引偏差
  • 看到 GRPO 的损失函数，能逐项说出每一项在防什么
  • 读得懂 slime、Miles 这类框架文档里的算法参数
0%
沿这条路线开始 · 第 1 节 这条路需要什么：一张 5090 和一份预期管理
Stage 1

先看清全局

3 节 · 75 分钟

知道 RL 在整条后训练链路的哪一段

  1. 1L0这条路需要什么：一张 5090 和一份预期管理20m
  2. 2L1RL 的最小心智模型：试、评、改25m
  3. 3L1LLM 后训练全景：SFT、RM、RLHF、RLVR 各在什么位置30m
Stage 2

把数学推一遍

3 节 · 110 分钟

这条线的主课，三节课从策略梯度推到 GRPO

  1. 4L1策略梯度：为什么能对「采样出来的东西」求梯度40m
  2. 5L1reward 从哪来：可验证奖励、模型打分、人标30m
  3. 6L1从 PPO 到 GRPO：丢掉 critic 换来了什么40m
Stage 3

用代码验证你的理解

4 节 · 195 分钟

公式对不对，跑一遍就知道

  1. 7L0显存账本：32GB 到底放得下什么45m
  2. 8L2GRPO 的核心 20 行：优势、ratio、clip、KL50m
  3. 9L2拼成训练循环：第一次真正的 RL 训练60m
  4. 10L2闯关：读第一次训练曲线40m
Stage 4

看看工业界怎么做

3 节 · 115 分钟

同样的算法，放大一千倍之后要解决什么

  1. 11L3手写脚本会死在哪：框架解决的五个问题30m
  2. 12L3读 slime 与 Miles：工业级 RL 框架长什么样50m
  3. 13L4调参优先级：先动哪三个旋钮35m

这条线是挑着学的，没排进来的课不会消失 —— 切到「完整主线」就是按 L0–L4 通读的全部 27 节。三条路线共用同一份进度。