TOPIC / alignment-training
理解 SFT、LoRA、RLHF、DPO、PPO 与 GRPO 如何把基座模型变成可用助手。
RELATED CONTENT
3 条内容
比较全参数指令微调与 LoRA 的参数更新路径，理解如何用小成本让基座模型学会遵循指令。
从偏好数据出发，对照 RLHF 的 RM→PPO 链路与 DPO 的直接偏好优化。
以多臂老虎机为简化环境，手推策略梯度、PPO 裁剪目标和 GRPO 去 critic 的核心差异。