指令微调与偏好对齐 · lab-13
实验 13 · DPO 与 RLHF
从偏好数据出发，对照 RLHF 的 RM→PPO 链路与 DPO 的直接偏好优化。
DPO 如何绕开显式奖励模型，它与 PPO 的工程权衡是什么？
KEY POINTS
这条内容的重点
进阶
- 能区分监督微调、偏好优化和策略优化的训练信号。
- 能比较不同方法的数据、模型和算力需求。
- 能从实验结果说明对齐方法的适用边界。
WORKFLOW
内容流程
理解训练信号
比较指令、偏好或奖励数据的结构和目标。
本步产物 训练信号对照
观察优化路径
按 Notebook 观察模型、参考模型、适配器或策略更新的关系。
本步产物 方法流程图与结果
评估边界
从数据、稳定性、成本和安全角度说明方法的适用条件。
本步产物 方法比较与限制说明
METHODS
相关方法
- 奖励模型、PPO、DPO、偏好对、参考模型 概念与公式梳理
- Notebook 中的手工实现或对照实验
- 结果、参数与适用条件复盘
DELIVERABLES
可获得的内容
- 实验结果或可视化记录
- 关键机制的公式、结构或流程说明
- 思考题与限制条件小结
LIMITATIONS
适用范围与注意事项
- Notebook、PPT、代码、图片与参考资料的来源和再分发许可尚未逐项核验；原件保留在 incoming/，本网站不提供附件下载。
- 教学实验通常使用缩小模型、合成数据或简化环境，不能直接等同于生产模型的质量和性能。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。