分词与预训练数据 · lab-11
实验 11 · 预训练循环
将 next-token 目标、数据批次、损失、AdamW 和梯度裁剪组装成可观察的预训练循环。
预训练循环如何把文本序列变成一次次参数更新？
KEY POINTS
这条内容的重点
基础
- 能说明文本到 token、批次和训练目标之间的关系。
- 能解释损失、优化器和数据处理对训练结果的影响。
- 能记录关键超参数并判断实验现象。
WORKFLOW
内容流程
检查输入
查看 token、词表、序列和训练批次的组织方式。
本步产物 数据结构记录
观察训练
对照 Notebook 运行小规模流程，记录 loss、学习率或梯度现象。
本步产物 训练过程结果
解释结果
说明数据处理和优化设置如何影响训练，完成思考题。
本步产物 参数与现象分析
METHODS
相关方法
- next-token、teacher forcing、AdamW、学习率调度、梯度裁剪 概念与公式梳理
- Notebook 中的手工实现或对照实验
- 结果、参数与适用条件复盘
DELIVERABLES
可获得的内容
- 实验结果或可视化记录
- 关键机制的公式、结构或流程说明
- 思考题与限制条件小结
LIMITATIONS
适用范围与注意事项
- Notebook、PPT、代码、图片与参考资料的来源和再分发许可尚未逐项核验；原件保留在 incoming/，本网站不提供附件下载。
- 教学实验通常使用缩小模型、合成数据或简化环境，不能直接等同于生产模型的质量和性能。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。