分词与预训练数据 · lab-10
实验 10 · BPE 分词器
从字符和词级切分出发，手工实现 BPE，理解词表设计如何影响序列长度和模型输入。
为什么大语言模型通常使用子词而不是纯字符或纯词？
KEY POINTS
这条内容的重点
基础
- 能说明文本到 token、批次和训练目标之间的关系。
- 能解释损失、优化器和数据处理对训练结果的影响。
- 能记录关键超参数并判断实验现象。
WORKFLOW
内容流程
检查输入
查看 token、词表、序列和训练批次的组织方式。
本步产物 数据结构记录
观察训练
对照 Notebook 运行小规模流程，记录 loss、学习率或梯度现象。
本步产物 训练过程结果
解释结果
说明数据处理和优化设置如何影响训练，完成思考题。
本步产物 参数与现象分析
METHODS
相关方法
- BPE、子词、词表、OOV、SentencePiece 概念与公式梳理
- Notebook 中的手工实现或对照实验
- 结果、参数与适用条件复盘
DELIVERABLES
可获得的内容
- 实验结果或可视化记录
- 关键机制的公式、结构或流程说明
- 思考题与限制条件小结
LIMITATIONS
适用范围与注意事项
- Notebook、PPT、代码、图片与参考资料的来源和再分发许可尚未逐项核验；原件保留在 incoming/，本网站不提供附件下载。
- 教学实验通常使用缩小模型、合成数据或简化环境，不能直接等同于生产模型的质量和性能。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。