TOPIC / tokenization-pretraining
把自然语言转换为 token，并理解 next-token 目标、数据流水线和训练循环。
RELATED CONTENT
2 条内容
从字符和词级切分出发，手工实现 BPE，理解词表设计如何影响序列长度和模型输入。
将 next-token 目标、数据批次、损失、AdamW 和梯度裁剪组装成可观察的预训练循环。