Transformer 与模型架构 · lab-03
实验 03 · 位置编码与 RoPE
比较绝对与相对位置表示，推导旋转位置编码对 Q/K 的作用以及长序列外推问题。
模型如何在不改变 token 内容的情况下知道它们各自位于什么位置？
KEY POINTS
这条内容的重点
入门
- 能解释本实验对应的 Transformer 零件或数据流。
- 能用公式、张量形状或可视化结果说明关键机制。
- 能完成 Notebook 中的观察、对照和思考题。
WORKFLOW
内容流程
建立直觉
先阅读实验导学和核心公式，标记输入、输出及关键张量。
本步产物 一页机制或结构记录
手工实现
按 Notebook 逐段运行或阅读 NumPy/PyTorch 对照，观察中间值和形状。
本步产物 关键中间结果与可视化
组装解释
把本实验放回 Transformer 或 MiniMind 的整体流程，完成思考题。
本步产物 实验小结与问题答案
METHODS
相关方法
- 正弦、可学习位置、RoPE、ALiBi、相对位置 概念与公式梳理
- Notebook 中的手工实现或对照实验
- 结果、参数与适用条件复盘
DELIVERABLES
可获得的内容
- 实验结果或可视化记录
- 关键机制的公式、结构或流程说明
- 思考题与限制条件小结
LIMITATIONS
适用范围与注意事项
- Notebook、PPT、代码、图片与参考资料的来源和再分发许可尚未逐项核验；原件保留在 incoming/，本网站不提供附件下载。
- 教学实验通常使用缩小模型、合成数据或简化环境，不能直接等同于生产模型的质量和性能。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。