Transformer 与模型架构 · lab-01
实验 01 · 自注意力机制
手工实现缩放点积注意力，观察 Q/K/V、缩放因子和因果掩码如何共同决定 token 间的信息流。
为什么注意力分数要除以 √dₖ，因果掩码又解决了什么问题？
KEY POINTS
这条内容的重点
入门
- 能解释本实验对应的 Transformer 零件或数据流。
- 能用公式、张量形状或可视化结果说明关键机制。
- 能完成 Notebook 中的观察、对照和思考题。
WORKFLOW
内容流程
建立直觉
先阅读实验导学和核心公式，标记输入、输出及关键张量。
本步产物 一页机制或结构记录
手工实现
按 Notebook 逐段运行或阅读 NumPy/PyTorch 对照，观察中间值和形状。
本步产物 关键中间结果与可视化
组装解释
把本实验放回 Transformer 或 MiniMind 的整体流程，完成思考题。
本步产物 实验小结与问题答案
METHODS
相关方法
- Q/K/V、缩放点积、因果掩码、softmax 稳定 概念与公式梳理
- Notebook 中的手工实现或对照实验
- 结果、参数与适用条件复盘
DELIVERABLES
可获得的内容
- 实验结果或可视化记录
- 关键机制的公式、结构或流程说明
- 思考题与限制条件小结
LIMITATIONS
适用范围与注意事项
- Notebook、PPT、代码、图片与参考资料的来源和再分发许可尚未逐项核验；原件保留在 incoming/，本网站不提供附件下载。
- 教学实验通常使用缩小模型、合成数据或简化环境，不能直接等同于生产模型的质量和性能。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。