Transformer 与模型架构 · lab-04
实验 04 · 前馈网络与激活函数
理解 Transformer 中逐位置前馈网络的作用，并比较 ReLU、GELU、SiLU 和 SwiGLU 门控。
FFN 为什么能补充注意力，而现代 LLM 又偏好 SwiGLU？
KEY POINTS
这条内容的重点
入门
- 能解释本实验对应的 Transformer 零件或数据流。
- 能用公式、张量形状或可视化结果说明关键机制。
- 能完成 Notebook 中的观察、对照和思考题。
WORKFLOW
内容流程
建立直觉
先阅读实验导学和核心公式，标记输入、输出及关键张量。
本步产物 一页机制或结构记录
手工实现
按 Notebook 逐段运行或阅读 NumPy/PyTorch 对照，观察中间值和形状。
本步产物 关键中间结果与可视化
组装解释
把本实验放回 Transformer 或 MiniMind 的整体流程，完成思考题。
本步产物 实验小结与问题答案
METHODS
相关方法
- FFN、ReLU、GELU、SwiGLU 概念与公式梳理
- Notebook 中的手工实现或对照实验
- 结果、参数与适用条件复盘
DELIVERABLES
可获得的内容
- 实验结果或可视化记录
- 关键机制的公式、结构或流程说明
- 思考题与限制条件小结
LIMITATIONS
适用范围与注意事项
- Notebook、PPT、代码、图片与参考资料的来源和再分发许可尚未逐项核验；原件保留在 incoming/，本网站不提供附件下载。
- 教学实验通常使用缩小模型、合成数据或简化环境，不能直接等同于生产模型的质量和性能。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。