TOPIC / model-architecture

Transformer 与模型架构

从神经网络基础和注意力机制出发，逐步组装一个可运行的 Decoder-only 小型语言模型。

本主题下的内容

10 条内容

从单个神经元到两层 MLP，建立 Transformer 学习所需的梯度和优化直觉。

手工实现缩放点积注意力，观察 Q/K/V、缩放因子和因果掩码如何共同决定 token 间的信息流。

把单头注意力扩展为多头并行计算，比较 NumPy 手写结果和 PyTorch 模块输出。

比较绝对与相对位置表示，推导旋转位置编码对 Q/K 的作用以及长序列外推问题。

理解 Transformer 中逐位置前馈网络的作用，并比较 ReLU、GELU、SiLU 和 SwiGLU 门控。

手工实现 LayerNorm 和 RMSNorm，观察归一化公式、梯度和 Pre-LN 稳定性。

把注意力、FFN、归一化和残差组装成 Encoder/Decoder，并比较 Encoder-only、Decoder-only 与 Encoder-Decoder。

从隐藏状态到词表 logits，理解权重共享、交叉熵和标签平滑如何连接训练与生成。

比较 MHA、MQA、GQA 的 KV 组织和显存收益，并认识局部注意力与 IO 感知实现。

把前面各个零件装成一个缩小版 Decoder-only LLM，沿张量流转阅读 MiniMind 的完整结构。