CONTENT LIBRARY
全部内容
按主题整理的内容条目。打开单条内容，可查看详细说明、流程、关联资料和来源。
实验 00 · 神经网络基础
从单个神经元到两层 MLP，建立 Transformer 学习所需的梯度和优化直觉。
打开内容 ↗lab-01 · 入门实验 01 · 自注意力机制
手工实现缩放点积注意力，观察 Q/K/V、缩放因子和因果掩码如何共同决定 token 间的信息流。
打开内容 ↗lab-02 · 入门实验 02 · 多头注意力
把单头注意力扩展为多头并行计算，比较 NumPy 手写结果和 PyTorch 模块输出。
打开内容 ↗lab-03 · 入门实验 03 · 位置编码与 RoPE
比较绝对与相对位置表示，推导旋转位置编码对 Q/K 的作用以及长序列外推问题。
打开内容 ↗lab-04 · 入门实验 04 · 前馈网络与激活函数
理解 Transformer 中逐位置前馈网络的作用，并比较 ReLU、GELU、SiLU 和 SwiGLU 门控。
打开内容 ↗lab-05 · 入门实验 05 · 层归一化 LayerNorm 与 RMSNorm
手工实现 LayerNorm 和 RMSNorm，观察归一化公式、梯度和 Pre-LN 稳定性。
打开内容 ↗lab-06 · 入门实验 06 · 编码器与解码器
把注意力、FFN、归一化和残差组装成 Encoder/Decoder，并比较 Encoder-only、Decoder-only 与 Encoder-Decoder。
打开内容 ↗lab-07 · 入门实验 07 · 输出层与损失函数
从隐藏状态到词表 logits，理解权重共享、交叉熵和标签平滑如何连接训练与生成。
打开内容 ↗lab-08 · 入门实验 08 · 注意力变种 MQA 与 GQA
比较 MHA、MQA、GQA 的 KV 组织和显存收益，并认识局部注意力与 IO 感知实现。
打开内容 ↗lab-09 · 入门实验 09 · MiniMind 整体架构
把前面各个零件装成一个缩小版 Decoder-only LLM，沿张量流转阅读 MiniMind 的完整结构。
打开内容 ↗lab-10 · 基础实验 10 · BPE 分词器
从字符和词级切分出发，手工实现 BPE，理解词表设计如何影响序列长度和模型输入。
打开内容 ↗lab-11 · 基础实验 11 · 预训练循环
将 next-token 目标、数据批次、损失、AdamW 和梯度裁剪组装成可观察的预训练循环。
打开内容 ↗lab-12 · 进阶实验 12 · LoRA 与 SFT
比较全参数指令微调与 LoRA 的参数更新路径，理解如何用小成本让基座模型学会遵循指令。
打开内容 ↗lab-13 · 进阶实验 13 · DPO 与 RLHF
从偏好数据出发，对照 RLHF 的 RM→PPO 链路与 DPO 的直接偏好优化。
打开内容 ↗lab-14 · 进阶实验 14 · 量化入门 PTQ 与 QAT
手工完成低比特权重表示和误差分析，理解 PTQ 与 QAT 在部署前后的差异。
打开内容 ↗lab-15 · 进阶实验 15 · RAG 与 Agent
把检索增强生成与 ReAct 工具调用拆成可观察步骤，认识外部知识和工具如何补足模型能力。
打开内容 ↗lab-16 · 进阶实验 16 · MoE 混合专家
手工实现 Router 和 top-k 专家选择，比较稠密 FFN 与稀疏专家的参数量和计算量。
打开内容 ↗lab-17 · 高级实验 17 · 长上下文扩展
比较直接外推、位置插值和 NTK/YaRN 等频率重映射，理解上下文窗口扩展的稳定性问题。
打开内容 ↗lab-18 · 进阶实验 18 · 解码采样策略
手工对比贪心、Beam Search 与随机采样策略，观察 temperature、top-k、top-p 对生成多样性的影响。
打开内容 ↗lab-19 · 进阶实验 19 · KV 缓存
用显存账本和增量等价实验理解 KV Cache，并认识前缀复用和分页管理的优化方向。
打开内容 ↗lab-20 · 进阶实验 20 · PEFT 变种
把参数高效微调方法按修改位置分类，比较输入、隐状态和权重旁路的不同。
打开内容 ↗lab-21 · 进阶实验 21 · PPO 与 GRPO 手推
以多臂老虎机为简化环境，手推策略梯度、PPO 裁剪目标和 GRPO 去 critic 的核心差异。
打开内容 ↗lab-22 · 进阶实验 22 · 深度量化 GPTQ 与 AWQ
从入门量化推进到 GPTQ 二阶误差补偿和 AWQ 激活感知保护，比较 INT4 与 INT8 的误差和体量。
打开内容 ↗lab-23 · 进阶实验 23 · 知识蒸馏
通过教师与学生的概率分布对比，理解温度、软标签和蒸馏损失如何把能力迁移到小模型。
打开内容 ↗lab-24 · 高级实验 24 · 前沿模型与推理时扩展
梳理代表性模型家族，并以推理时计算、采样验证和过程奖励理解“让模型想得更久”的路线。
打开内容 ↗z-course-roadmap · 入门课程地图与学习路线
结合总纲和专题笔记，将 25 个实验组织为架构基础、预训练、训练对齐、推理部署与应用前沿等阶段。
打开内容 ↗z-interview-prep · 入门高频面试题与复习清单
按架构、分词与数据、训练对齐、推理优化、应用生态、前沿模型和项目题整理复习方向，并以公式与口述解释为自检方式。
打开内容 ↗z-paper-reading · 入门经典论文阅读路线
按架构与注意力、训练对齐、推理效率、RAG/Agent 和前沿模型，将论文阅读入口与对应实验连接起来。
打开内容 ↗