FIELD ATLAS · LEARNING LIBRARY
大语言模型原理与实践实验库
从一个 token 开始，亲手搭出可训练、可对齐、可部署的语言模型。
基于 K8 大模型案例库整理的 25 个实验网站，覆盖 Transformer 架构、BPE 分词、预训练、SFT/LoRA、RLHF/DPO/GRPO、量化、KV Cache、RAG/Agent、MoE、长上下文和推理时扩展。原始 Notebook、PPT 与资料作为待核验附件保留在收件箱，网站页面先呈现可公开阅读的课程结构与实验导学。
EXPLORE BY TOPIC
选择一个主题开始
每个主题都有独立页面，内容、方法和关联资料各自成组。
Transformer 与模型架构
从神经网络基础和注意力机制出发，逐步组装一个可运行的 Decoder-only 小型语言模型。
进入主题 ↗02 条内容分词与预训练数据
把自然语言转换为 token，并理解 next-token 目标、数据流水线和训练循环。
进入主题 ↗03 条内容指令微调与偏好对齐
理解 SFT、LoRA、RLHF、DPO、PPO 与 GRPO 如何把基座模型变成可用助手。
进入主题 ↗06 条内容推理优化与高效部署
围绕量化、采样、KV Cache、PEFT、GPTQ、AWQ 和蒸馏，认识模型部署的速度与显存权衡。
进入主题 ↗02 条内容RAG、Agent 与 MoE 应用
把语言模型接入外部知识、工具和稀疏专家，理解应用工程与模型结构的连接。
进入主题 ↗02 条内容长上下文与前沿推理
从 RoPE 外推和长上下文到 LLaMA、Qwen、DeepSeek 与推理时扩展，追踪模型前沿。
进入主题 ↗03 条内容学习路线与复习资料
用课程总纲、论文清单和面试题把 25 个实验串成可执行的学习计划。
进入主题 ↗FEATURED CONTENT
从具体内容进入
实验 00 · 神经网络基础
从单个神经元到两层 MLP，建立 Transformer 学习所需的梯度和优化直觉。
查看内容 ↗lab-01 · 入门实验 01 · 自注意力机制
手工实现缩放点积注意力，观察 Q/K/V、缩放因子和因果掩码如何共同决定 token 间的信息流。
查看内容 ↗lab-02 · 入门实验 02 · 多头注意力
把单头注意力扩展为多头并行计算，比较 NumPy 手写结果和 PyTorch 模块输出。
查看内容 ↗lab-03 · 入门实验 03 · 位置编码与 RoPE
比较绝对与相对位置表示，推导旋转位置编码对 Q/K 的作用以及长序列外推问题。
查看内容 ↗lab-04 · 入门实验 04 · 前馈网络与激活函数
理解 Transformer 中逐位置前馈网络的作用，并比较 ReLU、GELU、SiLU 和 SwiGLU 门控。
查看内容 ↗lab-05 · 入门实验 05 · 层归一化 LayerNorm 与 RMSNorm
手工实现 LayerNorm 和 RMSNorm，观察归一化公式、梯度和 Pre-LN 稳定性。
查看内容 ↗A CLEAR WAY THROUGH THE MATERIAL
从一个主题开始，继续发现相关内容和资料。
内容按主题分开呈现；来源和公开状态由材料清单记录。