TOPIC / inference-efficiency
推理优化与高效部署
围绕量化、采样、KV Cache、PEFT、GPTQ、AWQ 和蒸馏，认识模型部署的速度与显存权衡。
RELATED CONTENT
本主题下的内容
6 条内容
lab-14 · 进阶
实验 14 · 量化入门 PTQ 与 QAT
手工完成低比特权重表示和误差分析，理解 PTQ 与 QAT 在部署前后的差异。
打开内容 ↗lab-18 · 进阶实验 18 · 解码采样策略
手工对比贪心、Beam Search 与随机采样策略，观察 temperature、top-k、top-p 对生成多样性的影响。
打开内容 ↗lab-19 · 进阶实验 19 · KV 缓存
用显存账本和增量等价实验理解 KV Cache，并认识前缀复用和分页管理的优化方向。
打开内容 ↗lab-20 · 进阶实验 20 · PEFT 变种
把参数高效微调方法按修改位置分类，比较输入、隐状态和权重旁路的不同。
打开内容 ↗lab-22 · 进阶实验 22 · 深度量化 GPTQ 与 AWQ
从入门量化推进到 GPTQ 二阶误差补偿和 AWQ 激活感知保护，比较 INT4 与 INT8 的误差和体量。
打开内容 ↗lab-23 · 进阶实验 23 · 知识蒸馏
通过教师与学生的概率分布对比，理解温度、软标签和蒸馏损失如何把能力迁移到小模型。
打开内容 ↗