推理优化与高效部署 · lab-22
实验 22 · 深度量化 GPTQ 与 AWQ
从入门量化推进到 GPTQ 二阶误差补偿和 AWQ 激活感知保护，比较 INT4 与 INT8 的误差和体量。
为什么 GPTQ 和 AWQ 能在 4-bit 权重下保持较好的模型效果？
KEY POINTS
这条内容的重点
进阶
- 能解释一个推理优化技术解决的系统瓶颈。
- 能使用公式或对照实验分析速度、显存和质量权衡。
- 能记录部署配置与结果，避免把单次测量当作通用基准。
WORKFLOW
内容流程
建立基线
记录未优化或基准配置下的质量、显存、延迟或输出特征。
本步产物 基准指标记录
应用优化
按 Notebook 观察量化、缓存、采样、PEFT 或蒸馏的核心步骤。
本步产物 优化后对照结果
权衡复盘
解释收益来源和代价，并记录硬件、版本与测量条件。
本步产物 部署实验报告片段
METHODS
相关方法
- per-group INT4、Hessian、列重排、激活感知 概念与公式梳理
- Notebook 中的手工实现或对照实验
- 结果、参数与适用条件复盘
DELIVERABLES
可获得的内容
- 实验结果或可视化记录
- 关键机制的公式、结构或流程说明
- 思考题与限制条件小结
LIMITATIONS
适用范围与注意事项
- Notebook、PPT、代码、图片与参考资料的来源和再分发许可尚未逐项核验；原件保留在 incoming/，本网站不提供附件下载。
- 教学实验通常使用缩小模型、合成数据或简化环境，不能直接等同于生产模型的质量和性能。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。