RAG、Agent 与 MoE 应用 · lab-16
实验 16 · MoE 混合专家
手工实现 Router 和 top-k 专家选择，比较稠密 FFN 与稀疏专家的参数量和计算量。
MoE 如何做到参数规模变大而每个 token 只激活少数专家？
KEY POINTS
这条内容的重点
进阶
- 能画出模型、知识、工具或专家之间的数据流。
- 能说明应用流程中检索、路由或工具调用的作用。
- 能检查外部依赖、提示格式和结果可追溯性。
WORKFLOW
内容流程
拆解流程
识别模型、知识库、工具、路由器或专家之间的输入输出。
本步产物 应用流程图
观察交互
按 Notebook 查看检索、行动、路由或生成的中间过程。
本步产物 中间轨迹与结果
检查可靠性
核对提示、工具结果、引用或负载均衡等可追溯信号。
本步产物 应用质量检查单
METHODS
相关方法
- Router、top-k、稀疏激活、负载均衡 概念与公式梳理
- Notebook 中的手工实现或对照实验
- 结果、参数与适用条件复盘
DELIVERABLES
可获得的内容
- 实验结果或可视化记录
- 关键机制的公式、结构或流程说明
- 思考题与限制条件小结
LIMITATIONS
适用范围与注意事项
- Notebook、PPT、代码、图片与参考资料的来源和再分发许可尚未逐项核验；原件保留在 incoming/，本网站不提供附件下载。
- 教学实验通常使用缩小模型、合成数据或简化环境，不能直接等同于生产模型的质量和性能。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。