Skip to content

DeepSeek 模型专题 — MLA / MoE / GRPO 记账规则 toy 复现

手算 MHA/GQA/MLA 的 KV 缓存字节数并与程序逐字节对拍,观察 MoE router 负载坍缩与 bias 纠偏,跑 GRPO 组归一化 advantage 的 toy 更新与 KL 对照。

在第20章正文里查看完整命令、预期输出与故障注入

私有学习站 · 原理从零构建 · 勿提交个人隐私或密钥