Skip to content

注意力机制 — 验证缩放点积注意力在因果遮罩下的等价与多头拆分正确性

pytest 把缩放点积注意力的三个核心性质钉死:每行 softmax 权重之和为 1;改动未来位置 token 不影响当前位置输出;多头拆分再拼回 shape 一致、语义不变。

在第7章正文里查看完整命令、预期输出与故障注入

私有学习站 · 原理从零构建 · 勿提交个人隐私或密钥