Skip to content

字符语言模型 — Bigram 计数到 MLP 的跨熵下降

证明字符级语言模型的两条最短路径都是通的:查表式的 bigram 计数矩阵能采样出像样的“人名”,参数化的 MLP 语言模型会在受控训练数据上让交叉熵 loss 真的下降。

在第4章正文里查看完整命令、预期输出与故障注入

私有学习站 · 原理从零构建 · 勿提交个人隐私或密钥