Appearance
Stanford 三源(CS229/CS230 cheatsheets + CME295)与 Learn LLM 覆盖差距审计(2026-10-05)
结论与边界
本轮三个目标:(1) 吸收 Stanford CS229/CS230 VIP cheatsheets 中对 LLM 学习者真实前置的内容;(2) 对照 CME295(Transformers & LLMs,Fall 2026)九讲大纲做同行课程体检;(3) 参照 CME295 cheatsheet 的设计为 learn-llm 建立自己的 cheatsheet。learn-llm 在 RL/对齐(L4)、评估(L7)、推理优化(L5 推理侧)已深于 CME295 对应内容;本轮主攻三个真缺口与一个形态级交付:on-policy distillation(唯一强区相邻的零覆盖)、RNN/LSTM 前史(全仓最大谱系断点,CS230 RNN sheet 与上轮视频分析互证)、判官视角的混淆矩阵指标族,以及 cheatsheet 检索层页。
明确不做:CNN/经典监督学习(SVM/核/生成模型/树集成)、无监督(聚类/EM/PCA 正文)、生产级分布式系统化、多模态、diffusion LLM 整讲深度(CME295 自己的 cheatsheet 也裁掉了多模态讲——同行互证排除合理);diffusion 仅补 glossary 动机级词条组。coding agents 专项与分布式收拢页记录为候选,不本轮实施。
研究方法与时效边界
- 类型:课程/速查表覆盖审计 + 形态设计研究。
- 深度:deep;L0 课程站与 GitHub 仓库 + L4 全部 PDF 文本层逐页提取(pypdf,双栏密排栏位丢失但知识条目完整;插图不可提取,由正文引用交叉确认存在性)。
- 时间边界:2026-10-05。CS229/CS230 sheets 为 2018-2019 快照(优化器/正则化表述需按现代实践校准后吸收);CME295 cheatsheet 为 2026-09-13 版(Fall 2026 学期版),其 L3-L9 讲义尚未全部发布,对照以其 syllabus 主题 + cheatsheet 节为准。
- 版权边界:afshinea 三仓库均 MIT License;吸收为知识重述(自有语言 + 自有公式排版),仓库链接 link-only 登记,不复制 PDF 文本或图。
可反向索引信源
| ID | 层级 | 来源与精确定位 | 取用范围 | 许可 |
|---|---|---|---|---|
| S1 | L0 | afshinea/stanford-cs-229-machine-learning,en/ 7 PDF | 监督/无监督/DL/tips + 代数/概率 refresher 知识框架 | MIT;link-only,知识重述 |
| S2 | L0 | afshinea/stanford-cs-230-deep-learning,en/ 4 PDF | RNN/LSTM/seq2seq/attention 萌芽 + DL tips 谱系 | MIT;同上 |
| S3 | L0 | afshinea/stanford-cme-295-transformers-large-language-models,en/ cheatsheet PDF | cheatsheet 设计形态(❒+Remark 双通道、判断型表格、结论式公式)与九讲对照 | MIT;设计借鉴,内容不复制 |
| S4 | L0 | CME295 syllabus(2026 秋 9 讲) | 同行课程主题对照 | link-only |
| S5 | L4 | 本地研究副本 ~/code/repos/stanford-*(三仓库克隆 + 站点页保存),分析报告 ~/code/repos/stanford-analysis/ | 全部分析输入 | 不入仓 |
决策矩阵
| 来源主题 | learn-llm 现状 | 决策 | 本轮增量 |
|---|---|---|---|
| CME295 cheatsheet 形态(❒ 术语卡 + Remark 双通道、判断支持型表格、结论式公式就地定义、贯穿示例、显式深度指针) | glossary schema 已是其严格超集但无"检索层"聚合页 | 本轮实现(形态交付) | docs/reference/cheatsheet.md:九域两深层级、每条目链回章锚点、收割既有对照表、TinyGPT 贯穿示例;sidebar/推荐表登记 |
| On-policy distillation(CME295 §4.4:自采样轨迹 + 教师 token 级稠密监督) | 零命中(grep 证实) | 本轮实现 | ch11 reasoning 区新小节(与蒸馏/GRPO 衔接)+ glossary 词条 + papers 条目 |
| RNN/LSTM/BPTT/门控/seq2seq/Bahdanau 谱系(CS230 RNN sheet + 上轮 vid-ch21 笔记互证断点) | 全仓零命中;core-map 明示"跳过 RNN 前置" | 本轮实现(reference 页承接,不违边界) | docs/reference/sequence-models-prehistory.md(含与 KV Cache/注意力的血缘对照);glossary 词条组;papers 条目 |
| 混淆矩阵/精确率/召回率/F1/ROC-AUC"判官视角"(CS229 supervised sheet) | ch21 有 McNemar/LaaJ 偏置但无指标族基础层 | 本轮实现 | ch21 Judge 节前小节(点估计层,与既有显著性层衔接) |
| 无偏估计/估计量/偏差正式定义(CS229 refresher) | 概念被高频使用(GRPO/Dr.GRPO 全靠它)但从未正式定义(grep 证实) | 本轮实现 | glossary + ch03 两行 + ch11 使用处回链 |
| 方差恒等式/协方差/Jensen 不等式/常见分布小表(CS229 refresher) | ch03 无;Rao-Blackwell/GAE 论证实际依赖 | 本轮实现 | ch03 阶段四紧凑增量 + glossary |
| ch07 正则化谱系(dropout 系统讲解/early stopping)+ 优化器谱系(RMSprop 中间站) | ch07 推导深度压倒 sheet 但这两处真空 | 本轮实现 | ch07 两张谱系表("公式必带正常值"纪律) |
| BT ↔ 逻辑回归同构一句 + 指数族锚点(CS229) | ch11 已推 BT/DPO 代数,缺点破句 | 本轮实现(一句话级) | ch11 DPO 推导处 |
| Diffusion LLMs(CME295 L8 整讲) | 刻意排除(MIT 审计先例) | 排除正文,glossary 动机级词条组 | glossary 3 词条(Diffusion LLM/masked diffusion/ARM 对照) |
| Coding agents 专项、分布式训练收拢页、word2vec 历史专节 | 边界已声明/散落 | 记录候选,本轮不做 | 审计记录 |
| SVM/核/生成模型/树集成/聚类/EM/PCA 正文、CNN 全部、数据增强、GAN | 与 LLM 终局距离远 | 排除 | — |
| 附带修复:glossary PCA 条目代码定位漂移(指向无 PCA 的 ch03);ch07"特征值"口语歧义 | 顺带检出的 doc-drift | 本轮修复 | glossary 条目定位字段修正 + 一词微修 |
Cheatsheet 设计合同(本轮核心交付的验收标准)
docs/reference/cheatsheet.md一页,域结构与 learn-llm 五大块 + 前沿对齐;层级恰好两深。- 原子条目四形态:术语卡(中英 + 一句话定义)、Remark 补注(边界/变体)、结论式公式(符号就地定义)、判断支持型对照表(收割 ch10/ch11/ch12 现有表的紧凑版或链接)。
- 每条目必带"→ 章锚点"深读指针(
#token-mdp、#grpo-bias等既有锚点);定位是检索索引不是替代品。 - 一条贯穿示例(TinyGPT/中文句子)缝合各域;头部带日期版本与使用说明。
- 紧凑可打印(表格化排版,print 友好);PDF 导出(puppeteer 打印构建页 →
docs/public/downloads/)作为候选扩展记录,不阻塞本轮。
能力合同
- Explain:无偏估计为什么是 GRPO 偏置分析的语言地基;混淆矩阵指标族与 LaaJ 偏置的关系。
- Perform:在 cheatsheet 页按域检索任一核心术语并一键跳到深度小节。
- Debug:沿用 ch07 既有故障注入(本轮谱系表不新增实验)。
- Transfer:RNN 前史页把"为什么 Transformer 赢"讲成可复述的因果链(BPTT 病根 → 门控修补的极限 → 注意力的解)。
反面证据与不确定性
- CS230 sheet 为 2018 快照:其优化器/超参表述按现代实践校准后才吸收(如 Adam ε 的位置、dropout 现代定位为"轻量正则"而非 2018 年的"关键创新"语境)。
- CME295 L3-L9 讲义未发布,九讲对照只到主题粒度;"OPD 是真空白"的判断基于本仓 grep 零命中 + CME295 cheatsheet §4.4 条目存在,未对照其完整讲义深度。
- CME295 cheatsheet 是商业书的营销漏斗(导言自述),其"零引用/零代码"取舍服务于该商业模式;learn-llm 版保留最小引用与章锚点链接,不照抄该取舍。
- 速查表形态对"考试驱动"课程价值高;learn-llm 是工程实践课程,cheatsheet 的价值假设是"面试/速查/复习场景的检索层"——上线后以实际访问与使用反馈验证,不接受"别的课有所以我们要有"作为充分理由。
- 已知预存缺陷(本轮检出,已于 2026-10-06 修复):第3章在 390×844 下
documentElement.scrollWidth恒为 385(clientWidth 375)。逐元素排查确认所有越界内容均被可滚动祖先正确裁剪、无可见溢出,且现象在 HEAD 同样存在——根因为 MathJax 的无障碍 MathML 镜像(mjx-assistive-mml):视觉被 clip 但其 absolute 盒仍按 shrink-to-fit 计宽参与文档溢出计量。修复:主题样式将其收紧为 1px 盒(屏幕阅读器仍读取 DOM 内容),见docs/.vitepress/theme/custom.css;修复后第3章及全站 18 条路由在 390×844 下全部 scrollWidth=clientWidth。本轮顺带对该章三个宽公式做了移动端可读性微调(偏导定义拆分、矩阵连等拆分、KL 内联分式改斜杠式,内容零变化)。
检索日志
| 渠道 | 动作 | 日期 | 结果 |
|---|---|---|---|
| git clone | afshinea 三仓库(shallow) | 2026-10-05 | 3 仓库本地 |
| Web | CME295 syllabus/cheatsheet 页抓取保存 | 2026-10-05 | 大纲 9 讲 + 发布页壳 |
| 本地 | 15 份 PDF pypdf 全文提取(报告:~/code/repos/stanford-analysis/) | 2026-10-05 | 3 份分析报告 |
| 本地 | learn-llm main@f690624 只读 grep 对照 | 2026-10-05 | 决策矩阵输入 |