Skip to content

Stanford 三源(CS229/CS230 cheatsheets + CME295)与 Learn LLM 覆盖差距审计(2026-10-05) ​

结论与边界 ​

本轮三个目标:(1) 吸收 Stanford CS229/CS230 VIP cheatsheets 中对 LLM 学习者真实前置的内容;(2) 对照 CME295(Transformers & LLMs,Fall 2026)九讲大纲做同行课程体检;(3) 参照 CME295 cheatsheet 的设计为 learn-llm 建立自己的 cheatsheet。learn-llm 在 RL/对齐(L4)、评估(L7)、推理优化(L5 推理侧)已深于 CME295 对应内容;本轮主攻三个真缺口与一个形态级交付:on-policy distillation(唯一强区相邻的零覆盖)、RNN/LSTM 前史(全仓最大谱系断点,CS230 RNN sheet 与上轮视频分析互证)、判官视角的混淆矩阵指标族,以及 cheatsheet 检索层页。

明确不做:CNN/经典监督学习(SVM/核/生成模型/树集成)、无监督(聚类/EM/PCA 正文)、生产级分布式系统化、多模态、diffusion LLM 整讲深度(CME295 自己的 cheatsheet 也裁掉了多模态讲——同行互证排除合理);diffusion 仅补 glossary 动机级词条组。coding agents 专项与分布式收拢页记录为候选,不本轮实施。

研究方法与时效边界 ​

  • 类型:课程/速查表覆盖审计 + 形态设计研究。
  • 深度:deep;L0 课程站与 GitHub 仓库 + L4 全部 PDF 文本层逐页提取(pypdf,双栏密排栏位丢失但知识条目完整;插图不可提取,由正文引用交叉确认存在性)。
  • 时间边界:2026-10-05。CS229/CS230 sheets 为 2018-2019 快照(优化器/正则化表述需按现代实践校准后吸收);CME295 cheatsheet 为 2026-09-13 版(Fall 2026 学期版),其 L3-L9 讲义尚未全部发布,对照以其 syllabus 主题 + cheatsheet 节为准。
  • 版权边界:afshinea 三仓库均 MIT License;吸收为知识重述(自有语言 + 自有公式排版),仓库链接 link-only 登记,不复制 PDF 文本或图。

可反向索引信源 ​

ID层级来源与精确定位取用范围许可
S1L0afshinea/stanford-cs-229-machine-learning,en/ 7 PDF监督/无监督/DL/tips + 代数/概率 refresher 知识框架MIT;link-only,知识重述
S2L0afshinea/stanford-cs-230-deep-learning,en/ 4 PDFRNN/LSTM/seq2seq/attention 萌芽 + DL tips 谱系MIT;同上
S3L0afshinea/stanford-cme-295-transformers-large-language-models,en/ cheatsheet PDFcheatsheet 设计形态(❒+Remark 双通道、判断型表格、结论式公式)与九讲对照MIT;设计借鉴,内容不复制
S4L0CME295 syllabus(2026 秋 9 讲)同行课程主题对照link-only
S5L4本地研究副本 ~/code/repos/stanford-*(三仓库克隆 + 站点页保存),分析报告 ~/code/repos/stanford-analysis/全部分析输入不入仓

决策矩阵 ​

来源主题learn-llm 现状决策本轮增量
CME295 cheatsheet 形态(❒ 术语卡 + Remark 双通道、判断支持型表格、结论式公式就地定义、贯穿示例、显式深度指针)glossary schema 已是其严格超集但无"检索层"聚合页本轮实现(形态交付)docs/reference/cheatsheet.md:九域两深层级、每条目链回章锚点、收割既有对照表、TinyGPT 贯穿示例;sidebar/推荐表登记
On-policy distillation(CME295 §4.4:自采样轨迹 + 教师 token 级稠密监督)零命中(grep 证实)本轮实现ch11 reasoning 区新小节(与蒸馏/GRPO 衔接)+ glossary 词条 + papers 条目
RNN/LSTM/BPTT/门控/seq2seq/Bahdanau 谱系(CS230 RNN sheet + 上轮 vid-ch21 笔记互证断点)全仓零命中;core-map 明示"跳过 RNN 前置"本轮实现(reference 页承接,不违边界)docs/reference/sequence-models-prehistory.md(含与 KV Cache/注意力的血缘对照);glossary 词条组;papers 条目
混淆矩阵/精确率/召回率/F1/ROC-AUC"判官视角"(CS229 supervised sheet)ch21 有 McNemar/LaaJ 偏置但无指标族基础层本轮实现ch21 Judge 节前小节(点估计层,与既有显著性层衔接)
无偏估计/估计量/偏差正式定义(CS229 refresher)概念被高频使用(GRPO/Dr.GRPO 全靠它)但从未正式定义(grep 证实)本轮实现glossary + ch03 两行 + ch11 使用处回链
方差恒等式/协方差/Jensen 不等式/常见分布小表(CS229 refresher)ch03 无;Rao-Blackwell/GAE 论证实际依赖本轮实现ch03 阶段四紧凑增量 + glossary
ch07 正则化谱系(dropout 系统讲解/early stopping)+ 优化器谱系(RMSprop 中间站)ch07 推导深度压倒 sheet 但这两处真空本轮实现ch07 两张谱系表("公式必带正常值"纪律)
BT ↔ 逻辑回归同构一句 + 指数族锚点(CS229)ch11 已推 BT/DPO 代数,缺点破句本轮实现(一句话级)ch11 DPO 推导处
Diffusion LLMs(CME295 L8 整讲)刻意排除(MIT 审计先例)排除正文,glossary 动机级词条组glossary 3 词条(Diffusion LLM/masked diffusion/ARM 对照)
Coding agents 专项、分布式训练收拢页、word2vec 历史专节边界已声明/散落记录候选,本轮不做审计记录
SVM/核/生成模型/树集成/聚类/EM/PCA 正文、CNN 全部、数据增强、GAN与 LLM 终局距离远排除—
附带修复:glossary PCA 条目代码定位漂移(指向无 PCA 的 ch03);ch07"特征值"口语歧义顺带检出的 doc-drift本轮修复glossary 条目定位字段修正 + 一词微修

Cheatsheet 设计合同(本轮核心交付的验收标准) ​

  1. docs/reference/cheatsheet.md 一页,域结构与 learn-llm 五大块 + 前沿对齐;层级恰好两深。
  2. 原子条目四形态:术语卡(中英 + 一句话定义)、Remark 补注(边界/变体)、结论式公式(符号就地定义)、判断支持型对照表(收割 ch10/ch11/ch12 现有表的紧凑版或链接)。
  3. 每条目必带"→ 章锚点"深读指针(#token-mdp、#grpo-bias 等既有锚点);定位是检索索引不是替代品。
  4. 一条贯穿示例(TinyGPT/中文句子)缝合各域;头部带日期版本与使用说明。
  5. 紧凑可打印(表格化排版,print 友好);PDF 导出(puppeteer 打印构建页 → docs/public/downloads/)作为候选扩展记录,不阻塞本轮。

能力合同 ​

  • Explain:无偏估计为什么是 GRPO 偏置分析的语言地基;混淆矩阵指标族与 LaaJ 偏置的关系。
  • Perform:在 cheatsheet 页按域检索任一核心术语并一键跳到深度小节。
  • Debug:沿用 ch07 既有故障注入(本轮谱系表不新增实验)。
  • Transfer:RNN 前史页把"为什么 Transformer 赢"讲成可复述的因果链(BPTT 病根 → 门控修补的极限 → 注意力的解)。

反面证据与不确定性 ​

  • CS230 sheet 为 2018 快照:其优化器/超参表述按现代实践校准后才吸收(如 Adam ε 的位置、dropout 现代定位为"轻量正则"而非 2018 年的"关键创新"语境)。
  • CME295 L3-L9 讲义未发布,九讲对照只到主题粒度;"OPD 是真空白"的判断基于本仓 grep 零命中 + CME295 cheatsheet §4.4 条目存在,未对照其完整讲义深度。
  • CME295 cheatsheet 是商业书的营销漏斗(导言自述),其"零引用/零代码"取舍服务于该商业模式;learn-llm 版保留最小引用与章锚点链接,不照抄该取舍。
  • 速查表形态对"考试驱动"课程价值高;learn-llm 是工程实践课程,cheatsheet 的价值假设是"面试/速查/复习场景的检索层"——上线后以实际访问与使用反馈验证,不接受"别的课有所以我们要有"作为充分理由。
  • 已知预存缺陷(本轮检出,已于 2026-10-06 修复):第3章在 390×844 下 documentElement.scrollWidth 恒为 385(clientWidth 375)。逐元素排查确认所有越界内容均被可滚动祖先正确裁剪、无可见溢出,且现象在 HEAD 同样存在——根因为 MathJax 的无障碍 MathML 镜像(mjx-assistive-mml):视觉被 clip 但其 absolute 盒仍按 shrink-to-fit 计宽参与文档溢出计量。修复:主题样式将其收紧为 1px 盒(屏幕阅读器仍读取 DOM 内容),见 docs/.vitepress/theme/custom.css;修复后第3章及全站 18 条路由在 390×844 下全部 scrollWidth=clientWidth。本轮顺带对该章三个宽公式做了移动端可读性微调(偏导定义拆分、矩阵连等拆分、KL 内联分式改斜杠式,内容零变化)。

检索日志 ​

渠道动作日期结果
git cloneafshinea 三仓库(shallow)2026-10-053 仓库本地
WebCME295 syllabus/cheatsheet 页抓取保存2026-10-05大纲 9 讲 + 发布页壳
本地15 份 PDF pypdf 全文提取(报告:~/code/repos/stanford-analysis/)2026-10-053 份分析报告
本地learn-llm main@f690624 只读 grep 对照2026-10-05决策矩阵输入

私有学习站 · 原理从零构建 · 勿提交个人隐私或密钥