写出模型内部机制
从标量自动微分、byte BPE、causal attention、Transformer Block 到 TinyGPT 训练、RoPE、KV Cache、SwiGLU 和 PagedKV;L3 必须手写、对拍、调试和口述。
LEARNING PATH · 21 章 · 5 阶段
按阶段顺序读;卡片上是本章拿得出手的产物,点开可看验证方式。
第1章 · 基础
本地基线可跑;Google 权益必须由本人在 UI 核验
本章验证命令:pnpm verify云端训练按钮不会在页面内发起请求;要进入 Google Cloud,必须先在第1章核验权益,再由人类分别批准 smoke、full run 和 service deploy。
EVIDENCE VIEW · NO SECRETS
每行都把自动化、手写/口述和云门禁拆开;缺一项就保持“未完成”,不把本地结果冒充云端结果。
显示 6 条证据。
| 模块 | 自动化证据 | 人类证据 | 云/权限 | 索引 |
|---|---|---|---|---|
| 03-07模型原理基础 | 测试 + shape 对拍 | 独立手写 / 故障题 | 不需要 | python/tests/test_* |
| 08TinyGPT 训练 | loss 下降 + checkpoint | 恢复原因口述 | 可在云端重放 | llm_train + evidence |
| 09-10推理与后训练 | 一致性 / adapter / DPO | 比较取舍 | 不需要 | llm_core/post_training.py |
| 11-13RAG 与 Agent | fixture + ACL + recovery | 攻击路径解释 | 不需要 | python/agent_core |
| 18评估与云门禁 | eval-spec + dry-run | 批准预算与动作 | 需实时核验 | evidence/schema.yaml |
| 19Capstone | preview / test / trace | clean-room + 答辩 | 按授权结果 | goal.md §15 |
完成课程产品要求的自动化、实验和真实浏览器验收后,课程应能证明:
cloud_training_eligibility 未核验或授权为 false 时诚实停在本地路径。课程产品状态和学习者状态分离:course_product_w12_passed 需要自动化、Capstone、浏览器和安全 evidence;learner_graduation_approved 必须由人类依据独立手写、故障定位、论文口述和答辩写入。页面复选框最多表示已阅读/已尝试,不表示掌握。
三个入口分工不同,不是同一内容的三份拷贝:教程(/chapters/)是唯一正文,每章的交互演示和动手实验(命令、预期输出、故障注入)都直接写在当章页面里,跟着正文一起学;实验(/examples/)不重复教程内容,只是把教程里出现过的实验整理成一个索引,方便学完之后想单独重跑某个命令时快速找到、回链到对应章节的锚点;参考(/reference/)保持中立查阅——术语表、必读论文、核心知识地图、课程边界、毕业口试与前沿专题都在这里,只给事实和跳转链接,不做教学讲解。
| 入口 | 路径 | 用途 |
|---|---|---|
| 教程 | /chapters/ | 全书 23 章正文,含内嵌交互与动手实验 |
| 实验 | /examples/ | 教程里出现过的实验的快速重跑索引 |
| 参考 | /reference/ | 术语表、必读论文、核心知识地图、边界、毕业口试、前沿专题 |
旧入口「Labs」「云路线 dry-run」「隐私红线」已分别合并到上述分类,不再单独出现在顶级导航。
导航和首页的「电子书」提供与这 23 章同一套正文的离线 EPUB:/learn-llm.epub,/downloads/learn-llm.epub 是同一文件。交互演示仍只在网站里。
| 章节 | 主题 | 正文 | 对应实验 |
|---|---|---|---|
| 第1章 | 环境、基线、隐私、Google 权益与成本审计 | 第1章 | — |
| 第2章 | 面向大模型的现代 Python 与张量工程底座 | 第2章 | 02 |
| 第3章 | 大模型核心数学桥接与符号解码速查 | 第3章 | 02 |
| 第4–6章 | autograd、字符 LM、UTF-8/byte BPE | 第4章–第6章 | 03–05 |
| 第7–9章 | Tensor 反传、Attention/Transformer、TinyGPT 训练与恢复 | 第7章–第9章 | 06–08 |
| 第10–12章 | 推理吞吐优化、SFT/LoRA/DPO 对齐与 DeepSeek 专题(MLA/MoE/GRPO) | 第10章–第12章 | 09–10 · 20 |
| 第13–15章 | 向量检索与生产 RAG、真实语义检索 ACL、Typed Tools 与 MCP | 第13章–第15章 | 11–13 |
| 第16–20章 | 生产 API 健壮性、Prompt/记忆、StateGraph/LangGraph、全栈流式与 Multi-Agent | 第16章–第20章 | 14–17 · 21 |
| 第21–22章 | 严谨评估与受控云部署、毕业设计 Capstone 与答辩 | 第21章–第22章 | 18 · 19 Capstone |
| 第23章 | 取舍的骨架:LLM 结构是怎么被逼出来的 | 第23章 | — |
| 前沿专题 | 前沿专题:形式化验证与神经定理证明 (Lean 4/AlphaProof/Neurosymbolic) | 前沿专题 | — |
课程核心正文严格维护在 docs/chapters/(全书单调递进 23 章);路径页、实验和参考(含前沿研究专题)是导航与延伸材料。
pnpm test:labs、pnpm docs:build 和隐私扫描。详细复现命令见仓库根目录 REPRODUCE.md,站点内入口见 环境准备;个人经历对齐见 个人经历对齐,隐私边界见 隐私红线。