Skip to content

Learn LLM从原理到可验证 AI Agent 的实践书

按第1–22章编号读。第1章环境审计,第2章 Python 底座,第3章数学桥接,第4–9章 autograd、BPE、Transformer 与 TinyGPT,第10–12章推理、对齐与 DeepSeek,第13–20章 RAG、工具、编排与 Multi-Agent,第21–22章评估、云门与 Capstone,第23章结构取舍的推导骨架,以及毕业后前沿专题形式化验证与 AlphaProof。本地 CPU/MPS 优先,证据先于勾选。

LEARNING PATH · 21 章 · 5 阶段

学习路径:每一章都有可交付的产物

按阶段顺序读;卡片上是本章拿得出手的产物,点开可看验证方式。

01

地基

环境、隐私与数学预备——先能跑,再能懂

02

模型原理

从自动微分到 TinyGPT:亲手造出并训练一个模型

03

Agent 系统

RAG、工具与真实 API——把模型接进真实系统

04

评估与毕业

冻结评估、云门禁、Capstone 与人类答辩

05

第二梯队 · 扩展专题

按兴趣选读:DeepSeek 模型专题与 Multi-Agent

第1章 · 基础

环境、隐私与权益准备

本地基线可跑;Google 权益必须由本人在 UI 核验

本章验证命令:pnpm verify

云端训练按钮不会在页面内发起请求;要进入 Google Cloud,必须先在第1章核验权益,再由人类分别批准 smoke、full run 和 service deploy。

EVIDENCE VIEW · NO SECRETS

证据不是一个绿色勾

每行都把自动化、手写/口述和云门禁拆开;缺一项就保持“未完成”,不把本地结果冒充云端结果。

显示 6 条证据。

课程模块的自动化、人类验收和云权限证据
模块自动化证据人类证据云/权限索引
03-07模型原理基础测试 + shape 对拍独立手写 / 故障题不需要python/tests/test_*
08TinyGPT 训练loss 下降 + checkpoint恢复原因口述可在云端重放llm_train + evidence
09-10推理与后训练一致性 / adapter / DPO比较取舍不需要llm_core/post_training.py
11-13RAG 与 Agentfixture + ACL + recovery攻击路径解释不需要python/agent_core
18评估与云门禁eval-spec + dry-run批准预算与动作需实时核验evidence/schema.yaml
19Capstonepreview / test / traceclean-room + 答辩按授权结果goal.md §15

你将建成什么 ​

完成课程产品要求的自动化、实验和真实浏览器验收后,课程应能证明:

  1. 你能从空白接口手写并解释标量 autograd、BPE、causal attention、Transformer Block、TinyGPT 训练、RoPE、KV Cache、SwiGLU、RMSNorm、Tied Embedding 和 PagedKV。
  2. 你能用固定 seed、最小数据、数值对拍、故障注入和 checkpoint 证据证明训练/推理行为,而不是只跑一次 forward。
  3. 你能把教学模型链路与独立的 RAG、typed tools/MCP、状态持久化、HITL、恢复、评估和安全 harness 连接起来。
  4. 你能说明本地、免费外部资源和 Google Cloud 的边界,并在 cloud_training_eligibility 未核验或授权为 false 时诚实停在本地路径。

课程产品状态和学习者状态分离:course_product_w12_passed 需要自动化、Capstone、浏览器和安全 evidence;learner_graduation_approved 必须由人类依据独立手写、故障定位、论文口述和答辩写入。页面复选框最多表示已阅读/已尝试,不表示掌握。

站点怎么组织 ​

三个入口分工不同,不是同一内容的三份拷贝:教程(/chapters/)是唯一正文,每章的交互演示和动手实验(命令、预期输出、故障注入)都直接写在当章页面里,跟着正文一起学;实验(/examples/)不重复教程内容,只是把教程里出现过的实验整理成一个索引,方便学完之后想单独重跑某个命令时快速找到、回链到对应章节的锚点;参考(/reference/)保持中立查阅——术语表、必读论文、核心知识地图、课程边界、毕业口试与前沿专题都在这里,只给事实和跳转链接,不做教学讲解。

入口路径用途
教程/chapters/全书 23 章正文,含内嵌交互与动手实验
实验/examples/教程里出现过的实验的快速重跑索引
参考/reference/术语表、必读论文、核心知识地图、边界、毕业口试、前沿专题

旧入口「Labs」「云路线 dry-run」「隐私红线」已分别合并到上述分类,不再单独出现在顶级导航。

导航和首页的「电子书」提供与这 23 章同一套正文的离线 EPUB:/learn-llm.epub,/downloads/learn-llm.epub 是同一文件。交互演示仍只在网站里。

全书地图(23 章核心课程 + 前沿专题) ​

章节主题正文对应实验
第1章环境、基线、隐私、Google 权益与成本审计第1章—
第2章面向大模型的现代 Python 与张量工程底座第2章02
第3章大模型核心数学桥接与符号解码速查第3章02
第4–6章autograd、字符 LM、UTF-8/byte BPE第4章–第6章03–05
第7–9章Tensor 反传、Attention/Transformer、TinyGPT 训练与恢复第7章–第9章06–08
第10–12章推理吞吐优化、SFT/LoRA/DPO 对齐与 DeepSeek 专题(MLA/MoE/GRPO)第10章–第12章09–10 · 20
第13–15章向量检索与生产 RAG、真实语义检索 ACL、Typed Tools 与 MCP第13章–第15章11–13
第16–20章生产 API 健壮性、Prompt/记忆、StateGraph/LangGraph、全栈流式与 Multi-Agent第16章–第20章14–17 · 21
第21–22章严谨评估与受控云部署、毕业设计 Capstone 与答辩第21章–第22章18 · 19 Capstone
第23章取舍的骨架:LLM 结构是怎么被逼出来的第23章—
前沿专题前沿专题:形式化验证与神经定理证明 (Lean 4/AlphaProof/Neurosymbolic)前沿专题—

课程核心正文严格维护在 docs/chapters/(全书单调递进 23 章);路径页、实验和参考(含前沿研究专题)是导航与延伸材料。

怎么开始 ​

  1. 先读 教程总览 和 第1章 环境审计,建立脱敏基线。
  2. 接着读 第2章 Python 底座 与 第3章 数学桥接。已经具备扎实基础的人,可以直接进 第4章。实验索引只用来重跑,不要从 实验 03 跳过坡道。
  3. 中途要查名词:去 术语表 查 SwiGLU / PagedKV / Tied Embedding 等。
  4. 在本地 CPU/MPS 安装依赖,运行 pnpm test:labs、pnpm docs:build 和隐私扫描。
  5. 每章按”理解 → clean-room 实现 → 失败题 → 语义测试 → evidence → 口述”推进;固定阈值不能看完结果再下调。
  6. 需要 Google Cloud 时,先完成真实 UI 的资格核验,再分别取得 smoke、full run、service deploy 三个一次性授权。

详细复现命令见仓库根目录 REPRODUCE.md,站点内入口见 环境准备;个人经历对齐见 个人经历对齐,隐私边界见 隐私红线。

私有学习站 · 原理从零构建 · 勿提交个人隐私或密钥