Skip to content

Learn LLM从原理到可验证 AI Agent 的实践书

第1章做环境与权益审计;第3–19章从自动微分、BPE、Transformer 和真实训练走到 RAG、工具、恢复与 Capstone;第2、12、14–17章补零基础坡道与真实 API/RAG/LangGraph/流式实战,第20–21章做 DeepSeek 模型专题与 Subagent/Multi-Agent 拔高;本地 CPU/MPS 优先,证据先于勾选。

CHAPTER MAP · 21 章

把每一章变成可回放的证据

先读地图,再打开实验;模型、云和人类验收保持三条独立门线。

第1章 · 基础

环境、隐私与权益准备

本地基线可跑;Google 权益必须由本人在 UI 核验

本章验证命令:pnpm verify

云端训练按钮不会在页面内发起请求;要进入 Google Cloud,必须先在第1章核验权益,再由人类分别批准 smoke、full run 和 service deploy。

EVIDENCE VIEW · NO SECRETS

证据不是一个绿色勾

每行都把自动化、手写/口述和云门禁拆开;缺一项就保持“未完成”,不把本地结果冒充云端结果。

显示 6 条证据。

课程模块的自动化、人类验收和云权限证据
模块自动化证据人类证据云/权限索引
03-07模型原理基础测试 + shape 对拍独立手写 / 故障题不需要python/tests/test_*
08TinyGPT 训练loss 下降 + checkpoint恢复原因口述可在云端重放llm_train + evidence
09-10推理与后训练一致性 / adapter / DPO比较取舍不需要llm_core/post_training.py
11-13RAG 与 Agentfixture + ACL + recovery攻击路径解释不需要python/agent_core
18评估与云门禁eval-spec + dry-run批准预算与动作需实时核验evidence/schema.yaml
19Capstonepreview / test / traceclean-room + 答辩按授权结果goal.md §15

你将建成什么

完成课程产品要求的自动化、实验和真实浏览器验收后,课程应能证明:

  1. 你能从空白接口手写并解释标量 autograd、BPE、causal attention、Transformer Block、TinyGPT 训练、RoPE、KV Cache、SwiGLU、RMSNorm、Tied Embedding 和 PagedKV。
  2. 你能用固定 seed、最小数据、数值对拍、故障注入和 checkpoint 证据证明训练/推理行为,而不是只跑一次 forward。
  3. 你能把教学模型链路与独立的 RAG、typed tools/MCP、状态持久化、HITL、恢复、评估和安全 harness 连接起来。
  4. 你能说明本地、免费外部资源和 Google Cloud 的边界,并在 cloud_training_eligibility 未核验或授权为 false 时诚实停在本地路径。

课程产品状态和学习者状态分离:course_product_w12_passed 需要自动化、Capstone、浏览器和安全 evidence;learner_graduation_approved 必须由人类依据独立手写、故障定位、论文口述和答辩写入。页面复选框最多表示已阅读/已尝试,不表示掌握。

站点怎么组织

三个入口分工不同,不是同一内容的三份拷贝:教程/chapters/)是唯一正文,每章的交互演示和动手实验(命令、预期输出、故障注入)都直接写在当章页面里,跟着正文一起学;实验/examples/)不重复教程内容,只是把教程里出现过的实验整理成一个索引,方便学完之后想单独重跑某个命令时快速找到、回链到对应章节的锚点;参考/reference/)保持中立查阅——术语表、必读论文、核心知识地图、课程边界、毕业口试都在这里,只给事实和跳转链接,不做教学讲解。

入口路径用途
教程/chapters/全书 21 章正文,含内嵌交互与动手实验
实验/examples/教程里出现过的实验的快速重跑索引
参考/reference/术语表、必读论文、核心知识地图、边界、毕业口试

旧入口「Labs」「云路线 dry-run」「隐私红线」已分别合并到上述分类,不再单独出现在顶级导航。

全书地图(21 章)

章节主题正文对应实验
第1章环境、基线、隐私、Google 权益与成本审计第1章
第2章Python 与数学最小坡道(零基础入口前置)第2章02
第3–5章autograd、字符 LM、UTF-8/byte BPE第3章第5章0305
第6–8章Tensor 反传、Attention/Transformer、TinyGPT 训练与恢复第6章第8章0608
第9–10章RoPE/KV Cache/SwiGLU/RMSNorm/PagedKV、量化、SFT/LoRA/DPO第9章 · 第10章09 · 10
第11–13章RAG/ACL、typed tools/MCP、恢复/HITL第11章第13章1113
第12、14–17章RAG 实战、真实 LLM API、Prompt/记忆、LangGraph、流式交付第12章 · 第14章第17章12 · 1417
第18章eval、安全与云 smoke第18章18
第19章Evidence-driven Safe Agent Harness、clean-room 抽测、口述与答辩第19章19 Capstone
第20–21章(第二梯队·拔高)DeepSeek 模型专题(MLA/MoE/GRPO/R1/MTP/FP8)、Subagent 与 Multi-Agent第20章 · 第21章20 · 21

课程正文只维护在 docs/chapters/(全书 21 章,其中第20、21章为第二梯队扩展章);路径页、实验和参考是导航/支撑材料。

怎么开始

  1. 先读 教程总览第1章 环境审计,建立脱敏基线。
  2. 想先”动手跑”:直接打开 实验 03 autograd,跑通后再回看章节。
  3. 想先”查概念”:去 术语表 查 SwiGLU / PagedKV / Tied Embedding 等。
  4. 在本地 CPU/MPS 安装依赖,运行 pnpm test:labspnpm docs:build 和隐私扫描。
  5. 每章按”理解 → clean-room 实现 → 失败题 → 语义测试 → evidence → 口述”推进;固定阈值不能看完结果再下调。
  6. 需要 Google Cloud 时,先完成真实 UI 的资格核验,再分别取得 smoke、full run、service deploy 三个一次性授权。

详细复现命令见仓库根目录 REPRODUCE.md,站点内入口见 环境准备;个人经历对齐见 个人经历对齐,隐私边界见 隐私红线

私有学习站 · 原理从零构建 · 勿提交个人隐私或密钥