Skip to content

教程总览:全书 21 章

本页是教程分区的入口。第1章是不计入正文学习量的环境/权益审计。课程正文唯一入口是 docs/chapters/01-setup.md19-capstone.md 加八章插入/扩展章(第2章、第12章、第14–17章、第20–21章),每章页面把交互演示和动手实验都内嵌在正文里,不是另一套独立教程。插入章补两类缺口:第2章是零基础入口坡道(Python/数学最小集),第12章和第14–17章是应用层实战(真实 embedding、真实 LLM API、Prompt/记忆、LangGraph、流式交付);第20、21章是第二梯队拔高扩展(DeepSeek 模型专题、Subagent/Multi-Agent),主线完成后再读。

北极星目标是:先从空白接口写出 decoder-only LLM 的关键机制,再把确定性模型实验接到可恢复、安全、可评估的 Agent harness。课程产品是否完成由自动化和真实浏览器证据决定;学习者是否掌握由人类口述、手写和答辩决定。更完整的项目目标与设计原则见仓库根目录 README.md「0. 项目目标与设计原则」。

CHAPTER MAP · 21 章

把每一章变成可回放的证据

先读地图,再打开实验;模型、云和人类验收保持三条独立门线。

第1章 · 基础

环境、隐私与权益准备

本地基线可跑;Google 权益必须由本人在 UI 核验

本章验证命令:pnpm verify

云端训练按钮不会在页面内发起请求;要进入 Google Cloud,必须先在第1章核验权益,再由人类分别批准 smoke、full run 和 service deploy。

先读

  1. 第1章 环境审计:固定支持矩阵,完成本地 CPU/MPS smoke 和脱敏的环境状态记录。
  2. 按章节顺序阅读正文:每章保留手写实现、失败题、测试和复盘,扩展阅读可后延。
  3. 与 ai.zenheart.site 的边界:明确模型教学、Agent 工程和云资源的责任边界。
  4. 个人经历对齐:用脱敏技术主题调整学习顺序,不复制个人经历原文。
  5. 毕业口试与总复习:准备产品 evidence 和人类掌握验收,两者不能互相代替。

更详细的概念/论文/上游参考绑定见 核心知识地图

章节计划与最小产物

必修最小路径最小产物/通过信号现有阅读入口
第1章环境、隐私、浏览器、Google 权益与预算审计脱敏支持矩阵;cloud_training_eligibilityeligible/unavailable/unverified;三项云授权默认 false第1章 环境审计
第2章(第3章前)Python 最小集(dunder/闭包/虚拟环境/pytest)、NumPy shape 与矩阵乘、差商与 -log 直觉15 道练习全实现;判分测试 exercises 组 0 skipped、16 passed第2章 Python/数学坡道
第3章autograd、有限差分、MLP、梯度故障题梯度数值对拍、loss 下降、覆盖/累加错误修复第3章 自动微分
第4章Bigram→MLP、NLL/CE、采样参数确实更新;训练/验证指标和采样参数可解释第4章 字符语言模型
第5章UTF-8/byte BPE、特殊 token、可逆性中英/emoji 往返一致;数据来源和许可已记录第5章 BPE
第6章Tensor shape、反传、初始化、LayerNorm、训练诊断shape contract、梯度/激活诊断和对拍第6章 训练稳定性
第7章scaled dot-product attention、causal mask、MHA、Transformer Block未来 token 不可见;head reshape、mask、residual 消融证据第7章 Transformer
第8章TinyGPT 预训练、过拟合、checkpoint、恢复、生成真实 backward/update、受控 loss 下降、恢复后 next loss 一致第8章 TinyGPT
第9章RoPE、RMSNorm、MQA/GQA、prefill/decode、KV Cache、量化cache/full 等价;warm-up、重复次数和硬件记录完整第9章 推理与量化
第10章SFT、assistant-only mask、LoRA、极小 DPOadapter/权重更新;base/SFT/LoRA/DPO 在固定集上的差异第10章 后训练
第11章embedding、chunking、召回/rerank、引用、ACLrecall@k、引用正确率、无依据率;越权和 injection 被拒绝第11章 RAG
第12章(第11章后)真实 embedding、sqlite-vec ACL 内嵌 KNN、结构感知 chunking、RRF 混合检索、20 题最小评估实战版 recall@5 1.0、引用正确率 1.0、无答案拒答率 1.0第12章 RAG 实战
第13章typed tools、MCP、状态持久化、幂等、重试、HITLschema 先验校验;批准前无副作用;中断后 checkpoint 恢复第13章 Agent
第14章(第13章后)真实 LLM API:messages、SSE 流式、function calling 往返、退避限流、embedding 对比离线回放 14 测试全绿;live 路径标 unverified-live第14章 真实 LLM API
第15章(第14章后)system prompt 四段式、few-shot 失效、结构化输出三档、prompt 即代码资产、记忆四模式20 测试全绿;golden 回归 5/5;记忆冲突决策序列确定性第15章 Prompt 工程与记忆
第16章(第15章后)手写 loop 逐件映射 LangGraph、checkpointer 恢复、interrupt 重跑语义、五 workflow 模式13 测试全绿;故障版副作用 1→2 vs 修复版 0→1 实证第16章 LangGraph 实操
第17章(第16章后)SSE 帧协议、fetch+ReadableStream 消费、流式 TextDecoder、partial JSON 增量渲染11 测试全绿(帧格式/半行重组/乱码对照/中断)第17章 全栈流式交付
第18章eval/Judge 校准、trace、安全、容器化和云 smoke冻结 eval-spec-v1;攻击/故障报告;云链路需独立授权第18章 评估/云
第19章Capstone、clean-room 抽测、口述与答辩Safe Agent Harness、指标/成本/失败证据、人类毕业判定第19章 Capstone
第20章(第二梯队,第19章后)MLA/MoE/GRPO 记账规则 toy 复现、R1 流程、MTP/FP8 概念(先修第9、10章)KV 字节数手算与程序逐字节一致;router 坍缩→纠偏对照;GRPO advantage 性质断言第20章 DeepSeek 模型专题
第21章(第二梯队,第20章后)orchestrator + 隔离 subagent、任务契约、结果合并、A2A 概念(先修第13、16章)隔离三断言全 true;委派循环被 depth limit 拦截(3 vs >100 对照);16 测试全绿第21章 Subagent 与 Multi-Agent

每章页面定义课程合同;gate 仍必须以证据关闭。进入下一章前,每章至少应有:

  • 目标和最少数学能用自己的话解释;
  • clean-room 实现和可见语义测试,而不是只检查文件存在;
  • 一个故意失败或故障注入样例,以及修复前后证据;
  • 固定 seed/环境/命令/阈值/实际指标和仓库相对 artifact 路径;
  • 一条与 Agent 状态、工具边界、可观测性或成本取舍的迁移说明。

阶段门

第1章门:可复现且不泄密

本地环境先通过 pnpm docs:buildpnpm test:labs、隐私扫描和浏览器基线。Google 资格只记录官方 UI 的脱敏状态、范围、expiry 和 evidence_local_only=true;未核验时保持 unverified,不凭产品名称推断 GPU 或 Cloud credit。

外部参考仓库的版本、许可和复制边界见参考资料读回;课程只保留独立实现和链接,不把第三方正文或代码伪装成原创。

第3–10章门:L3/L2 模型链路

L3 主题必须独立手写、数值对拍、故障定位并口述;TinyGPT 必须证明参数更新、受控 loss 下降和 checkpoint 恢复。第9、10章的性能和后训练结论必须报告环境、重复次数和固定评估集,不能把一次运行当作普遍结论。

第11–18章门:Agent 与云边界

RAG 先做 ACL 再排名;工具先 schema/policy 校验再执行;高风险动作必须绑定会话、参数、时限和 HITL;恢复、重放、超时、prompt injection 和 secret exfiltration 都要有测试。云训练默认 Cloud Run Jobs CPU,Vertex T4 仅在当日 quota/价格和单独授权均成立时使用。第18章的本地 dry-run、Job 入口和 fixture service 只证明适配器合同;真实云门还必须有资格 UI、Job execution/checkpoint、image digest/revision、认证生成、清理和 48 小时账单回读。

第19章门:产品与学习者分开

course_product_w12_passed 由自动化、Capstone、真实 headed Chrome 和安全 evidence 支撑;learner_graduation_approved 只能由人类完成独立手写、故障题、论文口述和答辩后写入。页面进度最多表示已阅读/已尝试,不能自动宣称掌握。

下一步

第1章 环境审计 · 实验索引 · 毕业口试 · 隐私红线

私有学习站 · 原理从零构建 · 勿提交个人隐私或密钥