核心知识地图：学完你应掌握什么

目标不是「背名词」，而是：能用自己的话讲清、能用代码写出、能迁移到工程决策。
本页定义 Learn LLM 的核心知识合同——主线覆盖的「所有关键细节」以这里为准；工业全景（集群、CUDA kernel、完整 RLHF 管线）刻意划为边界外。

一句话心智模型

文本
 → 分词成 token ids（BPE）
 → 变成向量（embedding + 位置信息）
 → 多层 Transformer 用因果 Attention 混合上下文
 → 每个位置输出词表上的 logits → softmax → 下一 token 分布
 → 预训练用交叉熵逼近「真实下一 token」
 → 指令微调 / 偏好对齐改写「想要的行为」
 → 推理时用采样 + KV Cache 高效逐 token 生成
 → Harness 把模型嵌进工具循环（Agent）

你若能把这条链路手画一遍并指出每一步的张量形状与职责，就达到了本课的 0→1。

核心概念清单（必须掌握）

#	概念	你必须能做到	主线关卡	代码/实验
1	计算图与反向传播	手写标量 autograd；数值梯度校验	第3章	autograd.py / gradcheck.py
2	下一 token 预测	说明 LM 的本质是条件分布 $P(x_t|x_{<t})$	第4章	bigram / MLP
3	Softmax / Logits	分数→概率；temperature 对尖峰的影响	第4章, 第7章	SoftmaxDemo
4	交叉熵 Loss	one-hot 下 = $-\log p_{\mathrm{correct}}$；训练方向	第4章, 第8章	CE 实现
5	Embedding	token id → 向量；是可学习的查表	第4章, 第7章	blocks.embedding_lookup
6	位置信息	为何要位置编码；sinusoidal / 学习式 PE 直觉	第6章, 第7章	blocks / transformer.py
7	BPE 分词	merge 循环；encode/decode 往返；token≠词	第5章	bpe.py
8	Scaled Dot-Product Attention	$Q{K}^{\mathrm{\top }}/\sqrt{d}$ + mask + 加权 $V$	第7章	attention.py / transformer.py
9	因果 Mask	位置 $i$ 不能看未来；下三角	第7章	AttentionDemo
10	多头 / GQA Attention	多组 QKV 子空间再拼回；KV head 可分组	第7章, 第9章	transformer.py
11	残差 + LayerNorm/RMSNorm	$x+F(x)$ 与归一化稳定深度	第6章, 第7章, 第9章	blocks.py / transformer.py
12	GPT 前向结构	emb → N×(Attn+MLP) → lm_head → logits	第7章, 第8章	gpt.py / llm_train/model.py
13	预训练循环	teacher forcing；loss 下降；参数更新	第8章	llm_train/train.py
14	优化器直觉	SGD vs AdamW（动量、自适应、weight decay）	第6章, 第8章	optimizer.py
15	采样	greedy / temperature / top-k	第4章, 第8章, 第9章	train_sample.py
16	SFT / assistant-only mask	指令数据形态；只在 assistant token 监督	第10章	post_training.py
17	偏好对齐 DPO	chosen vs rejected；相对 ref 的优势	第10章	post_training.py
18	RoPE / KV Cache / 量化	增量 decode 与 full 等价；质量/体积取舍	第9章	transformer.py / kv_cache.py
19	上下文窗口	长度限制来自位置/注意力/算力	第9章	失败策略与证据
20	Harness / Agent	模型只出分布；系统管工具与停止	第13章	agent_core/engine.py
21	RAG / Embedding / Rerank	先 ACL 再召回；引用可回链；未命中拒答	第11章	agent_core/rag.py
22	Typed tools / MCP	schema、风险矩阵和协议边界不能旁路	第13章	agent_core/mcp_adapter.py
23	状态、幂等、HITL、恢复	副作用前 checkpoint；批准绑定参数/会话/时限	第13章	agent_core/policy.py / state.py
24	Eval / Judge / Trace	固定 ID、分母、hash、人工抽测和分歧报告	第18章	eval/eval-spec-v1.yaml
25	云 artifact chain	dry-run → job → checkpoint → image → revision → 对拍	第18章	cloud_adapter/ / docs/cloud/
26	真实检索链路	真实 embedding；ACL 过滤内嵌 KNN；RRF 融合；阈值触发拒答	第12章	agent_core/rag_live.py
27	真实 LLM API 消费	messages 结构；SSE 半行缓冲；function calling 完整往返；退避限流	第14章	agent_core/gemini_roundtrip.py
28	Prompt 工程与记忆	四段式 system prompt；结构化输出三档；记忆四模式取舍	第15章	agent_core/prompts.py / memory.py
29	框架映射	手写 loop 逐件映射 StateGraph / checkpointer / interrupt	第16章	labs/langgraph_labs.py
30	流式交付	SSE 帧协议；行缓冲；流式 TextDecoder；partial JSON 增量渲染	第17章	labs/streaming_server.py

第2章（Python 与数学最小坡道）是第3章的入口前置章，为零基础学习者准备，不计入上表核心概念清单。

刻意不包含（边界）

以下不在本课「核心必掌握」范围（了解名词即可，非考核）：

• 分布式训练 / 3D 并行 / 集群调度
• 手写 CUDA kernel / FlashAttention 实现细节
• 完整 PPO-RLHF 工业管线与大规模数据工程（PPO/GRPO 的 L1 动机级对照见 术语表）
• MoE 路由训练、MLA 论文级推导（L1 动机级词条见 术语表「DeepSeek 模型专题」，toy 记账实现与定量对比见 第20章；工业级训练管线仍在边界外）
• 多模态、语音、视觉编码器内部

边界外内容不影响你「从 0 到 1 理解文本大模型如何工作」。

与付费/经典课程对齐

来源	本课如何映射
Karpathy Zero to Hero	01 micrograd；02–05 makemore→GPT；03 tokenizer
Raschka LLMs from Scratch	03–05 分词/注意力/预训练；06 指令微调直觉
dive-into-llms	06–07 对齐与推理侧选修深化
前端工程师路径	全程 parser / 依赖图 / 缓存 / 工具循环类比

参考实践绑定（读什么、产出什么）

参考资料不是第二套课程正文。学习者每次使用上游资料都应记录访问日、版本/commit、许可证状态和“本课原创产出”；未核验许可时只保留链接，不复制文字、图片、notebook 或代码。

参考	本课绑定	原创实践产物
Karpathy Zero to Hero：micrograd、makemore、minbpe、build-nanogpt、nanochat	第3章–第10章：autograd → 字符 LM → BPE → GPT → conversation/loss mask；第9章/第10章 的性能和后训练只抽取问题，不接受成品移植	clean-room 接口实现、故障前后 trace、shape/loss 对拍；第10章 另有固定集的遗忘/污染记录
Raschka · LLMs-from-scratch（Chapter 2–7、Chapter 7、Appendix E）	第5章–第10章：文本数据、attention、GPT、预训练、指令微调和 LoRA 的结构对照	只读章节/接口后独立实现；提交本课测试与自己的实验表，不复制书籍内容或上游实现
中文参考：LLMs-from-scratch-CN、dive-into-llms	第5章–第18章：中文术语、章节导航、对齐/推理/Agent 复习问题；不是本课事实或 evidence 的来源替代	将一个阅读问题改写为本课的 shape 草图、故障题或口试题；中文资料的示例结果不得冒充本仓库实测
Agent 框架官方文档：LangChain agents、LangGraph overview	第13章：手写 typed tools/state/policy/recovery 后，再做可选抽象映射	同一 fixture 的手写 trace 与隔离框架 trace 对照；框架依赖不进入课程默认基线，不能绕过 policy/HITL/幂等测试

第13章 框架对照的边界

LangChain/LangGraph 是实现选择，不是知识目标或安全证明。课程要求学习者先能解释 state → schema → policy → checkpoint → executor，再回答：高层 agent abstraction 与显式 graph state 分别隐藏了什么；中断、批准、重试、持久化和 MCP transport 在哪里接入；哪些约束仍必须由应用 policy 和 evidence 自己维护。当前仓库已在隔离 Python 3.11.14 环境固定 LangGraph 0.6.11，对同一确定性 fixture 完成四列语义对拍；这不把该包加入默认基线，也不替代 provider、性能或学习者证据。没有安装框架或没有外部模型时，仍可完成状态图/伪代码映射并明确标注“未实测”，不影响手写 harness gate。

Google Cloud 真实验证的边界

云小模型不是“可选 demo”或本地 fixture 的别名。真实通过必须有独立的第1章当日资格 UI、一次性 smoke/full/deploy 授权，以及 dataset/config/tokenizer hash → Job execution ID → checkpoint/metrics → image digest → private service revision → authenticated generation → same-day cleanup → 48h billing readback 的完整回链。unverified、授权为 false、缺 execution/revision/IAM/账单任一项时，模型原理和离线 harness 仍可继续，但 cloud_training_passed=false、live_capstone_passed=false；不能用本地 loss、dry-run、模拟 service 或 credit 文案替代。

毕业标准（可自测）

正式验收标准（课程产品链 + 学习者掌握链的双链验收）以 毕业口试与总复习 为唯一权威页，本页不复述。这里只保留学习者的快速自测：不看答案能画出「从字符到生成」数据流，并标出至少 5 个关键 shape；能解释改 temperature、改 context、关掉 causal mask 各会怎样。个人经历对齐 只调整学习顺序，不降低任何课程或发布门禁。

→ 下一页：毕业口试 / 总复习