实验 03 · 标量自动微分 — 用有限差分证明反向传播是对的

本实验将标量计算图、链式法则与拓扑逆序反向传播从抽象概念转变为可即时验证的数值证据。你可以直接在下方免安装的网页交互计算图中调整参数观察即时前向与梯度反传，随后在本地运行 clean-room 对拍套件。

---

网页即时交互实验：微型计算图与反向传播

在神经网络中，任何复杂损失都可以拆解为基本运算符构成的有向无环图（DAG）。每个节点保存两个数值：前向计算的值 data 和反向传播累积的偏导数 grad。

$$y=\tanh (x\cdot w+b)$$

拖动下方滑块调节输入 $x$、权重 $w$ 与偏置 $b$，实时观察输出 $y$ 以及各叶子节点的解析偏导数 $\frac{\partial y}{\partial x},\frac{\partial y}{\partial w},\frac{\partial y}{\partial b}$：

交互：最小自动微分

y = tanh(x * w + b)

x = 0.50w = 2.00b = -1.00

y = 0.000000 ∂y/∂x = 2.000000 ∂y/∂w = 0.500000 ∂y/∂b = 1.000000

拖动滑块时，浏览器里即时重算前向与反向。对应 Python： python/llm_core/autograd.py

Google Pro 云端实验

实验 03 · 标量 Autograd 计算图 Colab 实验场

⬇️ 下载 .ipynb

⚡推荐规格：Google Pro A100 / L4 GPU (或 CPU)

支持在 Google Colab Pro 上手写 Value 节点并与 PyTorch Autograd 严格对拍

🚀 A100/L4 算力💾 Google Drive 挂载⏱️ High-RAM 后台运行

💡 运行提示：若本仓库为 GitHub 私有仓库，首次在 Colab 打开时请在弹出的对话框中点击「Authorize with GitHub」授权读取；或直接点击「⬇️ 下载 .ipynb」并在 Colab 中选择「上传笔记本」运行。

🐍

实验 03 · 标量 Autograd 计算图

手写微型标量 Value 节点，验证拓扑逆序与链式法则偏导数

↗ 独立演练台

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

# 实验 03 · 动手挑战：从零手写标量 Autograd 拓扑反传
class Value:
    def __init__(self, data, _children=()):
        self.data = float(data)
        self.grad = 0.0
        self._backward = lambda: None
        self._prev = set(_children)
 
    def __add__(self, other):
        other = other if isinstance(other, Value) else Value(other)
        out = Value(self.data + other.data, (self, other))
        def _backward():
            self.grad += out.grad
            other.grad += out.grad
        out._backward = _backward
        return out
 
    def __mul__(self, other):
        other = other if isinstance(other, Value) else Value(other)
        out = Value(self.data * other.data, (self, other))
        def _backward():
            self.grad += other.data * out.grad
            other.grad += self.data * out.grad
        out._backward = _backward
        return out
 
    def backward(self):
        # TODO: 1. 深度优先搜索 (DFS) 构建拓扑排序列表 topo
        # TODO: 2. 初始化当前根节点梯度 self.grad = 1.0
        # TODO: 3. 逆序遍历 topo 列表，依次调用 node._backward()
        pass
 
x = Value(2.0)
w = Value(3.0)
b = Value(1.5)
y = (x * w) + b
y.backward()
 
print(f"前向值 y:     {y.data:.4f} (理论: 7.5000)")
print(f"偏导数 dy/dx: {x.grad:.4f} (理论: 3.0000)")
print(f"偏导数 dy/dw: {w.grad:.4f} (理论: 2.0000)")
print(f"偏导数 dy/db: {b.grad:.4f} (理论: 1.0000)")
 
assert abs(y.data - 7.5) < 1e-5
assert abs(x.grad - 3.0) < 1e-5
assert abs(w.grad - 2.0) < 1e-5
assert abs(b.grad - 1.0) < 1e-5
print("🎉 标量 Autograd 计算图与链式法则断言 100% 通过！")
 

# 实验 03 · 动手挑战：从零手写标量 Autograd 拓扑反传 class Value: def __init__(self, data, _children=()): self.data = float(data) self.grad = 0.0 self._backward = lambda: None self._prev = set(_children) def __add__(self, other): other = other if isinstance(other, Value) else Value(other) out = Value(self.data + other.data, (self, other)) def _backward(): self.grad += out.grad other.grad += out.grad out._backward = _backward return out def __mul__(self, other): other = other if isinstance(other, Value) else Value(other) out = Value(self.data * other.data, (self, other)) def _backward(): self.grad += other.data * out.grad other.grad += self.data * out.grad out._backward = _backward return out def backward(self): # TODO: 1. 深度优先搜索 (DFS) 构建拓扑排序列表 topo # TODO: 2. 初始化当前根节点梯度 self.grad = 1.0 # TODO: 3. 逆序遍历 topo 列表，依次调用 node._backward() pass x = Value(2.0) w = Value(3.0) b = Value(1.5) y = (x * w) + b y.backward() print(f"前向值 y: {y.data:.4f} (理论: 7.5000)") print(f"偏导数 dy/dx: {x.grad:.4f} (理论: 3.0000)") print(f"偏导数 dy/dw: {w.grad:.4f} (理论: 2.0000)") print(f"偏导数 dy/db: {b.grad:.4f} (理论: 1.0000)") assert abs(y.data - 7.5) < 1e-5 assert abs(x.grad - 3.0) < 1e-5 assert abs(w.grad - 2.0) < 1e-5 assert abs(b.grad - 1.0) < 1e-5 print("🎉 标量 Autograd 计算图与链式法则断言 100% 通过！")

Python 3行 1, 列 149 行 · 1479 字符

运行：⌘ / Ctrl + ↵

就绪 (点击运行)

点击右上角「▶ 运行」或按 ⌘/Ctrl+Enter 在浏览器端直接执行

交互实验指南与思考题

1. 观察饱和区梯度消失：将 $x$ 和 $w$ 调至极大值（如 $x=2.0,w=3.0$），观察输出 $y$ 逼近 $1.0$，而所有导数 $\frac{\partial y}{\partial x},\frac{\partial y}{\partial w}$ 几乎衰减为 0！这就是著名的激活函数饱和与梯度消失现象。
2. 权重对称性破缺：调整 $w$ 的符号，观察输出与偏导数的符号变化，思考为什么全连接层不能将所有初始权重设为全零。

---

本地动手实验与 Clean-Room 对拍

在通过网页直观理解计算图后，你将在本地从零实现 Value 类并与数值差商完成对拍：

cd <仓库根目录>
source .venv/bin/activate
export PYTHONPATH="$PWD/python"

# 运行标量 autograd 单元测试
pytest python/tests/test_autograd.py -v

# 验证 clean-room 契约合规
pnpm clean-room:contract

---

下一步

→ 返回第4章正文查看完整实现细节与故障注入表
→ 进入实验 04：Bigram 与 MLP 字符语言模型