Skip to content

Byte 级 BPE — merge 循环与 exact round-trip

把 tokenizer 的工作从“黑盒调用”变成“看得见的统计过程”:验证合并按频次稳定、任意字符串(含中文与 emoji)的 encode/decode 严格往返一致、且合并顺序确定可复现。

在第5章正文里查看完整命令、预期输出与故障注入

私有学习站 · 原理从零构建 · 勿提交个人隐私或密钥