# 教材与笔记勘误记录

制作交互式图解（`interactive/`）时，对照官方讲义（`lectures/lecture_XX.py` / `.pdf`）和课堂字幕核对出的错误都记在这里。

- **修改范围**：只改 `textbooks/` 和 `notes/`。`subtitles/` 是原始逐字稿，保持原样；其中的语音识别错误只记录、不改动。
- **原始文件备份**：`_备份_勘误前_20261110/`（2026-11-10 第一次修改前的完整副本）。如需对比，可以用 `git diff --no-index _备份_勘误前_20261110/textbooks textbooks`。
- **判断依据**：数字和事实以官方讲义为准；没法确认的只标“存疑”，不改原文。

## 全局问题

| 问题 | 位置 | 处理 |
|---|---|---|
| LaTeX 的 `\nabla` 被当成“换行 + abla”，公式断成两行 | 卷一 2 处、卷三（上）2 处、卷四（上）2 处、卷四（中）2 处、卷五（上）14 处、卷五（下）9 处，共 31 处 | 全部还原为 `\nabla` |
| 卷一反向传播公式被拆开，并插入了多余的 `> $$` 和空行，导致后文公式配对错乱 | 卷一「训练过程的算力与显存核算」结论块 | 手工恢复为完整的三行公式块 |

## 第 1 讲（P01）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷一「扩展配方制定与超参数迁移」Chinchilla 表格 | 7B ↔ 约 1.4 万亿 (1.4T)；70B ↔ 约 14 万亿 (14T) | 7B ↔ 约 1400 亿 (140B)；70B ↔ 约 1.4 万亿 (1.4T) | D ≈ 20N；`lecture_01.py`: “70B parameter model should be trained on ~1.4T tokens”。配音把 70B 说成了 7B |
| 同节正文 | 例如 7B 模型应搭配约 1.4T Token 训练 | 例如 70B 模型应搭配约 1.4T Token 训练，7B 模型约 140B Token | 同上 |
| 笔记01「扩展配方与超参数迁移」 | 7B ↔ 1.4T；70B ↔ 14T | 7B ↔ 140B；70B ↔ 1.4T | 同上 |
| 卷一「内存墙与屋顶线分析」 | 以 NVIDIA DGX B200 为例：BF16 峰值 2.25 PFLOPS，带宽 8 TB/s | 以 NVIDIA B200 GPU（单卡；DGX B200 整机由 8 块 B200 组成）为例 | `lecture_01.py`: “B200 can perform 2.25 PFLOP/sec (bf16) with 8TB/sec memory bandwidth” |
| 卷一「计算最优扩展定律与开源模型发展」 | 开源研究项目 Marron | 开源研究项目 Marin | 讲义链接 marin.readthedocs.io |
| 卷一 Chinchilla 表格注释 | 10x 甚至 20x 以上の超额 Token | 10x 甚至 20x 以上的超额 Token | 混入日文假名 |

字幕中只记录、不修改的问题：

- P01 约 92% 处“416 104”“104 106”应为 `(116, 104)`，即 t 和 h。
- P01 约 42% 处说“在 Qwen2 等最新开源模型中越来越多地采用 Muon”。讲义的开放模型列表中有以使用 Muon 著称的 Moonshot Kimi 系列，这里很可能是“Kimi K2”的识别错误（存疑，未对照原视频）。

## 第 2 讲（P02 / P20）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷一 P02「检查点粒度权衡」、P20「激活检查点」两处、笔记01「检查点粒度权衡」 | 每隔 √L 层设检查点时，额外重计算代价为 O(√L) | 额外重计算代价为 O(L)（√L 个区间各重算一次，约等于多做一次前向） | `lecture_02.py`: “If store every sqrt(L) layers, then activation memory is O(sqrt(L)) and O(L) recomputation.” 字幕 97% 处配音说成了“根号 L” |
| 卷一 P02「低精度演进与动态范围权衡」 | 梯度小于 10⁻⁵ 时在 FP16 中直接下溢为零 | 小于约 6×10⁻⁵ 进入非规格化区、精度骤降；小于约 6×10⁻⁸ 才变为 0 | FP16 最小正规数 2⁻¹⁴≈6.1×10⁻⁵，最小非规格化数 2⁻²⁴≈6×10⁻⁸；讲义示例为 `1e-8` 下溢。字幕 10% 处说成了 1e-5 |
| 卷一 P20 同主题段落 | 梯度衰减到 10⁻⁷ 时会被截断为 0 | 10⁻⁸ 量级、低于约 6×10⁻⁸ 才截断为 0 | 1e-7 在 FP16 中是非规格化数，不为 0 |
| 笔记01「脑浮点数核心优势」 | 梯度 < 10⁻⁵ 时消失 | 小于约 6×10⁻⁵ 精度骤降，小于约 6×10⁻⁸ 变为 0 | 同上 |
| 卷一 P20 精度表、笔记01 精度表 | FP8 E4M3 最小正正规数 ≈ 1.95×10⁻³ | ≈ 1.56×10⁻²（2⁻⁶） | 1.95×10⁻³ = 2⁻⁹ 是 E4M3 的最小非规格化数 |
| 卷一 P02「资源核算意识与工程约束」 | H100 规格表上的千兆 FLOP/s | H100 规格表上标称的 FLOP/s | 1979 TFLOP/s 不是“千兆”量级 |
| 卷一 P02「矩阵乘法浮点运算量推导」 | 系统的真正颈椎并不在此 | 系统的真正瓶颈并不在此 | 错别字 |

字幕中只记录、不修改的问题：

- P02 约 2% 处说 70B/15T/1024 张 H100 “总共需要大概 40 天”。按讲义代码计算是 6.3×10²⁴ ÷ (989.5×10¹²×0.5×1024×86400) ≈ 144 天。
- P02 约 36% 处说“GPT-3 消耗了 3e25 FLOPs”，讲义为 3.14×10²³。

## 第 3 讲（P03 / P21）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷二「变体演进与小模型存储权衡」 | Gemma 2 探索的比例旋转位置编码（P-RoPE） | Gemma 4 采用的 P-RoPE | `lecture_03.pdf` 第 33 页 “Gemma 4 alternative”；字幕 24% 处把 Gemma 4 识别成了 Gemma 2 |
| 卷二「纵横比在表达能力与系统并行间的权衡」 | 纵横比几乎无一例外地收敛在 100 附近 | 大多落在约 100～200（GPT-3 等为 128、LLaMA 约 102），讲师口头概括为“大约 100” | 幻灯片第 44 页数据表、第 51 页 “Wide range of good values (100–200)” |
| 卷二「词汇表规模演进与度量准则」表格 | 单语模型 ≈30k（举例 GPT-2）；多语言 100k～200k | 单语 30k～50k（GPT-2/3 为 50257）；多语言 100k～250k | 幻灯片第 47 页 |
| 卷二「注意力矩阵乘尺度控制与 QK-Norm」 | 无参数学习的 RMSNorm；各分量被束缚在均值为 1 | RMSNorm；归一化到均方根约为 1 | RMSNorm 控制的是均方根而非均值 |
| 卷二「推理自回归生成与 KV Cache 内存墙瓶颈」 | 算术强度 ∝ 1/(n/d + 1) | O((n/d + 1/b)⁻¹)，b 为批大小 | 幻灯片第 60 页；字幕 83% 处漏读了 1/b |
| 卷二 P03 混合架构、P21 混合架构、P22 线性注意力工程实践；笔记02、笔记03 | Qwen 2.5（及 Qwen-Next）采用 3:1 Gated DeltaNet 混合 | Qwen 3.5 / Qwen3-Next | `lecture_04.pdf` 第 10 页 “Qwen 3.5 / Qwen Next: 3-1 GDN / Attention hybrids”；字幕 96% 处识别为 Qwen 2.5 |
| 笔记02「比例旋转位置编码」及总结表 | P-RoPE 用于 Gemma 2 | Gemma 4 | 同上（幻灯片第 33 页） |
| 笔记02「有效表征深度损耗」 | 新一代模型全线放弃并行层 | 大多回归串行；Cohere Command A / R+、Falcon 2 11B 仍用并行层 | 幻灯片第 28 页 “Recent Models: Cohere Command A, Falcon 2 11B, Command R+” |

存疑、未改原文：

- 卷二与字幕 74% 处说 Gemma 2、Gemma 3、Gemma 4 都使用 logit soft-capping（讲师凭记忆说的）。据 Gemma 3 技术报告，Gemma 3 已改用 QK-Norm 取代软截断。这里无法离线核实，暂不修改。

## 第 4 讲（P04 / P22）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷二「投影擦除机制与门控 Delta 网络」、笔记03 | Sₜ = Sₜ₋₁(I − βₜKₜᵀKₜ) + βₜVₜᵀKₜ（缺遗忘门 γₜ，且与前文 Sₜ ∈ ℝ^{dk×dv}、Yₜ = QₜSₜ 的约定矛盾） | Sₜ = γₜ(I − βₜKₜᵀKₜ)Sₜ₋₁ + βₜKₜᵀVₜ | `lecture_04.pdf` 第 9 页 |
| 卷二「遗忘门控与状态空间模型扩展」 | Yₜ = QₜSₜ + DₜVₜ | Yₜ = QₜSₜ + VₜD（D 为可学习的直通参数） | 幻灯片第 7 页 |
| 卷二 P04 与 P22「动态稀疏注意力」 | DeepSeek Attention（DSA）；P22 称 V2 与 V3.2 引入 | DeepSeek Sparse Attention；由 V3.2 引入 | 幻灯片第 12–13 页。讲师口头说成“DeepSeek attention” |
| 卷二「动态索引器与二次方开销解耦」 | 精细注意力复杂度 O(k²)，与 N 完全无关 | 每个查询只看 k 个键，总计 O(N·k)；索引器本身仍为 O(N²)、常数极小 | 稀疏注意力的计算方式 |
| 卷二「设备拓扑感知与无辅助损失演进」、笔记03 | DeepSeek-V3 完全移除辅助损失 | 去掉专家级辅助损失、改用动态偏置，但保留很小的序列级辅助损失 | 幻灯片第 42 页 “not fully aux loss free”、第 56 页 “Aux-loss-free + seq-wise aux”；字幕约 78% 处 |
| 卷二「激活值通信瓶颈与潜空间投影」、笔记03 | Nemotron-4 潜空间降维；通信量缩减至 1/4～1/8 | Nemotron 3；通信量按降维比例缩减 | 幻灯片第 46 页；“1/4～1/8”无出处。讲师口头说成 Nemotron-4 |
| 卷二「多标记预测机制与投机解码集成」、笔记03 | 多个前瞻预测头构成零显存开销的投机解码引擎 | 轻量前瞻预测模块可充当投机解码草稿器；DeepSeek-V3 实际只多预测 1 个 token | 幻灯片第 59 页 “they only do MTP with one token ahead” |

说明：幻灯片第 56 页把 DeepSeek-V3 误写为“V2 (671B)”、“258 个专家”。以第 35 页表格为准：V3 有 256 个路由专家、1 个共享专家、激活 8 个。

## 第 5 讲（P05 / P23）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷三「激活重计算」、笔记04 | 逐算子账本列出十多次读写，却引用“缩减至 5/8” | 按课上口径重写：朴素 8 次（前向读 x、写 S1/S2/Output；反向读 dout/S2/S1、写 dx），重计算 5 次 | `lecture_05.pdf` 第 35–36 页；字幕约 64–65% 处讲师的逐项计数 |
| 卷三「低精度表示与混合精度计算」、笔记04 | E5M2 动态范围与 BF16 相当 | 与 FP16 相当（最大约 ±57344） | E5M2 有 5 位指数，同 FP16；BF16 有 8 位指数 |
| 卷三「算子融合」、笔记04 | JAX 的 `jax.compile` | `jax.jit` | JAX 的 API；讲师口误（字幕约 62% 处） |
| 卷三 P05 与 P23 的 MXFP4 段落、笔记04 | MXFP4：每 16 个元素一个 E4M3 缩放因子 | 注明这是 NVIDIA NVFP4 的规格；OCP MXFP4 为每 32 个元素一个 E8M0 缩放因子 | 幻灯片第 29 页标题与内容不符 |
| 卷三「维度对齐与突发窗口匹配」、笔记04 | 16 与 32 个半精度/单精度元素恰好装满 128 字节 | 维度为 16、32 的倍数时，行首能与突发窗口边界对齐（如 32×FP32 或 64×BF16 = 128 字节） | 16×2 字节 = 32 字节，原表述算术不成立 |
| 卷三「计算与内存发展鸿沟」 | DeepSeek-V3 把 MLP 与注意力拆分到不同芯片集群 | 改为“业界有方案……（讲师凭记忆举例，存疑）” | 字幕约 35% 处讲师说“我想是 DeepSeek V3”；DeepSeek-V3 公开的部署方案是预填充与解码分离 |

保留原话、未改：讲师说“H200 有 144 GB 内存”（标称 141 GB，物理容量 144 GB）；说 SRAM 成本“几百倍”（幻灯片写约 100 倍）。

## 第 6 讲（P06 / P24）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷三「运行时剖析与底层执行内核洞察」、笔记05 | 内核名 `cutlass_tensorop_f32_sm100_gemm_64x64x16...` | `cutlass3x_sm100_simt_sgemm_f32_..._64x64x16_...`（simt：FP32 未走张量核心） | `lecture_06.py` 原文 |
| 卷三「Triton 矩阵乘法融合内核实现」 | 加载 A、B 分块时只对 K 维加掩码 | M、N 维也加掩码 | 矩阵尺寸不是分块整数倍时会越界读取；`lecture_06.py` 两个维度都有掩码 |
| 卷三「理想片上缓存与二维分块设计」、笔记05 | 分块算术强度 O(min(B_M, B_N, B_K)) | O(B_M·B_N/(B_M + B_N))，与 B_K 无关 | 每步加载 B_M·B_K + B_K·B_N 个元素、做 2·B_M·B_N·B_K 次运算 |
| 卷三同节 | 片上 SRAM 只有几十 KB | 每个 SM 的 L1+共享内存 192 KB（A100）～256 KB（H100、B200） | `lecture_06.py` 硬件表 |
| 卷三「速度、容量与访问延迟的权衡图谱」表格、笔记05 | 共享内存“数个时钟周期”，L1“数个至十数个周期” | 约 20～30 个周期（A100 实测） | 第 5 讲幻灯片与字幕 |
| 卷三（下）P24 GELU 内核 | `tl.math.tanh(inner)` | 用 exp 构造的数值稳定写法 2/(1 + e^{−2a}) − 1 | `lecture_06.py`：“tl.tanh doesn't exist”；新版 Triton 的 `tl.math` 也没有 tanh。讲义里 (e^{2a} − 1)/(e^{2a} + 1) 的写法在 x 较大时会溢出成 NaN，故改用稳定形式 |

## 第 7 讲（P07 / P25）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷三「节点内与跨节点硬件拓扑」示意图 | NVSwitch“节点内聚合带宽达 1.8 TB/s” | 每张 GPU 的 NVLink 5 带宽 1.8 TB/s | `lecture_07.py`、字幕约 31% 处：1.8 TB/s 是单卡带宽，约为 HBM 的 1/4 |
| 卷三同节（两处）、卷三（下）P25、笔记06 | NVL72：9 个托盘，每个托盘 2 颗 Grace + 8 张 GPU | 18 个计算托盘，每个托盘 2 颗 Grace + 4 张 GPU，另有 9 个 NVSwitch 托盘；同时注明课上的简化说法 | NVIDIA DGX GB 机架系统用户指南。讲义和讲师都说“9 个托盘 × 8 张”，讲师自称“不是硬件专家” |
| 卷三「通信算子运行时」 | “原生原生支持” | “原生支持” | 重复字 |
| 卷三「大规模训练的核心集合通信算子」 | 这三个算子“占据了 99% 以上的通信流量” | 是反复出现的主力（workhorse） | 讲义和字幕都只说 workhorse，99% 没有出处 |
| 卷三「异步执行流与双重同步屏障」、卷三（下）P25、笔记06 | 先 barrier、后 synchronize 会导致“死锁” | 问题是计时失真：barrier 只对齐 CPU，GPU 上的 kernel 可能还在执行 | 字幕约 68% 处讲师的解释；没有死锁的依据 |
| 卷三「前反向双重性」 | “当利用自动微分框架执行梯度回传时”自动呈现对偶 | 注明本讲手写的 `all_gather` 不会被 autograd 处理，反向需要自己写 | 字幕约 84% 处：“如果你只是调用 .backward()，它不会这样做” |
| 卷三「批次微划分与流水线气泡抑制」示意图 | 时间轴错位（Rank 3 的 F0 与 Rank 2 同时开始，各行起点差半格） | 按时间片重画朴素与微批次（GPipe 式）两张时序图，标出气泡占比 6/8 和 6/14 | 流水线依赖关系：第 r 级的前向必须等第 r−1 级做完 |

保留原话、未改：讲义说 PCIe 7.0 ×16 为 242 GB/s、家用以太网约 200 MB/s、InfiniBand 约 0.05 TB/s，均为讲义给的量级。并行策略的组合方式（节点内 TP → FSDP → 最外层 PP）与讲师在字幕约 94% 处的说法一致，没有改动。第 8 讲会进一步展开。

## 第 8 讲（P08 / P26）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷三「环形网格与胖树拓扑的架构分歧」、卷三（下）P26、笔记06 | Google 新发布的是 TPU v5e、v5p（v5e 引入树状互联，v5p 用 Jupiter） | TPU 8i（网络更接近树状）与 TPU 8t（横向扩展网络 Virgo，交换式） | `lecture_08.pdf` 第 11 页；v5e/v5p 是 2023 年的产品。字幕的转写与幻灯片不一致，以幻灯片为准 |
| 卷三「微批次切分与利用率优化」示意图 | GPU 0 与 GPU 1 同时开始；各级前向一结束就开始反向 | 按 GPipe 依赖关系重画：第 r 级晚一个时间片开始，反向从最后一级倒着传回 | 流水线依赖关系；同第 7 讲的修正 |
| 卷三（下）P26「1F1B 调度」示意图 | 标为 1F1B，画的却是“先全部前向、再全部反向”，各级起点也错位 | 按依赖关系模拟重画真正的 1F1B 时序，并注明它与 GPipe 总时长相同、但缓存的激活值更少 | 流水线依赖关系 |
| 卷三「权重梯度与激活偏导数的解耦调度」 | 零气泡流水线由“前沿工业界（如 DeepSeek 等团队）”提出 | 零气泡流水线由 Qi 等（2023）提出；DeepSeek-V3 的 DualPipe 沿用了把反向拆成 B 和 W 的做法 | 讲师只说更巧妙的调度图取自 DeepSeek 论文；DeepSeek-V3 技术报告注明这一拆分来自 ZeroBubble |
| 卷三「Llama 3 405B」 | 主预训练阶段“结合上下文并行（CP）” | 主阶段 CP = 1，DP = 128（8 × 16 × 128 = 16384 张 GPU） | 幻灯片第 72 页表格；字幕约 93% 处 |
| 卷三同节、卷三（下）P26、笔记06 | GPU 故障“超过 40 次” | 注明讲师说 40 多次；Llama 3 论文：54 天快照期内 466 次作业中断，419 次为意外中断，约 78% 与硬件有关 | Llama 3 论文（arXiv 2407.21783）第 3.3.4 节、表 5 |
| 卷三「Gemma 2」 | “尽管该模型参数量巨大” | 该系列最大 27B；补上讲师的保留意见（能否无限扩展还不清楚） | 幻灯片第 68 页；字幕约 95% 处 |
| 卷三「激活显存构成的参数化建模」、笔记06 | 每层激活显存 ≈ 34sbh + 5a·s²/h | sbh(34 + 5as/h) = 34sbh + 5as²b（字节，16 位激活） | 幻灯片第 46 页与 Korthikanti 等（2022）；原式量纲不对（少了 b、多除了 h） |
| 卷三「完全分片数据并行」 | 8 卡 A100 用 FSDP 能装“超过 500 亿参数” | 注明口径：每参数 12 字节（除主权重外全为 BF16），基线 66.7 亿，ZeRO-3 约 533 亿 | 幻灯片第 28 页；前文用的是 16 字节，口径不同 |
| 卷三「临界批大小」、笔记06 | 收益“断崖式递减”“远远劣于”；梯度方差“接近于零” | 收益递减 | 字幕约 37% 处：“到了某个点，收益就开始递减了” |
| 卷三「激活重计算与批大小转化」、笔记06 | 重计算开销“通常约占总前向开销的 20%～30%” | 删去这个数字，改为：代价取决于重算哪些部分（注意力较便宜，重算 MLP 代价大，一般不做） | 无出处；字幕约 66% 处讲师的说法 |
| 卷三「异构互联与系统功耗权衡」 | Groq“完全放弃外部通信” | 只用片上 SRAM、不用 HBM；补上讲师说的“功耗约为 NVIDIA 系统的四倍” | Groq 系统由大量芯片互联组成；字幕约 11–12% 处 |
| 卷三「算力与显存的双重约束」 | 顶级超算“数十乃至上百艾级” | 艾级 | 幻灯片第 4 页、字幕约 1% 处 |
| 卷三「通信频次约束与节点内拓扑绑定」 | TPU 的“全互联环形网格” | 环形网格 | 环形网格只连邻居，不是全互联 |

保留原话、未改：讲师说昇腾 910“比 H100 差了不少”、384 块芯片（CloudMatrix 384）。DeepSeek-V3 的 EP=64、PP=16 等配置与幻灯片一致。

## 第 10 讲（P10 / P28）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷四（上）开篇、卷四（中）P28、笔记08 | OpenAI 每天生成 1.6 万亿 token | 每天处理约 8.6 万亿 token | `lecture_10.py`：“processes ~8.6T tokens per day”。原文同段的“不到 4 天”（32 ÷ 8.6 ≈ 3.7）也只有按 8.6 万亿算才成立；字幕的“1.6 万亿”是转写错误 |
| 卷四（上）「自回归注意力机制的内存墙根因」、卷四（中）P28、笔记08 | 注意力 FLOPs 为 2BSTD；解码时 2BSD；P28 由此得出强度 < 0.5 | 4BSTD（QKᵀ 与 softmax·V 各 2BSTD），解码 4BSD，强度 S/(S+1) < 1 | `lecture_10.py` 的逐项账本 |
| 卷四（上）「训练后量化与激活感知量化」示意图、笔记08 | AWQ 是“混合精度紧凑权重（硬件高效非均匀存储）” | 混合精度只是动机实验；AWQ 最终用等价的按通道缩放，整矩阵统一 INT4 | AWQ 论文：混合精度对硬件不友好，因此改为缩放显著通道 |
| 卷四（上）「结构化剪枝」、笔记08 | 按“平均激活能量与信息熵”评估重要性 | 主要看激活值大小（校准集 1024 个样本） | 讲义与字幕约 80% 处；“信息熵”无出处 |
| 卷四（上）「草稿采样与目标模型精确拒绝采样流程」 | 实测经验 k 通常 3～4 全局最优 | 原论文实验里约 3～4（讲师的说法），最优值取决于接受率和速度比 | 字幕约 87% 处 |
| 笔记08「批处理规模对延迟与吞吐量的影响」表格 | 延迟、吞吐按约 3.0 TB/s 算（如 B = 8 时 0.0131 s、609 token/s） | 按表头的 H100 3.35 TB/s、讲义公式、S = 2048 重算（B = 8 时 0.0118 s、679 token/s 等） | 与表头和讲义带宽不一致 |

讲义本身的问题（页面里已注明，教材未涉及）：
- `lecture_10.py` 说 H100 上 E4M3 的范围是 [−240, 240]。H100 用的 OCP E4M3 最大值是 ±448，240 是 E4M3FNUZ 变体的最大值。
- GQA 一段（K = 8、B = 64）讲义注释写“Worse latency”，但按它自己的公式算延迟是变好的（约 23.8 ms → 10.0 ms）。讲师在课上也说“延迟改善了，吞吐量也上去了”。

保留原话、未改：讲师说 MQA“因为效果太差没人用”（PaLM、Falcon 等其实用过 MQA，页面里注明）。

## 第 9 讲（P09 / P27）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷四（上）「统计泛化界与早期实验线索」 | 1993 年 Cortes、Vapnik 训练“支持向量机等分类器” | 训练分类器（当时 SVM 尚未提出） | SVM 发表于 1995 年；字幕约 7% 处讲师只说“分类器” |
| 同上 | Kolachina 2012“首次拟合出指数在 3 到 4 之间的多项式收敛形式” | 比较多种学习曲线函数族，胜出的是 3 参数、4 参数的幂律（pow3、pow4） | 指数 3～4 与同章的数据指数约 0.1 自相矛盾；字幕的“指数是 3 和 4”指参数个数 |
| 卷四（上）「参数估计与非参数平滑的收敛速率差异」 | 把内在维度约 10 维当作“惊人的吻合” | 补上讲师的保留意见：依赖不可靠的内在维度估计，论证不严密 | 幻灯片第 20 页（“not airtight”）；字幕约 24% 处 |
| 卷四（上）「跨尺度数据配比的不变性」 | 各配比曲线“严格平行”，小规模最优“必然”最优 | 大致平行；补上讲师的提醒“现实的噪声比理想模型大得多” | 幻灯片第 23 页（“data mixture selection via scaling is hard”）；字幕约 29–30% 处 |
| 卷四（上）「测定最优计算前沿的三种实证方法」 | 方法一“在 400B FLOPs 下”预测 67B；IsoFLOP 预算“按 3 倍递增” | Gopher 的算力预算（约 5.76×10²³ FLOPs）；每个数量级取 1、3、6，原论文 6×10¹⁸～3×10²¹ 共 9 档 | Chinchilla 论文 |
| 同上 | 175B 模型的同等算力训练 70B 模型 | Chinchilla 70B 与 Gopher 280B 用同一算力预算 | Chinchilla 论文 |
| 同上（提示框） | 方法一、二的指数“完美的 0.5、0.5” | 0.50/0.50 与 0.49/0.51 | 字幕约 77% 处；Chinchilla 论文表 2 |
| 卷四（上）「规模评估差异的根源解析」 | 《Resolving Discrepancies…》出自“卡耐基梅隆大学与 MosaicML（Sardana、Frankle 等）” | Porian、Wortsman、Jitsev、Schmidt、Carmon（2024） | Sardana、Frankle 的论文是另一篇《Beyond Chinchilla-Optimal》；讲师说最后一位作者曾是本校学生 |
| 卷四（上）、卷四（中）P27、笔记07 | Pearson 与 Song | Pearce 与 Song（2024） | 论文作者名；字幕转写错误 |

## 第 11 讲（P11 / P29）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷四（上）「初始化条件的矩阵算子范数推导」与对照表、卷四（中）P29、笔记07 | μP 初始化 σ ∝ (1/√fan-in)·1/√(fan-out/fan-in) = 1/(fan-in·fan-out)^{1/4} | σ = √(fan-out/fan-in)/(√fan-in + √fan-out) = Θ((1/√fan-in)·min(1, √(fan-out/fan-in)))：只在 fan-out < fan-in 时比标准初始化小 | 幻灯片第 47、50 页。原式方向相反，等号两边也不相等（左边其实等于 1/√fan-out） |
| 卷四（上）「预热稳定衰减学习率机制」、P29、笔记07 | WSD 衰减后“甚至在多数任务上超越余弦” | 大致追平，有时略好；不少人认为余弦常稍好一点 | 幻灯片第 22 页（“generally seems to match”）；字幕约 17% 处 |
| 卷四（上）「超参数扩展法则与地形图分析」等多处、P29 | Stefan 团队 | 阶跃星辰（StepFun）团队 | 幻灯片第 32 页；字幕转写错误 |
| 同上 | 数据越多最优学习率越高（无保留） | 补上讲师的保留意见：反直觉、可能不稳固，换成 WSD 时尤其脆弱 | 幻灯片第 36 页；字幕约 47% 处 |
| 卷四（上）「优化器基准对比中的混淆因素」、P29 | Kyle、Tenghao、Percy Liang 与 David | Kaiyue Wen、David Hall、Tengyu Ma、Percy Liang（2025，《Fantastic Pretraining Optimizers and Where to Find Them》） | 字幕转写错误 |
| 卷四（上）「经验扩展法则的非线性崩溃隐患」、P29、笔记07 | 斯坦福 Maru 项目；“引入 μP 是遏制崩溃的根本出路” | Marin 项目；他们的修法是更谨慎的参数化、扩展方式和优化器，讲师强调确立扩展规律并不容易 | 全局勘误（Marin）；幻灯片第 41 页；字幕约 61–62% 处 |
| 卷四（上）「现代前沿架构下的扩展表现」 | 从 Qwen 1.5 到 Qwen 3 | 以幻灯片为准是 Qwen 2.5、Qwen 3（注明讲师口头提到 1.5） | 幻灯片第 25 页 |

## 第 12 讲（P12 / P30）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷四（上）「MMLU 及其难度升级演进」、卷四（中）P30、笔记09 | MMLU-Pro 把模型跑分“打跌至 33% 左右”；把思维链说成让题目更难 | 准确率比在 MMLU 上下降 16%～33%；思维链是给模型更多机会的评测方式 | `lecture_12.py`；字幕的“回到了 33%”是转写错误 |
| 同上、笔记09 | “50 多个学科的上千个主题”；“2023 年底 GPT-4 突破 90%” | 57 个学科；GPT-4 约 86%，如今前沿模型在 90% 以上 | `lecture_12.py`；GPT-4 技术报告 |
| 卷四（上）「GPQA」 | GPT-4 得分“30% 出头” | 39% | `lecture_12.py` |
| 卷四（上）「ARC-AGI 的设计哲学」与“本讲提到的题目”、笔记09 | 自编的 ARC 示例按“凸包补全”解释，但示范 2 只横向填充、不纵向填充，自相矛盾 | 换成规则一致的示例：每行最左与最右两个黄色格子之间填满 | 示范与规则的一致性；课上展示的真实题目是“把黄色补成矩形” |
| 卷四（上）「核心安全评估工具」、笔记09 | AIR-Bench 覆盖“数十个细分风险层级” | 314 个风险类别、5694 条提示词 | `lecture_12.py` |
| 卷四（上）「安全性的多维张力」 | 消除幻觉与能力“完全正向绑定” | 讲师认为与能力挂钩；阿谀奉承、协助违规可能随能力提升反而加剧 | 字幕约 80% 处 |
| 卷四（上）「生态效度」、笔记09 | GDP-Eval | GDPval | 讲义链接（arXiv 2510.04374） |
| 卷四（上）「数据污染危机」、P30 | “Task 团队”；利用“选项顺序随机性” | Oren 等（2023，作者含讲师 Tatsu）；利用数据集样本顺序的可交换性 | 讲义引用 arXiv 2310.17623；字幕转写错误 |
| 卷四（上）「基准自身的质量缺陷」、P30、笔记09 | DAWSON / Dawson | Transluce 的 Docent | `lecture_12.py`：“Docent: use LLM to inspect agent traces” |

保留原话、未改：讲师说 HLE 上“即便是 Mythos 也只有 64.7 分”、SWE-bench 2024 年约 16%、TAU-bench 空回复能拿约 30%。

## 第 13 讲（P13 / P31）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷四（上）「维基百科的协同机制与快照投毒风险」 | 把快照投毒讲成真实发生的事故（“全球高校和公司下载了被投毒的快照”“维基百科随后升级了机制”） | 改为研究论证（Carlini 等 2023）；触发词例子来自 Wallace 等（2020） | `lecture_13.py`：“data poisoning attacks”引用论文；字幕约 46% 处“已经有研究证明了” |
| 卷四（上）「司法判例先例」 | Anthropic 和解“折合每本约 3 至 4 美元” | 约 50 万部作品、每部约 3000 美元 | 和解公告；字幕的“三到四美元”是转写错误；卷四（下）P31 写的 3000 美元是对的 |
| 卷四（上）「反爬机制」示意图 | 《Consent in Crisis》：完全受限比例“飙升至 40%–50%”，曲线升到约 60% | 一年内 C4 最关键来源有 28% 以上被 robots.txt 完全限制（约占 C4 全部 token 的 5%）；服务条款限制约 45% 的 C4 | 论文摘要的数字；原图把 robots.txt 与服务条款混在一起 |
| 同上 | “绝大多数”网站在 robots.txt / 服务条款中禁止 AI 抓取 | “越来越多”的网站 | 同上 |
| 卷四（上）「数据工程的三阶段推进范式」、笔记10 | Qwen-2.5-72B 没有公开基座模型 | 讲义的例子是 Qwen3.5-397B-A17B；Qwen2.5-72B 的基座模型是公开的 | `lecture_13.py` |
| 卷四（上）「版权制度框架」、笔记10 | 保护期“作者终身 + 70 年（或发表后 75 年以上）” | 美国通常为作者终身 + 70 年，法人作品发表后 95 年；讲义简化为 75 年 | 美国版权法 |
| 卷四（上）「arXiv 学术论文」 | “经过严格领域准入审查的高水平论文” | 只有轻量审核，不是同行评审 | `lecture_13.py` |
| 卷四（上）演进表 | C4 来自“12 个网络快照”；CCNet 用 MinHash 去重；GPT-3 约 500GB | C4 来自 2019 年 4 月的一个快照（12 个快照是附带的类 WebText 子集）；CCNet 是段落级哈希去重；GPT-3 为 570GB（P31、笔记10 同改） | `lecture_13.py` |
| 卷四（上）、P31、笔记10 | “Nemotron-4 语料”“双分类器级联”“6 万亿” | Nemotron-CC；分类器集成；6.3 万亿（高质量子集 1.1 万亿） | `lecture_13.py`（数据集名是 Nemotron-CC） |
| 卷四（上）「教育价值打分」 | “Qwen-2.5 用了 36 万亿 token”；3.8T 跑 2 轮就会过拟合 | Qwen3 用了 36 万亿；重复几轮问题不大（第 9 讲：约 4 轮以内几乎等同新数据），但规模差得远 | `lecture_13.py`；第 9 讲 |
| 卷四（上）「DCLM」 | 全面碾压数倍规模的规则语料 | 超过其他过滤方法得到的数据 | 言过其实 |
| 卷四（上）「The Stack v2」 | 把自编的 XML 标签当成实际格式 | 注明是示意；实际用 `<pr>`、`<pr_diff>` 等特殊 token | StarCoder2 / The Stack v2 论文 |
| 卷四（上）「纯合规实验」、笔记10 | Common Corpus | Common Pile（v0.1，8TB；讲师口头说成 Common Corpus，那是 Pleias 的另一个数据集） | 讲义链接 arXiv 2506.05209 |

保留原话、未改：《安妮法令》教材写 1710 年（正确；讲义写 1709）；LLaMA 数据集教材写 1.4 万亿 token（论文数字；讲义写 1.2 万亿，可能指 RedPajama 复现）；DCLM 保留率 1.4%（讲师所说）。

## 第 14 讲（P14 / P32）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷四（中）「基于规则与模型驱动的抽取工具对比」 | Resiliparse “综合表现显著优于” Trafilatura | 两者都明显好于直接用 WET；效果相近（讲师认为 Resiliparse 更好一些），Resiliparse 快得多，DCLM 选用了它 | 讲义 `dclm-wet` 图；字幕约 4% 处 |
| 卷四（中）「OpenWebMath」、笔记10 | 150 亿 token；在 Proof-Pile 上“微调” KenLM；没有阈值 | 约 147 亿（讲义 14.7B）；训练 KenLM，保留困惑度 < 15000；fastText 阈值 0.17 / 0.8；1.4B 模型 | `lecture_14.py` |
| 卷四（中）「名家实践演进」、P32 | GPT-3 正例只有 WebText 与维基 | 维基、WebText2、Books1、Books2；按分数随机保留（pareto 采样） | `lecture_14.py`；GPT-3 论文附录 A |
| P32 | LLaMA 正例“不仅使用维基百科本身，还加入维基引用的页面” | 正例是被维基百科引用的页面，不是维基文章本身 | `lecture_14.py` |
| 卷四（中）「Phi-1」、笔记10 | 过滤“全网所有代码仓库”；“极少步数达到大模型高分” | 过滤 The Stack 的 Python 子集；随机森林基于 CodeGen 嵌入；96K 步 12.19% → 36K 步 17.68%（HumanEval，1.3B） | `lecture_14.py` |
| 卷四（中）「训练计算预算与质量阈值权衡」、P32 | 单次实验“高度确定”“足以支撑可靠决策” | 讲师只说“通常比较稳定，我是这么认为的”；理想做法仍是重复实验、给出置信区间 | 字幕约 28% 处 |
| 卷四（中）「重复语料类型」 | “在 LM-Eval 针对 10 亿规模评测集的审计中” | LM1B（十亿词基准） | 字幕转写错误；Lee 等（2021）分析了 LM1B |
| 卷四（中）「LSH 数值验算」、笔记10 | (0.892626)^5 ≈ 0.56581，P ≈ 0.43419 | 0.56669，P ≈ 0.43331（约 43.3%） | 直接计算 |
| 卷四（中）S 曲线示意图 | 在阈值 t ≈ (1/b)^(1/r) 处标注命中概率 0.5 | 阈值处命中概率 ≈ 1 − (1 − 1/b)^b ≈ 1 − 1/e ≈ 0.63 | `lecture_14.py` |
| 卷四（中）「静态混合」、P32、笔记10 | “许多团队训练后期损失震荡、性能坍塌的根本原因”“预训练彻底崩盘” | 讲师只说“有些大模型训练项目搞砸过”；运气好浪费算力，运气不好过拟合 | 字幕约 61%–62% 处 |
| 卷四（中）「UniMax」、笔记10 | 公式漏了 `$`；描述成训练中途“耗尽轮次后动态切断、重分配” | 补上 `$`；改为训练前一次算好的分配流程（按规模从小到大均分剩余预算，超过上限就封顶） | UniMax 论文（Chung 等，2023） |
| 卷四（中）「基于代理模型回归」 | “RegMix 与 DoReMi 为代表的基于回归的方法”；用拉格朗日乘子 / SQP 求解 | DoReMi 用的是分组鲁棒优化，不是回归；RegMix 是大量采样候选配比、取预测最好的几组 | RegMix、DoReMi 论文 |
| 卷四（中）「模拟轮次」、P32、笔记10 | 只对高质量数据源下采样 | 所有数据源按同一比例（小 / 大训练量之比，例如 1%）下采样 | `lecture_14.py`：“downsample all sources proportionally” |
| P32、笔记10 | 二维网格由“Megatron-LM”和“无监督聚类”得到 | 讲师举的是 Nemotron 与 OLMo 的工作；AI2 的 WebOrganizer 按主题、格式分类 | 字幕约 82% 处 |
| 卷四（中）「OpenThoughts」、笔记10 | 种子池“7.5 万道问题”；教师是“Qwen-32B”，“开源时间较早” | 27 个人工与合成来源，下采样后约 7.5 万道（120 万 / 16）；教师是 QwQ-32B | `lecture_14.py`；字幕转写错误 |
| 卷四（中）「SWE-smith」 | “人工规则”注入 Bug | 用语言模型注入 Bug；128 个仓库得到 5 万个任务 | `lecture_14.py` |
| 卷四（中）「SWE-zero」 | 静态推演能解决“绝大多数”任务；“表现卓越” | 能解决相当一部分；取得一些进展，前沿水平仍高得多；补上 Qwen3-Coder-480B 蒸馏、OpenHands、删去未来 git 提交 | `lecture_14.py`；字幕约 92%–94% 处 |
| 卷四（中）、P32、笔记10 | SWE-rebench 合成了 1200 万条轨迹 | 1200 万条是 SWE-ZERO-12M-trajectories（任务来自 SWE-rebench-v2，生成者 mini-coder-1.7b）；SWE-rebench 是 45 万 PR → 2.1 万个可交互任务 | `lecture_14.py` |
| P32 | SWE-Zero 出自“NVIDIA 的研究团队” | 删去无出处的机构归属 | 讲义未注明机构 |

保留原话、未改：C4 中某段产品描述重复约 61,000 次（讲义为 61,036）；fork 仓库“99% 内容未改”（讲师原话）；代理模型“数千万到数亿参数”（讲师原话）；UniMax 上限举例 20 轮（讲师原话）。

## 第 15 讲（P15 / P33）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷五（上）SFT 数据演进图与正文、笔记11 | NeMo-Tron | Nemotron | 讲义幻灯片 p13（Nemotron-SFT-OpenCode-v1）；字幕转写错误 |
| 卷五（上）「模型自生成与蒸馏范式」、P33 | Alpaca 是“多轮对话”数据 | 5.2 万条单轮指令数据，由 text-davinci-003 生成（讲师口头说成 ChatGPT） | Alpaca 项目说明 |
| 卷五（上）“虚假繁荣”示意图、笔记11 | 胜率 +30%、能力 +0.2% | 改为“大幅上升 / 基本不变”（原数字无出处） | 讲义 p18 只说“对其他基准大多无关” |
| 卷五（上）「知识强行灌注」、P33 | 讨论“高管薪酬政策”；引文 Bivens & Michelle / Bevans & Michelle | 问题是劳动力市场的“买方垄断”；引文是 Bivens, J., & Mishel, L. (2013) | 讲义 p12、p19 原文 |
| 卷五（上）「安全微调」 | 500 个样本是对“注意力方向施加矢量偏置” | 讲师的直观说法：在已有的“安全 / 不安全”方向上轻推一下 | 字幕约 39% 处 |
| 卷五（上）「衰减阶段消融」 | 自动配比方法在大规模下“无一例外极其脆弱” | 讲师认为往往不太稳健，更多靠试错 | 字幕约 48%–51% 处 |
| 卷五（上）「验证不对称性」、P33 | “大量写手一致判定”模型摘要“显著优于”自己的；编造的访谈原话 | 有些写手觉得模型摘要比自己的好；采访大意是“没意识到原来这样写更好” | 字幕约 55% 处；Zhang 等（2023） |
| 卷五（上）、P33、笔记11 | 猫头鹰例子归为“涌现性错位” | 注明出自“潜意识学习”（Subliminal Learning，Cloud 等，2025） | 讲师口头归类有误 |
| 卷五（上）、P33、笔记11 | Zephyr 纯人工数据“全面落后”，切换后“质的飞跃” | 又慢又贵，效果并不比模型标注更好，最后用了 AI 反馈 | 字幕约 75%–76% 处 |
| 卷五（上）「DPO 变体」 | SimPO 由“香港科技大学”提出 | 普林斯顿大学（Meng、Xia、Chen，2024） | SimPO 论文 |
| 卷五（上）「奖励模型过度优化」 | 哈金定律 | 古德哈特定律（Goodhart's Law） | 译名错误 |
| 卷五（上）同节 | 真实质量“沦为不可读的乱码或精神污染” | 真人评估的真实质量下降 | 言过其实 |
| 卷五（上）「模式崩溃与校准」、P33、笔记11 | 对齐后模型的概率“死死钉在 99.9%（99%）” | 校准变差、过度自信；GPT-4 技术报告列为未解决问题 | 讲义 p64；字幕约 96% 处 |
| 卷五（上）「RLVR 前瞻」 | 可验证奖励“100% 确定、无懈可击、绝对无法欺骗” | 更客观、难靠措辞取巧，但仍可能被钻空子 | 言过其实 |
| 卷五（上）「课后作业提示」 | 作业考察 GAE 细节与 GRPO 代码 | 讲师只说 PPO 下节课讲，作业会用到 GRPO | 字幕约 97% 处 |

保留原话、未改：Tülu 3 安全模块约 5 万个样本、Llama 2 安全 SFT 约几千个样本、专家标注时薪中位数 50 美元以上（均为讲师原话）；后训练模型观点更接近佛教徒、印度教徒、无神论者，讲师将其归因于 InstructGPT 标注员多来自东南亚和美国西海岸（讲师原话）；“AI2 一篇论文说 PPO 更好，后来 Tülu 2 又说 DPO 做对了更好”（讲师原话，Tülu 2 / Tülu 3 的指代未核实）。

## 第 16 讲（P16 / P34）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷五（上）「组内 Z 分数优势估计」 | GRPO “节约一半显存”“全面碾压 RFT” | 省掉与策略同样大的价值模型；在 DeepSeekMath 中明显优于 RFT，过程监督还能再提升一些 | 讲义 p21 |
| 卷五（上）「策略梯度基线定理」、笔记11 | 全对 / 全错时 σ→0、权重被放大；“30%–70% 的题目权重反而被抑制” | 全对 / 全错时优势为 0、不更新；除以 σ 是把每题总更新量从 ∝ p(1−p) 变成 ∝ √(p(1−p))，相对抬高接近全对 / 全错的题；原“30%–70%”无出处 | 直接推导；讲义 p24 |
| 卷五（上）「R1 完整流程」、P34、笔记11 | 拒绝采样“数十万条”；最后的 RLHF“沿用 DeepSeek-V3 架构、传统偏好模型” | 推理 60 万 + 非推理 20 万条，SFT 2 个 epoch；最后的 RLHF 沿用 V3 的流程，算法仍是 GRPO | 讲义 p35 |
| 卷五（上）「蒸馏」 | 未给数量 | 约 80 万条 R1 思维链 | 讲义 p37 |
| 卷五（上）「Kimi 难度过滤」、P34、笔记11 | 8 次全对剔除、全错剔除，只留 1/8–7/8 | 讲义：只保留 best-of-8 仍失败的题；Kimi 原文：不写思维链直接猜，8 次内猜中即为“容易投机”而剔除 | 讲义 p41；字幕约 55% 处 |
| 卷五（上）「动态题库」、P34、笔记11 | 掌握后“立即移出题库” | 按 (1 − 成功率) 比例采样，并由易到难做课程（讲师口头说成移出） | 讲义 p44 |
| 卷五（上）「Kimi 长度控制」、笔记11 | 激励长度略短于该题“历史移动平均线” | λ = 0.5 − (len − min)/(max − min)，同一题这批回答内比较；错误回答只得 min(0, λ)；训练后期才打开 | 讲义 p43；Kimi k1.5 论文 |
| 卷五（上）「Qwen3」 | 约 4000 个样本 | 3995 个 | 讲义 p51 |
| 卷五（上）「Qwen-Coder-Next 专家」、P34、笔记11 | UX 专家“专精交互接口与可视化设计”；QA 专家“专精测试用例与漏洞挖掘” | UX 专家：在多种工具调用格式上训练；QA 专家：单轮代码合成问答，只是数据更多 | 讲义 p58；字幕约 85% 处 |
| 卷五（上）「真实环境构建」 | 未给规模 | 自动构建约 80 万个 SWE-bench 式任务 | 讲义 p59 |
| 卷五（上）「临场告诫」 | Lean “经过数天的对抗强化学习”被“字符串注入攻击” | 讲师只说 Lean 不具备对抗鲁棒性，插入某些字符串就能让不该通过的证明通过 | 字幕约 88% 处 |

保留原话、未改：KL 项逐 token 计算所以“不只是老虎机问题”与 γ = λ = 1 时“退化为老虎机”（两句都是讲师原话，讲义 p15 称其为老虎机问题）；思维链变长“是长度归一化的自然结果”、顿悟“基础模型里就有”（讲师观点，依据 Dr. GRPO 的后续分析）；Qwen-Coder-Next 3B 激活参数、SWE-bench 约 70.6%（讲师原话）。

## 第 17 讲（P17 / P35）

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷五（上）「零样本迁移分类」 | 在“包含 120 万张图像的 ImageNet 验证集”上 | 零样本 CLIP 超过了在 ImageNet 120 万张训练图像上训练的 ResNet-50（验证集只有 5 万张） | `lecture_17.py` |
| 卷五（上）「OpenCLIP」 | LAION-5B 含 51 亿图文对 | 约 58.5 亿（字幕说成 51 亿） | LAION-5B 论文 |
| 卷五（上）「SigLIP 解耦」 | 无偏性“确保绝不会表征崩溃” | 讲师：小 batch 方差大但期望一致；小于 16k 时明显优于 CLIP，32k 以上无实质帮助 | `lecture_17.py`；字幕约 35% 处 |
| 卷五（上）「WebLI」 | 11 亿多语言图文对 | 十亿量级、约 100 种语言、只保留质量最高的 10% | `lecture_17.py` |
| 卷五（上）「训练能效对比」、笔记11 | SigLIP 表现“甚至优于 / 全面超越” CLIP；本质原因是“损失解耦消除了通信气泡” | 只说更快；讲师解释：TPU v4 单芯片算力不更高，优势在规模与互联，CLIP 可能没优化吞吐 | 字幕约 32%–33% 处 |
| 卷五（上）Qwen-VL 适配器示意图 | 查询向量 + 2D RoPE | 2D 绝对位置编码（正文本来就这么写） | Qwen-VL 论文 |
| 卷五（上）「维度交错 M-RoPE」「残差流融合」整节、笔记11 | 交错 M-RoPE、显式时间戳、DeepStack、8k/32k/256k 预训练都归于 Qwen2.5-VL | 讲义列在 Qwen3-VL 名下（课堂口头说成 Qwen2.5-VL）；补上 Qwen3 语言模型、SigLIP-2 | `lecture_17.py` `qwen3_vl()` |
| 同上、P35、笔记11 | RoPE “靠前通道低频、靠后通道高频”，时间轴全是低频 | θ_i = base^(−2i/d)，靠前通道频率高；分块时时间轴只拿到高频、最后一个轴只拿到低频（讲师口头说反，结论相同） | RoPE 定义 |
| 同上、P35、笔记11 | 视觉特征通过“门控融合适配器”注入残差流 | DeepStack：把视觉特征加到语言模型多个层的残差流（跨层融合），讲义未提门控 | `lecture_17.py` |
| 同上 | 综合能力“全面逼近甚至超越 GPT-4o 与 Gemini” | 讲义称 SOTA；讲师评价“相当出色” | 字幕约 75% 处 |
| 卷五（上）「统一词表」、笔记11 | BPE 词表 65,536 与 8,192 个图像码字“拼接” | 重新训练的 BPE 分词器共 65,536 个词元，其中包含 8,192 个图像码字 | Chameleon 论文；`lecture_17.py`“Train a new BPE tokenizer” |
| 卷五（上）「视频 I/O」、笔记11 | 串行加载时 GPU“超过 60%”时间空闲 | 删去无出处的数字；讲师只说视频加载可能成为麻烦，要异步加载 | 字幕约 78%–80% 处 |

保留原话、未改：LLaVA-OneVision 视频最多取 32 帧；投影层约 7200 万参数、ViT 通常不到 10 亿参数（讲师原话）；“CLIP 论文试过一维与二维位置编码，差异不大”（讲师原话）。

## 第 18 讲（嘉宾讲座 Dan Fu，P18 / P19）

本讲没有官方讲义，以 P18 字幕全文为准。

| 位置 | 原文 | 修改后 | 依据 |
|---|---|---|---|
| 卷五（上）「连续批处理与层级存储调度」、笔记12 | LRU “理论上被证明”与 Belady 最优“相差不超过两倍” | 讲师只说“记得有论文说最多差两倍”；严格结论是给 LRU 两倍缓存时才成立，同样缓存大小时最坏可差 k 倍 | 字幕约 41% 处；Sleator & Tarjan（1985） |
| 卷五（上）「系统隐患」 | “64 块 GPU 张量并行切分” | 模型被分到 64 块 GPU 上（讲师未说是张量并行） | 字幕约 45% 处 |
| 卷五（上）「缓存感知动态路由」 | “Together AI 与斯坦福联合研发” | Together AI 发布的工作（超大内核才是斯坦福与 Together 的合作） | 字幕约 46%、50% 处 |
| 卷五（上）「超大内核」、笔记12 | 30%–70% 的“端到端加速”；72% “逼近半导体工艺的物理极速” | 只对注意力推理内核做超大内核时该内核加速 30%–70%；整层（Llama 1B）合并后在 H100 上达到带宽上限的 72% | 字幕约 55%–60% 处 |
| 卷五（上）同节 | 顶尖工程师一年只能为“两到三种架构”定制；batch 到 17 时“内存体系直接崩溃” | 一年为一种硬件做出两三个模型的超大内核；batch 到 17 就得推倒重来 | 字幕约 88% 处 |
| 卷五（上）「循环架构动因」 | 参数缩减后“彻底消除张量并行通信” | 能腾出 KV Cache 空间，或减少跨 GPU 拆分的通信 | 字幕约 86% 处 |
| 卷五（上）「谱半径分析」、笔记12 | 前人的 A（恒等或可学习）“谱半径天然 ≥ 1” | 恒等矩阵谱半径恰为 1（稳定边界）；不受约束时可能大于 1（讲师：“要么边界稳定，要么不稳定”） | 字幕约 71% 处 |
| 卷五（上）「负对角重参数化」 | 负对角矩阵的特征值“在物理上被严格锁定”小于 1 | 注明这要求对角元素模小于 1，具体参数化以论文为准 | 字幕约 71% 处 |
| 卷五（上）「三维缩放定律」结论 | “理论和实验上证明”循环能“远超现存架构” | 讲师：初步缩放定律提示或许能做得更好，不是定论 | 字幕约 81% 处 |
| 卷五（上）「协同设计」 | 中国模型“明显在针对华为昇腾” | 讲师推测一些量化选择暗示可能在考虑华为新芯片 | 字幕约 90% 处 |
| 卷五（上）「通信融合」、笔记12 | 通信延迟“几乎被完全隐藏” | 讲师：能把 NCCL 调用融进超大内核，但还没找到杀手级场景；DeepSeek 为 MoE 推理层做了部分通信融合 | 字幕约 96% 处 |
| P19 | 72% “逼近半导体工艺的理论天花板” | 删去夸张说法 | 同上 |

保留原话、未改：1902 年曼哈顿 13 万匹马、1912 年汽车超过马匹（讲师原话）；循环模型名称按字幕记作 Per-Se / Parce（原名未核实）；Groq LPU 约 250MB SRAM（讲师原话，Groq 官方数字为 230MB）。