# 附录 术语、推算与出处
> 本章问题：书里的数字从哪里来？
> 来源：https://llm.weiborao.link/#appx
本附录收录三样东西：全书术语、本书自己做的推算及其推导，以及正文引用的主要出处。资料截至 2026 年 10 月 8 日。
### A.1 术语小词典
Token（词元）
: 模型处理文字的基本单位，可能是一个字、一个词或一个词的片段（第 3 章）。
分词 / BPE
: 把文本切成 Token 的过程；BPE 从字母出发反复合并最常见的一对来造词表。
向量 / 嵌入
: 一串数字，表示一个 Token 或一段文字在“意思空间”里的位置。
参数 / 权重
: 神经网络里所有可调的数字，训练调的就是它们（第 2 章）。
梯度下降 / 反向传播
: 按误差一步步调整参数的方法；反向传播负责把误差的责任分到每一层。
Transformer
: 2017 年提出的网络结构，由注意力和前馈网络层层堆叠而成（第 4 章）。
注意力
: 每个位置回头看前文、按相关程度混合信息的计算。
缩放定律
: 损失随模型、数据、算力规模按幂律下降的经验规律。
预训练 / 微调 / RLHF
: 在海量文本上学规律 / 在示范数据上学格式 / 用人的偏好学“什么是好”（第 5 章）。
推理模型
: 回答前先生成思考 Token 的模型，常用可自动判分的任务做强化学习训练。
推理（inference）
: 运行训练好的模型生成输出的过程（第 6 章）。
预填充 / 解码
: 并行读完输入 / 一次生成一个 Token 的循环。
KV 缓存
: 存下前文每个 Token 的 Key 和 Value，避免重复计算，代价是占显存。
TTFT / ITL
: 首 Token 延迟 / Token 间延迟。
温度
: 控制采样随机程度的参数。
幻觉
: 流畅自信但不实的输出（第 7 章）。
RAG
: 检索增强生成：先检索资料，再让模型根据资料回答。
Agentic RAG
: 由模型自己规划检索：拆解问题、决定查什么和查几轮、自评信息是否足够（第 7 章）。
CRAG / LegalBench-RAG
: 两个 RAG 基准：前者考综合问答的可信度，后者专考法律领域的精确检索。
向量数据库
: 存储向量、按意思（夹角）检索的数据库。
Agent（智能体）
: 大模型 + 工具 + “思考、行动、观察”循环（第 8 章）。
物理 AI / 世界模型
: 在三维真实世界中行动的 AI / 能预测“世界接下来会怎样”的模型，用于给机器人和自动驾驶提供练习场（第 8 章）。
MCP
: 模型上下文协议，AI 应用连接工具与数据源的统一接口。
GPU / 张量核心
: 擅长大规模并行计算的处理器 / 专做矩阵乘法的单元（第 9 章）。
数据 / 张量 / 流水线并行
: 把训练分给多块 GPU 的三种拆法。
集合通信 / AllReduce
: 多块 GPU 一起交换和汇总数据的操作（第 10 章）。
NVFP4
: NVIDIA 的 4 位浮点格式，Blackwell 一代主打的低精度计算格式（第 9 章）。
SHARP / 网内计算
: 在交换机里就地聚合数据，减少集合通信需要在网络上传输的数据量（第 10 章）。
NVLink / NVSwitch
: 服务器内 GPU 之间的高速互联。
RDMA / RoCEv2 / InfiniBand
: 绕过 CPU 和操作系统直接读写远端内存 / 跑在以太网上的 RDMA / 原生 RDMA 网络。
CUDA / NCCL
: 指挥 GPU 计算的平台 / 指挥 GPU 通信的库。
Kubernetes / Slurm
: 容器编排平台 / 超算作业调度器。
ECMP / 逐包喷洒
: 按流哈希分路 / 按包选最空的路（第 11 章）。
PFC / ECN / DCQCN
: 以太网的暂停帧 / 拥塞标记 / 两者结合的拥塞控制算法。
超以太网（UEC）
: 为 AI 和高性能计算重新设计以太网传输的开放标准，1.0 版于 2025 年发布。
AI 工厂
: 为 AI 全生命周期设计的全栈基础设施，输入电和数据，产出 Token，以 Token 吞吐量衡量（第 12 章）。
企业参考架构（Enterprise RA）
: NVIDIA 发布的企业 AI 工厂集群设计指南，覆盖计算、网络、存储与软件（第 13 章）。
C-G-N-B 参考配置
: 节点代号：CPU 插槽数-GPU 数-网卡数-每 GPU 平均东西向带宽，如 2-8-9-400。
可扩展单元（SU）
: AI 工厂扩展的基本积木：RTX PRO 与 HGX 为 4 台服务器，NVL72 为 1 个机柜。
设计评审委员会（DRB）
: NVIDIA 工程师主导的评审，审查合作伙伴的集群设计是否符合参考架构。
SuperNIC / DPU
: 为东西向 AI 网络优化的网卡 / 自带处理器、负责南北向、存储与安全卸载的网卡（第 14 章）。
轨道优化
: 把所有服务器上同一编号的 GPU 网卡接到同一组叶交换机上的东西向布线方式。
带外管理（OOB）
: 连接 BMC 与设备管理口、与业务网络物理隔离的管理网络。
### A.2 本书的推算
以下数字为本书估算，正文中已标注。推导用到的原始数字均来自 A.3 所列出处。
表 A-1 推算与推导
| 结论 | 推导 |
| --- | --- |
| 一块 H100 的有效算力约 4×10¹⁴ 次/秒 | BF16 稠密 989 TFLOPS（官网稀疏口径 1,979 的一半）× 40% 利用率 |
| GPT-3 训练 ≈ 一块 H100 算 25 年 | 3.14×10²³ ÷ (3.956×10¹⁴ × 3.156×10⁷ 秒/年) ≈ 25.2 年 |
| Llama 3.1 405B ≈ 一块 H100 算 3,000 年；1.6 万块约 70 天 | 3.8×10²⁵ ÷ 3.956×10¹⁴ ≈ 9.6×10¹⁰ 秒 ≈ 3,044 年；÷ 16,000 ≈ 69.5 天 |
| 6ND 与论文一致 | 6 × 4.05×10¹¹ × 1.56×10¹³ ≈ 3.79×10²⁵ |
| DeepSeek-V3 ≈ 一块 H800 算约 320 年 | 278.8 万 GPU 时 ÷ 24 ÷ 365.25 ≈ 318 年 |
| 405B 训练数据约 60 TB 文本 | 15.6 万亿 Token × 约 4 个英文字符/Token；粗略量级 |
| KV 缓存每 Token 约 516 KB；12.8 万 Token 约 68 GB | 2（K 和 V）× 126 层 × 8 个 KV 头 × 128 维 × 2 字节 = 516,096 字节；× 131,072 |
| 405B 解码单请求约每秒 60 多个 Token | FP8 权重 405 GB ÷ 8 卡 ≈ 50.6 GB/卡；÷ 3.35 TB/s ≈ 15 毫秒/Token；未计其他开销 |
| 405B 训练状态约 6.5 TB，至少 81 块 H100 | 4.05×10¹¹ 参数 × 约 16 字节（混合精度 Adam 的常见粗算）≈ 6.48 TB ÷ 80 GB |
| Llama 3 训练约 3 小时中断一次 | 54 天 × 24 小时 ÷ 419 次意外中断 ≈ 3.1 小时 |
| 环形 AllReduce，8 卡每卡发送 1.75 倍数据 | 2 × (8 − 1) ÷ 8 |
| Chinchilla 约 20 Token/参数 | 1.4 万亿 ÷ 700 亿 |
| 一个单元的东西向带宽：RTX PRO 6.4、HGX B300 25.6、NVL72 57.6 Tb/s | 4 台 × 4 × 400G；4 台 × 8 × 800G；18 托盘 × 3,200 Gb/s（网卡数与速率取自三份参考架构） |
| 存储配额 12.5 Gb/s/GPU ≈ 1.56 GB/s/GPU ≈ 12.5 GB/s/台 | 12.5 ÷ 8 = 1.5625 GB/s；× 8 块 GPU = 12.5 GB/s；交叉验证：16 × 12.5 = 200 Gb/s（原文例子），32 × 100 Gb/s ÷ 256 GPU = 12.5 Gb/s（32 节点设计） |
| NVLink 与网卡同口径相差约 9 倍 | H100 NVLink 900 GB/s 为双向，单向约 450 GB/s；400 Gb/s 网卡单向 50 GB/s；450 ÷ 50 = 9 |
| 每 GPU 带宽配额之比约 32 : 2 : 1 | 东西向 400 Gb/s : 客户 ≥ 25 Gb/s : 存储 ≥ 12.5 Gb/s（HGX 参考架构 32 节点设计） |
| 一个 SU 东西向 12.8 Tb/s、南北向 1.6 Tb/s | 4 台 × 8 × 400 Gb/s；4 台 × 2 × 200 Gb/s（参考架构原文给出） |
| 交换机间光模块增长约 5 倍，快于 GPU 的 4 倍 | 1,408 ÷ 274 ≈ 5.1；1,024 ÷ 256 = 4（参考架构附录表 10） |
| AI 工厂收入 ≈ 电力 × 每瓦 Token × 每 Token 价格 | 对黄仁勋 2026 年“每瓦吞吐量就是收入”表述的归纳，只表达结构，未计折旧、利用率与运营成本 |
### A.3 事实核查说明
全书的可核查陈述（日期、数字、引语、产品与规格）均对照一手出处核对过：论文以 arXiv 原文为准，产品与模型以发布方官网为准，硬件与参考架构以 NVIDIA 官方文档为准，引语以 NVIDIA 官方博客与新闻稿所载为准。资料截止日为 2026 年 10 月 8 日。核查中无法取得一手出处的说法已从正文删除（例如“ChatGPT 两个月 1 亿用户”）；与出处不符的说法已修正（例如 IMO 金牌比例、GPQA 的描述、R1 “顿悟时刻”的主体）；出处本身前后不一致的地方，正文已注明两种写法。厂商性能数字一律标注为厂商口径；本书自己的推算标注为“估算”，推导见 A.2。
### A.4 主要出处
黄仁勋的原话以 NVIDIA 官方博客与新闻稿所载为准，有官方中文的直接采用，其余为本书译文；厂商的性能数字均为厂商口径；各公司对新模型的评测以自家为主。Muse 个人 Agent 应用的上线日期来自二手报道。
#### AI 工厂定义与 NVIDIA 参考架构
- NVIDIA 术语表：AI 工厂（英文）：
- NVIDIA 术语表：AI 工厂（官方中文）：
- NVIDIA 参考架构文档总览（含合作伙伴背书设计表）：
- NVIDIA Enterprise Reference Architectures 产品页：
- NVIDIA RTX PRO AI Factory 参考架构：
- NVIDIA HGX AI Factory（HGX B300）参考架构：
- NVIDIA NVL72 AI Factory（GB300 NVL72）参考架构：
- NVIDIA HGX AI Factory（HGX H100、H200、B200）参考架构：
- NVIDIA Reference Architectures for Enterprise AI Factories 白皮书：
#### 黄仁勋原话出处
- GTC 2024 主题演讲回顾（2024-03）：
- COMPUTEX 2024 主题演讲回顾（2024-06）：
- GTC 2025 主题演讲实时回顾（2025-03）：
- Blackwell Ultra 新闻稿（2025-03）：
- COMPUTEX 2025 主题演讲回顾（英文）：
- COMPUTEX 2025 主题演讲回顾（官方中文）：
- GTC 巴黎主题演讲回顾（2025-06）：
- NVIDIA 欧洲 AI 基础设施新闻稿（2025-06）：
- GTC 华盛顿特区回顾（2025-10）：
- Vera Rubin DSX AI 工厂参考设计新闻稿（2026-03）：
- GTC 2026 主题演讲回顾（2026-03）：
- GTC 台北暨 COMPUTEX 2026 回顾（2026-06）：
#### 历史与模型
- Dartmouth 提案（1955）：
- Rumelhart, Hinton, Williams：反向传播（Nature, 1986）：
- IBM：深蓝：
- AlexNet（NIPS 2012）：
- word2vec（2013）：
- DeepMind：AlphaGo：
- Attention Is All You Need（2017）：
- BERT（2018）：
- OpenAI：GPT-2（2019）：
- GPT-3（2020）：
- Kaplan 等：缩放定律（2020）：
- Chinchilla（2022）：
- InstructGPT（2022）：
- Wei 等：涌现能力（2022）：
- Schaeffer 等：涌现是幻象吗（2023）：
- Sutton：The Bitter Lesson（2019）：
- The Llama 3 Herd of Models（2024）：
- DeepSeek-V3 技术报告（2024）：
- DeepSeek-R1（2025）：
- OpenAI：o1-preview（2024）：
- OpenAI：Understanding and counting tokens：
- tiktoken 编码定义：
- TechCrunch：Why AI can’t spell “strawberry”（2024-08-27）：
- DeepMind：Gemini Deep Think 达到 IMO 金牌水平（2025-07）：
- OpenAI IMO 2025 证明（GitHub）：
#### 评测与 RAG
- Lewis 等：RAG（2020）：
- RAGAS（2023）：
- RGB：Benchmarking LLMs in RAG（2023）：
- MMLU（2020）：
- GSM8K（2021）：
- HumanEval（2021）：
- GPQA（2023）：
- SWE-bench Verified（2024）：
- Humanity’s Last Exam（2025）：
- ARC-AGI-2（2025）：
#### Agent 与最新进展
- OpenAI：Introducing ChatGPT（2022-11-30）：
- OpenAI：Introducing GPT-5（2025-08-07）：
- Linux Foundation：A2A 项目新闻稿（2025-06-23）：
- GPQA（2023）：
- 作者的“AI 认知地图”（图 0-2 的底稿）：
- CRAG（2024）：
- LegalBench-RAG（2024）：
- RAGAS 指标文档：
- Mem0（GitHub）：
- Google：NotebookLM 音频概览（2024-09-11）：
- Google：NotebookLM 视频概览（2025-07-29）：
- GLUE（2018）：
- SuperGLUE（2019）：
- MATH（2021）：
- MBPP（2021）：
- SentencePiece（2018）：
- NVIDIA Cosmos 论文（2025-01）：
- NVIDIA Cosmos 产品页：
- NVIDIA GB300 NVL72 产品页：
- NVIDIA SHARP 文档：
- ReAct（2022）：
- Lilian Weng：LLM Powered Autonomous Agents（2023）：
- Anthropic：Claude 3.7 Sonnet 与 Claude Code（2025-02）：
- Anthropic：Claude 4（2025-05）：
- Anthropic：MCP 捐赠与 Agentic AI Foundation（2025-12）：
- Anthropic：Claude Opus 5.5（2026-09）：
- OpenAI：Introducing Codex（2025-05）：
- OpenAI：GPT-5-Codex（2025-09）：
- OpenAI：GPT-5.5（2026-04）：
- OpenAI：GPT-6 for everyone（2026-10）：
- Google：Gemini 3（2025-11）：
- Meta：Muse Spark 1.1 与 Meta Model API（2026-07）：
- Meta：Muse Spark 1.3（2026-09）：
- Microsoft Research：Muse（WHAM，2025-02）：
- METR：Measuring AI Ability to Complete Long Tasks（2025-03）：
- METR：Time horizons（持续更新）：
#### GPU、通信与网络
- NVIDIA H100：
- NVIDIA H200：
- NVIDIA GB200 NVL72：
- NVIDIA：Blackwell Ultra 技术博客：
- NVIDIA Vera Rubin NVL72：
- NVIDIA DGX GB200 用户指南（机柜功耗）：
- NVIDIA：800 V 直流供电架构：
- NVIDIA：What is an AI factory：
- NVIDIA：LLM 推理优化（预填充与解码、KV 缓存）：
- NCCL 文档：
- nccl-tests：带宽计算说明：
- NVIDIA：What is CUDA：
- GPUDirect RDMA：
- GPUDirect Storage：
- Kubernetes 的历史：
- NVIDIA GPU Operator：
- NVIDIA 开源 KAI Scheduler（2025-04）：
- NVIDIA 收购 SchedMD（2025-12）：
- NVIDIA：RoCE 文档（UDP 4791）：
- Microsoft Research：DCQCN（SIGCOMM 2015）：
- Meta：RoCE networks for distributed AI training at scale（2024）：
- NVIDIA Spectrum-X：
- NVIDIA：Spectrum-X 技术博客（逐包路由与乱序处理）：
- UEC 成立（2023-07）：
- UEC 规范 1.0 发布（2025-06）：
- UEC 1.0 规范：
#### Cisco
- Cisco AI POD 与 UCS C885A M8（2024-10）：
- Cisco AI POD 一览：
- Cisco 与 NVIDIA 扩展合作（2025-02）：
- Cisco Secure AI Factory with NVIDIA（2025-03）：
- Cisco AI Defense（2025-01）：
- Cisco Silicon One P200 与 Cisco 8223（2025-10）：
- Cisco N9100 等 AI 网络发布（2025-10）：
- Cisco Silicon One G300（2026-02）：
- Cisco Secure AI Factory 扩展到机柜级系统（2026-08）：