# 第 12 章 AI 工厂：定义、黄仁勋的工厂论与经济账

> 本章问题：AI 工厂到底是什么？为什么说它生产的是 Token？
> 来源：https://llm.weiborao.link/#ch12

**上一章留下的问题：**算力、通信、网络都有了。要把它们组装成一座真正能交付“智能”的工厂，还缺什么？企业要怎样建、怎样管、怎样保证安全？

“AI 工厂”这个词，最近两年出现在几乎每一场 AI 基础设施的发布会上。它到底是一个精确的工程概念，还是一句营销口号？本章分四步回答：先给出一个可以拿来检验的**定义**；再按时间顺序读一遍黄仁勋两年来的原话，看这个概念是怎样一步步长出来的；然后算一笔**经济账**，说明为什么“每瓦能产出多少 Token”成了核心指标；最后看企业为什么需要、又为什么难以建成自己的 AI 工厂。接下来的两章，再把“建厂图纸”逐页摊开。

### 12.1 一个精确的定义

定义要从权威出处取，而不是凭印象概括。关于 AI 工厂，有三份值得逐字读的表述。

**第一份：NVIDIA 官方术语表。**这是最接近“词典定义”的一份，中文版是 NVIDIA 官网自己的译文：

> AI 工厂是一种专业计算基础设施，通过管理整个 AI 生命周期（从数据采集到训练、微调和大量 AI 推理），从数据中创造价值。其核心产出是“智能”，通常以 Token 吞吐量来衡量，用于推动决策制定、自动化流程以及新的 AI 解决方案。
>
> —— NVIDIA 术语表“AI 工厂”（nvidia.cn 官方中文）；英文原文：“An AI factory is a specialized computing infrastructure designed to create value from data by managing the entire AI life cycle, from data ingestion to training, fine-tuning, and high-volume AI inference. The primary product is intelligence, measured by token throughput…”

**第二份：企业 AI 工厂。**NVIDIA 为企业参考架构写的白皮书，把定义落到了“企业能建的东西”上：

> 企业 AI 工厂是一个大规模制造智能的全栈平台。它整合了来自 NVIDIA 和生态伙伴的加速计算、网络、存储、软件、模型、数据管道与安全能力。它为本地和混合环境而建，必须适应客户数据中心的真实约束，包括空间、电力、散热、网络集成以及既有的运维工具。
>
> —— NVIDIA《Reference Architectures for Enterprise AI Factories》白皮书（本书译）；原文：“An Enterprise AI Factory is a full-stack platform for manufacturing intelligence at scale…”

**第三份：黄仁勋自己的话。**2025 年 5 月 COMPUTEX 主题演讲，这是他给出的最直白的一次定义（NVIDIA 中文博客官方译文）：

> 它们不是传统的数据中心。称之为 AI 数据中心其实不太贴切。它们实际上就是 AI 工厂。给它注入能量，它就会生产出非常有价值的产品，这些产品就叫做 token。
>
> —— 黄仁勋，COMPUTEX 2025 主题演讲，2025 年 5 月 19 日（台北）；原文：“They’re not data centers of the past. These AI data centers, if you will, are improperly described. They are, in fact, AI factories. You apply energy to it, and it produces something incredibly valuable, and these things are called tokens.”

三份表述角度不同，但共享四个要素。把它们合起来，就得到本书使用的定义：

**本书的定义**　AI 工厂是一套为 AI 全生命周期（数据摄取、训练、微调、大规模推理）专门设计的全栈基础设施：**输入**是电力与数据，**过程**由加速计算、网络、存储、软件与安全协同完成，**产品**是 Token（模型的输出、回答与行动），**衡量**标准是 Token 吞吐量、每瓦 Token 数与每个 Token 的成本。

> 【图示】AI 工厂的输入与输出：输入是电和数据，工厂里是 GPU、网络、存储和软件；输出是 Token，也就是模型、回答和 Agent 的行动。衡量产能的指标是 Token 吞吐量，以及每瓦电产出多少 Token。

**图 12-1** AI 工厂的输入、产线与产品。它和传统数据中心最本质的区别，不在于装了 GPU，而在于整座设施围绕“产出 Token”这一个目标来设计和计量。

##### AI 工厂是

- 以 Token 产出为目标、按产能和单位成本计量的整套设施
- 覆盖从数据到推理的全生命周期，而不只是训练集群
- 计算、网络、存储、软件、电力散热与安全的协同设计

##### AI 工厂不是

- 在传统机房里插几块 GPU：功率、网络、存储都不匹配
- 一个只属于 NVIDIA 的产品型号：它描述的是一类基础设施
- 只有超大公司才建得起的东西：参考架构的起点是 4 台服务器（第 13 章）

### 12.2 黄仁勋的“工厂论”：两年里的十几句话

“AI 工厂”不是一夜之间出现的概念。按时间顺序读黄仁勋的原话，能看到一条清楚的演进线：先说“通用计算到头了”，再说“数据中心会变成工厂”，接着说“工厂的产品是 Token”，最后说“每瓦 Token 就是收入”。

> 【图示】黄仁勋关于 AI 工厂的说法的演进，2024 年 3 月到 2026 年 6 月：从“加速计算到达临界点、数据中心将成为 AI 工厂”，到“注入能量、产出 Token”，再到“智能 Token 是新的货币”“每瓦吞吐量就是收入”。

**图 12-2** 黄仁勋关于 AI 工厂的说法，2024 年 3 月到 2026 年 6 月。图中是摘要，原话与出处见下文和附录。

#### 第一阶段（2024）：通用计算到头了，数据中心要变成工厂

> “Accelerated computing has reached the tipping point — general purpose computing has run out of steam.”
>
> 加速计算已经到达临界点——通用计算已经后继乏力。
>
> —— GTC 2024 主题演讲，2024 年 3 月 18 日（本书译）

> “In the future, data centers are going to be thought of … as AI factories. Their goal in life is to generate revenues, in this case, intelligence.”
>
> 未来，人们会把数据中心看作 AI 工厂。它们存在的目的是创造收入，在这里，就是创造智能。
>
> —— GTC 2024 主题演讲，2024 年 3 月 18 日（本书译）

> “The more you buy, the more you save.”　“The next wave of AI is physical AI. AI that understands the laws of physics, AI that can work among us.”
>
> 买得越多，省得越多。　AI 的新一波浪潮是物理 AI：理解物理定律、能和我们一起工作的 AI。
>
> —— COMPUTEX 2024 主题演讲，2024 年 6 月

第一句“买得越多，省得越多”的上下文，是 NVIDIA 当时的说法：GPU 与 CPU 结合，可以在功耗只增加约 3 倍的情况下获得最高约 100 倍的加速。它的论证对象是“同样的工作量用更少的电和钱完成”。

#### 第二阶段（2025 上半年）：推理、Agent 与“工厂的操作系统”

> “AI has made a giant leap — reasoning and agentic AI demand orders of magnitude more computing performance.”
>
> AI 实现了巨大的飞跃——推理和 Agent 式 AI 需要高出几个数量级的计算性能。
>
> —— Blackwell Ultra 发布新闻稿，GTC 2025，2025 年 3 月 18 日（本书译）

> “It is essentially the operating system of an AI factory.”　“The more you buy, the more you save … It’s even better than that — the more you buy, the more you make.”
>
> （Dynamo）本质上就是 AI 工厂的操作系统。　买得越多，省得越多……其实更好——买得越多，赚得越多。
>
> —— GTC 2025 主题演讲，2025 年 3 月 18 日

同一场演讲里，NVIDIA 官方博客转述了他的另一个判断：**未来每家公司都会有两座工厂，一座生产它的产品，另一座生产 AI**（这句是博客的转述，不是逐字引语）。注意口号的变化：从“省”到“赚”。工厂的叙事，从这里开始从“降低成本”转向“创造收入”。

> AI 现在已经是一种像互联网和电力一样的基础设施。我们今天建造的就是 AI 工厂。……给它注入能量，它就会生产出非常有价值的产品，这些产品就叫做 token。
>
> —— COMPUTEX 2025 主题演讲，2025 年 5 月 19 日（NVIDIA 中文博客官方译文）

> “The number of people using inference has gone from 8 million to 800 million — 100x in just a couple of years.”　“These AI factories are going to generate tokens.”
>
> 使用推理的人数从 800 万增长到 8 亿，短短几年增长了 100 倍。　这些 AI 工厂将生成 Token。
>
> —— GTC 巴黎主题演讲，2025 年 6 月 11 日

> “Every industrial revolution begins with infrastructure. AI is the essential infrastructure of our time, just as electricity and the internet once were.”
>
> 每一次工业革命都始于基础设施。AI 是我们这个时代的必要基础设施，正如曾经的电力和互联网。
>
> —— NVIDIA 欧洲 AI 基础设施新闻稿，2025 年 6 月 11 日（本书译）

#### 第三阶段（2025 下半年至 2026）：AI 是劳动，Token 是货币，每瓦是收入

> “AI is not a tool. AI is work. For the first time, technology is now able to do work and help us be more productive.”
>
> AI 不是工具，AI 本身就是劳动。技术第一次能够真正承担工作，帮助我们提高生产力。
>
> —— GTC 华盛顿特区主题演讲，2025 年 10 月 28 日

> “In the age of AI, intelligence tokens are the new currency, and AI factories are the infrastructure that generates them.”
>
> 在 AI 时代，智能 Token 是新的货币，而 AI 工厂就是生成它们的基础设施。
>
> —— Vera Rubin DSX AI 工厂参考设计新闻稿，GTC 2026，2026 年 3 月（本书译）

> “I believe computing demand has increased by 1 million times over the last few years.”
>
> 我认为过去几年里，计算需求增长了大约 100 万倍。
>
> —— GTC 2026 主题演讲，2026 年 3 月（本书译）

> “Ultimately, our customers don’t want to buy computers, they want to build AI factories.”　“If you have 1 gigawatt of power, then throughput per watt is revenue … compute is revenue.”
>
> 归根到底，我们的客户不是想买计算机，而是想建 AI 工厂。　如果你有 1 吉瓦的电力，那么每瓦吞吐量就是你的收入……计算能力就是营收。
>
> —— GTC 台北暨 COMPUTEX 2026 主题演讲，2026 年 6 月（本书译）

问：把这十几句话串起来，逻辑链是什么？

答：五步：第一，通用计算的进步慢下来了，必须靠加速计算；第二，加速计算的数据中心，产品是 Token，所以应该叫工厂；第三，推理、推理模型和 Agent 让 Token 需求暴涨；第四，工厂受电力约束，所以每瓦产出决定收入；第五，这种工厂会像电网和互联网一样，成为每个国家、每家公司的基础设施。

问：他是全球最大 AI 芯片供应商的 CEO。这些话能全信吗？

答：要分开看。“产品是 Token、受电力约束、按每瓦产出计量”是可以独立检验的工程判断，本书前面几章的推导也支持它；“买得越多赚得越多”“需求增长 100 万倍”则是商业主张，带着供应商的立场，应当把它当作一种需要用自己的业务数据去检验的假设。

### 12.3 工厂的经济账：为什么是“每瓦 Token”

传统数据中心的成本按“机柜、服务器、带宽”计；AI 工厂的产出按 Token 计。把黄仁勋 2026 年的那句话写成一个式子，就是：

> 【图示】AI 工厂的经济账（本书对黄仁勋表述的归纳）：收入约等于可用电力乘以每瓦的 Token 吞吐量，再乘以每个 Token 的价格。电力是硬约束，所以每瓦能产出多少 Token，直接决定收入上限。

**图 12-3** AI 工厂收入的上限，由三个因子相乘决定。这是本书对黄仁勋表述的归纳，用来理解结构，不是财务模型。

三个因子里，**电力最难改变**：一座数据中心能拿到多少兆瓦，取决于电网和园区，往往要提前好几年规划。于是能拉动的只剩后两个：每瓦能产出多少 Token，以及每个 Token 卖多少钱。前者正是第 9 到 11 章讨论的全部内容——GPU 的能效、NVLink 的带宽、网络会不会让 GPU 空等、推理软件能不能把批处理做满（第 6 章的“公交车”）。

NVIDIA 给 GB300 NVL72 的宣传数字，正好可以套进这个式子来读：与 Hopper 一代的平台相比，**每位用户每秒拿到的 Token**（响应速度）提升 10 倍，**每兆瓦每秒产出的 Token**（吞吐）提升 5 倍，两者相乘，NVIDIA 称之为“AI 工厂产出”提升 50 倍。前一项关乎 Token 的“质量”，即用户等得久不久（第 6 章）；后一项就是“每瓦 Token”。这些是厂商口径，比较条件以 NVIDIA 原页为准，但它说明了一件事：**厂商自己也已经在用“工厂产出”而不是“芯片算力”来描述产品了**。

类比：

这像一座**水电站**：水量（电力）是老天给的，你能决定的是涡轮机的效率（每瓦 Token）和电卖给谁（每个 Token 的价格）。在水量固定时，换一台效率高一倍的涡轮机，发电收入就翻一倍，哪怕它贵一些。黄仁勋说“选错架构省下的芯片钱不划算”，就是这个道理。

类比的边界：涡轮机的效率是物理定值；AI 工厂的“每瓦 Token”还取决于模型、批大小和延迟要求，同一台机器跑不同负载，差别可以很大。

**停一下：如果“每瓦 Token”越高越好，为什么不把批处理开到最大，让每块 GPU 一次服务几千人？**

**参考答案：**

因为 Token 也有“质量”：用户要的是快速、流畅的回答。批越大，总吞吐越高，但每个人等的首 Token 延迟和 Token 间延迟也越长（第 6 章）。所以真正的优化目标是“在满足延迟要求的前提下，每瓦 Token 最多”。这条吞吐与延迟的取舍曲线，是推理工厂调优的核心。

### 12.4 为什么企业要建自己的 AI 工厂

云上可以租到 GPU 和模型 API，为什么企业还要自建？NVIDIA 白皮书给出的理由可以归成三条：

1. **Token 需求在暴涨。**企业 AI 正从试验走向生产；推理模型在规划和评估时消耗更多 Token，自主 Agent 持续地检索上下文、调用工具、执行流程（第 5、8 章）。
2. **最有价值的场景离不开私有数据。**许多高价值用例依赖企业专有数据，需要直接掌控安全、治理、延迟和成本。
3. **不是替代云，而是互补。**当需要弹性、前沿服务或地理覆盖时，企业 AI 工厂也可以与云资源集成。

#### 为什么难

白皮书用了一整节讲“为什么企业 AI 工厂很难”。几处原话值得记住：

- “工作负载策略和基础设施策略必须一起解决。”选哪些 AI 项目、数据是否可用、算力多大、跑在哪里、计算网络存储软件安全运维怎样匹配，每个决定都牵动其他决定。
- “当网络喂不饱 GPU、存储路径撑不住检索或检查点流量、软件栈不适合客户的运维模式时，工期就会延误。”
- “许多数据中心的单机柜功率仍低于 20 kW，而且很多没有液冷条件。”对比第 9 章：一个 GB200 NVL72 机柜约 120 kW。这道物理门槛，决定了一家企业能选哪一类 AI 工厂（第 13 章的三个家族）。
- 企业的负载是混合的：推理、微调、RAG、Agent、视觉计算、仿真、分析同时在跑；还有预算、指定工具、安全策略和存量基础设施，AI 工厂必须与它们共存，而不是推倒重来。

> 目标不是一个理论上的理想设计，而是一个适合现有机房、适合工作负载、也适合商业论证的设计。
>
> —— NVIDIA 企业参考架构白皮书（本书译）

表 12-1 传统数据中心与 AI 工厂

|  | 传统企业数据中心 | AI 工厂 |
| --- | --- | --- |
| 主要任务 | 运行大量互不相干的业务系统，存储与处理数据 | 围绕 AI 全生命周期，生产 Token |
| 衡量方式 | 可用性、容量、单位存储成本 | Token 吞吐量、每瓦 Token、每 Token 成本、作业完成时间 |
| 单机柜功率 | 许多仍低于 20 kW（白皮书） | 机柜级系统：GB200 NVL72 约 120 kW；GB300 NVL72 参考架构写整柜最高约 142 kW |
| 网络 | 以南北向为主，按流 ECMP 足够 | 独立的东西向后端网络，每块 GPU 400–800 Gb/s，追求尾部延迟 |
| 存储 | 事务与文件服务 | 万卡并发读数据集、突发写检查点、RAG 检索 |
| 设计方法 | 按业务逐台采购、逐步扩容 | 按参考架构的可扩展单元整体设计、成块扩展 |

### 12.5 把需求翻译成五个要素

用第一性原理想一想：要让大模型跑起来，物理上必须完成哪几件事？要**算**，要在 GPU 之间**传**，要把数据**喂**进来、把结果**存**下去，要有人**调度**谁在哪儿干活，还要能**看见**哪里出了问题；再往下是**电和散热**，再往外是贯穿一切的**安全**。

> 【图示】建成一个 AI 集群的关键要素：最底层是电力与散热；其上是五个要素：算力单元、网络、存储、软件栈与编排、管理与可观测性；安全贯穿所有层。每一层都可能成为整座工厂最慢的那一环。

**图 12-4** 建成一个 AI 集群的五个关键要素，加上电力散热的底座和贯穿各层的安全。任何一层都可能成为全厂的瓶颈。第 13 章会看到，NVIDIA 参考架构正是按这几层组织的。

表 12-2 训练工厂与推理工厂

|  | 训练工厂 | 推理工厂 |
| --- | --- | --- |
| 产品 | 一个模型（参数文件） | 源源不断的 Token |
| 节奏 | 一次几周到几个月的大作业 | 7 × 24 小时，跟着用户流量起伏 |
| 最紧的瓶颈 | 后端网络、同步、故障恢复、检查点存储 | 显存与 KV 缓存、延迟、前端网络、弹性伸缩 |
| 衡量指标 | 作业完成时间、GPU 有效利用率 | 首 Token 延迟、每秒 Token 数、每个 Token 的成本 |
| 多数企业的现实 | 很少从头训练基座模型，更多是微调 | RAG、Agent、内部助手：需求增长最快的部分 |

**停一下：如果你负责为公司建一个 AI 平台，第一个要问的问题是什么？**

**参考答案：**

不是“买多少块 GPU”，而是“**跑什么工作负载**”：从头训练、微调、RAG 问答，还是 Agent？每秒要服务多少请求、上下文多长、数据能不能出公司、机房每柜能给多少千瓦？答案决定了选哪一类参考架构、要不要独立的东西向网络、存储要多快，以及安全要做到哪一层。先定负载与约束，再倒推架构——这正是白皮书说的“工作负载策略和基础设施策略一起解决”。

AI 工厂把*电*变成 *Token*，  
速度由最慢的那一环决定。

##### 本章带走

AI 工厂是为 AI 全生命周期专门设计的全栈基础设施：输入电和数据，产出 Token，用 Token 吞吐量、每瓦 Token 与每 Token 成本来衡量。

- 三份权威表述：NVIDIA 术语表（全生命周期、产品是智能、以 Token 吞吐量衡量）、企业 AI 工厂白皮书（全栈平台、适应真实机房约束）、黄仁勋（注入能量，产出 Token）。
- 黄仁勋的工厂论两年三步：通用计算到头 → 数据中心变工厂、产品是 Token → 每瓦吞吐就是收入。工程判断可检验，商业主张需自证。
- 企业自建的理由是 Token 需求、私有数据与可控性；难点是负载与基础设施要一起设计，以及“许多机柜仍低于 20 kW”的物理门槛。

**于是，下一个问题**：定义和原则有了。可是真要动手建，第一台服务器该怎么配、几台算一个单元、网络怎么连、存储要多快？有没有一份现成的“建厂图纸”？