上一期最后我抄下了 OpenAI 2026 年 3 月那份公告的尾巴：
This strategy now spans: cloud through Microsoft, Oracle, AWS, CoreWeave, and Google Cloud; silicon through NVIDIA, AMD, AWS Trainium, Cerebras, and our own chip in partnership with Broadcom; and data centers through partnerships with Oracle, SBE, and SoftBank.
我抄完就有点心虚。因为那一长串名字，我一个都没在自己的博客里正经写过。
于是这一期，我先做了一件很蠢的事：去查我自己的博客。
一、这些词，是哪一年才进入我的博客的
脚本在 实验/chip_words.py，数据在 记录/chip_words.json，做法和前几期一样：扫 Blogger 导入的镜像，先去掉 URL 和长串编码，再按独立词匹配。
| 词 | 第一次出现在我的博客里 | 是哪一篇 |
|---|---|---|
| 服务器 | 2004-02-13 | 《@ 通过代理使用apt》——我博客的第三篇 |
| AMD | 2005-08-15 | 《周一杂记》 |
| 数据中心 | 2007-11-20 | 《摘要输出和全文输出》 |
| 云计算 | 2008-08-29 | 《GBrowser的传闻》 |
| 芯片 | 2010-07-29 | Twitter Daily 里的一条链接 |
| VPS | 2014-06-03 | Twitter Daily |
| GPU | 2021-07-31 | Twitter Daily |
| 神经网络 | 2021-08-03 | Twitter Daily |
| NVIDIA | 2025-02-04 | Mastodon Daily |
| TPU | 从未出现 | — |
| 昇腾 | 从未出现 | — |
（这里的日期是文章里写的日期。Twitter Daily 和 Mastodon Daily 常常第二天早上才发布，所以按发布时间看会晚一天——这是第 02 期就说过的口径。） 第一次写 GPU 的那天，我说的是：
2021 年 7 月 31 日：现在搞机器学习 GPU 是必选项？
第一次写 NVIDIA 的那天，我收藏的两条链接是：
如何给 NVIDIA 的 vgpu-kvm 驱动打补丁强开 vGPU
在 Mac 上部署 DeepSeek R1 模型，设置知识库对话、peompt 等
我把这张图放在这里，是因为它比任何论述都说明问题：我写了 25 年技术博客，讲了 10 期 AI，但我从来没有拥有过一块 AI 芯片。GPU 在我的博客里出现的时候，我以为它是个可选的配件；NVIDIA 这三个字母第一次进入我的博客，是在我收藏"怎么给 vGPU 驱动打补丁"的那天。
TPU 这个词，到今天为止，一次都没有出现在我 9187 篇导入文章里。
我不是说这有什么了不起的。它只说明一件事：这一期我要讲的东西，我自己是门外汉。 那我就只能先去读原文。
二、一台 TPU 到底是什么
先看第一代。2015 年那台机器的规格，出自 Jouppi 等人的 ISCA 论文（arXiv:1704.04760）：
a matrix multiply unit that offers a peak throughput of 92 TeraOps/second (TOPS) and a large (28 MiB) Unified Buffer
The TPU has a 700 MHz clock, 65,536 8-bit MACs, 28 MiB, 34 GB/s, and typically uses 40 Watts.
先纠正一个我记了很久的错："700" 是频率 MHz，不是 700 瓦。芯片的 TDP 是 75 瓦，实测空载 28 瓦、满载 40 瓦；连 CPU 和内存的整台主机，满载 384 瓦。内存带宽是 34 GB/s，不是 34.3。
那它和 GPU 有什么不一样？论文里有一句概括得很好——它就是一个"矩阵乘单元"：一个专门做矩阵乘法的东西，别的一概不做。它不能跑你写的普通代码，它只会算矩阵。
然后是它怎么一代代长大的。这张表我用的是 2026 年 IEEE Micro 那篇综述（arXiv:2606.15870）的 Table 1：
| 代 | 年份 | 每颗 bf16 算力 | 每颗 HBM | 每颗 HBM 带宽 | 一个 pod 多少颗 |
|---|---|---|---|---|---|
| v2 | 2017 | 46 TFLOPs | 16 GiB | 700 GB/s | 256 |
| v3 | 2018 | 123 TFLOPs | 32 GiB | 900 GB/s | 1024 |
| v4 | 2021 | 275 TFLOPs | 32 GiB | 1200 GB/s | 4096 |
| v5p | 2023 | 459 TFLOPs | 96 GiB | 2765 GB/s | 8960 |
| Ironwood | 2025 | 2307 TFLOPs | 192 GiB | 7300 GB/s | 9216 |
十年，从 46 到 2307，算力涨了 50 倍，内存带宽涨了 10 倍。这两个数一起涨，才是最要命的：模型每大一点，"把权重喂进去"这件事就更难。
顺便记一个我一开始的误读：Google 发布博客里最醒目的数字是 4,614，我第一眼以为那是 Gbps（带宽），还纳闷"带宽怎么会比带宽还大"。它其实是 FP8 的 TFLOPs，同一颗芯片用 bf16 算只有 2,307。两种精度都写在这张表里，别被博客上那个更大的数字晃到。
还有一个数字没写进表里：芯片之间的互联。v5p 每颗 1200 GB/s，v6e 掉到 800 GB/s，Ironwood 又回到 1200 GB/s——三代基本没涨。为什么不涨？因为瓶颈换了地方——从"一颗芯片自己算得慢"，变成了"几千颗芯片之间传得太慢"。模型并行训练时，每一步都要让所有芯片对齐梯度，这就是为什么 Google 要把芯片塞进一个 9216 颗的 pod，还给它配了液冷。发布博客里写的规模是：
It scales up to 9,216 liquid cooled chips linked with breakthrough Inter-Chip Interconnect (ICI) networking spanning nearly 10 MW.
（"为什么要互联"是我自己从"训练要同步"这件事推的，官方文档里只有带宽和规模数字。）
第七代 Ironwood 是 2025 年 4 月 Google Cloud Next 上发布的：
Today at Google Cloud Next 25, we're introducing Ironwood, our seventh-generation Tensor Processing Unit (TPU) — our most performant and scalable custom AI accelerator to date, and the first designed specifically for inference.
注意最后那句：前六代都是为训练设计的，第七代开始是为推理设计的。
它的官方文档路径叫 /tpu/docs/tpu7x（不是 "ironwood"，那个地址 404），发布说明里写：
TPU7x is generally available (GA). TPU7x is the first release within the Ironwood family, Google Cloud's seventh generation TPU.
也就是说，它不是"预计 2026 年上市"，它是 2026 年 3 月 31 日正式 GA 的。
还有一个我没预料到的变化：Google 开始把 TPU卖给外面的人。Alphabet 2026 年第三季度 10-Q 里写着：
We have signed a limited number of agreements to supply TPU systems to customers who require or provide on-premises infrastructure for specialized, high-scale workloads. In the second quarter of 2026, we began recognizing revenues from these agreements, with the significant majority to be recognized in 2027.
（注意：客户没有点名。我在 SEC 全文里检索 Meta，命中 0 次。所以"某某公司买了 Google 的芯片"这种说法，我在这篇里不写。）
这里有一个我至今答不上来的问题：为什么有人要自己造一套不通用的硬件？ 技术上说得通——自己设计自己用，能把该快的部分做到极致。但商业上，每一代都从头重做一遍芯片，是极其昂贵的决定。我搜遍官方文件也没找到解释，只能把它记在这里。
三、芯片是可以被文件卡住的
这一节是我这一期真正想弄明白的东西。
美国商务部工业与安全局（BIS）从 2022 年开始，用四份文件把"算力"变成了可以写在纸上的门槛。我把原文抄下来。
第一刀，2022 年 10 月 7 日生效（87 FR 62186），它卡的是两件事——芯片之间连线的总双向传输率，和算力：
…programmable to have an aggregate bidirectional transfer rate over all inputs and outputs of 600 Gbyte/s or more … processing performance measured in TOPS, aggregated over all processor units, of 4800 or more
（顺便纠正我自己：阈值单位是 TOPS×位长，不是 GFLOP/s；600 Gbyte/s 是芯片间的传输率，不是 HBM 带宽。）
第二刀，2023 年 11 月 17 日生效（88 FR 73458）。规则里给了一个正式的定义：
`Total processing performance' (TPP) is 2 x MacTOPS x bit length of the operation, aggregated over all processing units on the integrated chip.
并且加了一个我觉得很聪明的补丁：
A performance density parameter prevents the workaround of simply purchasing a larger number of smaller datacenter AI chips which, if combined, would be equally powerful as restricted chips.
翻译：光卡总算力不行，你多买几个小芯片凑起来一样强，所以还得卡"每平方毫米的算力"。
这里我卡了很久才看懂一件事：为什么规则用 TOPS 而不是 FLOPS？ 因为一台机器能用几种精度算，直接决定了它有多划算——8 位整数乘法比 32 位浮点便宜得多，而大模型推理大量用低精度。所以规则不能只数"每秒能做多少次乘法"，还得乘上"每次乘法是几位"，这才是 TPP。换句话说，被管的不只是算得多快，还包括"你用什么精度算"。（这是我自己的理解，但 TPP 的定义里确实明明白白写着 "bit length of the operation"。）
第三刀，2024 年 12 月 2 日生效（89 FR 96790），这次直接管内存：
High bandwidth memory (HBM) having a `memory bandwidth density' greater than 2 gigabytes per second per square millimeter.
规则里的理由写得很直白：
As indigenous PRC advanced computing ICs rely upon imported HBM, new ECCN 3A090.c implements restrictions to slow PRC attempts to indigenize advanced AI chip production…
第四刀，2025 年 1 月 13 日生效的是那个"AI 扩散规则"（90 FR 4544），按国家分三档配额。它活了不到四个月：2025 年 5 月 13 日，BIS 宣布撤销：
BIS plans to publish a regulation formalizing the rescission and will issue a replacement rule in the future.
（我在联邦公报里没找到那份"正式撤销规则"的文本，替代规则也一直没出来。NVIDIA 的 10-K 里也承认：替代规则的"scope, timing, and requirements … remain uncertain"。）
然后是 2026 年 1 月 15 日——这一条我原本以为没有，所以专门去查了一遍。91 FR 1684：
…changing it from a presumption of denial to a case-by-case review. The semiconductors covered by this rule are the Nvidia H200 and its equivalents, as well as less advanced chips
条件也写得清楚：对华和澳门发货量不超过美国发货量的 50%，每一批都要在美国经第三方检测机构验证性能。
所以到今天为止，管制的方向是松了半格：不是放开，是从"推定拒绝"改成"逐案审查"。
我把时间线整理成一张表：
| 生效日 | 文件 | 关键门槛 | 效果 |
|---|---|---|---|
| 2022-10-07 | 87 FR 62186 | TOPS×位长 ≥ 4800；传输率 ≥ 600 Gbyte/s | 覆盖 A100/H100 |
| 2023-11-17 | 88 FR 73458 | TPP ≥ 4800，或 TPP ≥ 1600 且密度 ≥ 5.92 | 封堵"多买小芯片" |
| 2024-12-02 | 89 FR 96790 | HBM 带宽密度 > 2 GB/s/mm²（例外线 3.3） | 卡 HBM 与先进制程外溢 |
| 2025-01-13 | 90 FR 4544 | 国家分档、配额 | 2025-05-13 被撤销，从未合规 |
| 2026-01-15 | 91 FR 1684 | TPP < 21,000 且 DRAM 带宽 < 6,500 GB/s；对华发货 ≤ 美国发货 50% | H200 等改为逐案审查 |
四、卡不住，就改小一点卖
这部分材料最好找，因为在 NVIDIA 自己的 SEC 文件里。
2022 年第一刀落下之后，NVIDIA 给中国客户做的替代产品，叫 A800。FY2023 的 10-K 里写得很直白：
We have engaged with customers in China to provide alternative products not subject to the new license requirements, such as our new A800 offering.
2023 年第二刀落下，又有了 H800。到 FY2026 的 10-K，NVIDIA 自己列出了一串被点名的型号：A100、A800、H100、H800、L4、L40、L40S RTX 4090、GB200 NVL72、B200。
H20 这一段的数字最有意思，因为它把"文件"变成了"钱"：
- •2025 年 4 月 9 日，美国政府告知 NVIDIA：H20 出口到中国需要许可证，并且"in effect for the indefinite future"；
- •同年 5 月 28 日的季度新闻稿：实际计提 45 亿美元（4 月 15 日预告的是"最多 55 亿"，那是上限）；当季 H20 销售额 46 亿美元，另有 25 亿美元的 H20 收入发不出去；
- •8 月 27 日的季度新闻稿：第二季度对中国客户 H20 销售为零；
- •FY2026 10-K：2025 年 8 月拿到许可，全年许可下 H20 收入约 6000 万美元；
- •2026 年 2 月拿到 H200 的少量许可：需要在美国经检测，且进口美国时征 25% 关税，至今没有产生任何收入。
一年时间，从 46 亿美元的生意，到 6000 万美元。
顺便记一下 NVIDIA 自己的账：FY2026 中国（含香港）收入 196.77 亿美元，总营收 2159.38 亿美元——占比约 9.1%（这个百分比是我自己除的，官方只给绝对额）。
我的观察（这是我的判断，不是官方结论）：管制并没有让芯片消失，它让同一代芯片改了名字、改了规格、改了价格。 A800 是降了互联带宽的 A100，H800 是降了互联的 H100，H20 是砍到"刚好够不着门槛"的 H100。至少在这四个我能核到的例子里，被切的都是"差一点点"的那个维度。这说明制定门槛的人很清楚什么在真正卡住对手。
（"刚好够不着"是我从规格推的说法，不是我核实过的官方表述。）
五、被写进文件的另一种方式
2025 年 5 月 13 日，BIS 发了一份 GP10 指引，第一次在官方文件里点名中国芯片：
This guidance alerts industry to the risks of using PRC advanced-computing ICs, including specific Huawei Ascend chips.
文件里的清单原文是：
Huawei Ascend 910B / Huawei Ascend 910C / Huawei Ascent 910D
（第三项原文就写作 "Ascent"，是这份文件自己的笔误，我照抄。）
但同一份文件里还有一句更狠的，比点名清单还重要：
All 3A090 ICs designed by companies located in, headquartered in, or with an ultimate parent company headquartered in the PRC, whether such chips are themselves produced within or outside of the PRC, likely are subject to the EAR and may have been produced in violation of the EAR, subjecting them to GP10 restrictions.
翻译：只要是中华人民共和国企业的芯片，哪怕是在国外造的，都可能被认定违反了美国出口管制。 这是"不点名也能管"的一步——点名清单是给看得见的型号用的，这句话是给没见过的型号用的。
这一份文件没有任何算力、内存、带宽或功耗数字——它只是把符合 3A090 参数的中国芯片列进"推定适用 GP10"的清单，意思是：美国人用了这些芯片，可能要吃美国出口管制的罚单。
而关于这些芯片本身的能力，我只能老实写：我没找到华为官方的完整规格（华为官网的 Ascend 产品页抓回来是 404）；"2026 年产 60 万颗 910C"是媒体报道，我连原文都没抓到（Reuters 站点挡了）；第三方的跑分我也没找到一手来源。寒武纪我在 BIS、NVIDIA 的 SEC 文件和联邦公报里都没检出与管制阈值的直接关联。
所以这一节我能写的只有：型号被官方点名了，具体数字我没找到。这就是我查完之后的收获，不多，但是实的。
六、DeepSeek 那一拳，和它的口径
2025 年 1 月，DeepSeek-V3 的技术报告（arXiv:2412.19437）出来，标题里就带着一个数字：
DeepSeek-V3 requires only 2.788M H800 GPU hours for its full training, including pre-training, context length extension, and post-training.
论文的 Table 1 把它拆成三段：
| 阶段 | H800 GPU 小时 | 成本（假设租价 $2/GPU·小时） |
|---|---|---|
| 预训练 | 2664K | $5.328M |
| 长上下文扩展 | 119K | $0.238M |
| 后训练 | 5K | $0.01M |
| 合计 | 2788K | $5.576M |
这个数字后来被反复引用，但很少有人把它后面的限定一起引用。论文自己写明：
…the aforementioned costs include only the official training of DeepSeek-V3, excluding the costs associated with research and development, ablations, data curation, and infrastructure.
还有两件事我要说清楚：
- 1.$2/GPU·小时是论文假设的租价，不是实际支出；$5.576M 是按这个假设折算出来的官方训练成本，不含研发、消融、数据与基础设施。
- 2.论文没有给出训练期耗电量，只给 GPU 小时数。所以谁要是拿"500 万美元"直接换算成"多少度电"，那是两跳推理。
我的判断（还是我的判断）：这份报告说明的不是"用 500 万美元造出了 AGI"，而是"在别人已经铺好的算法、硬件和工程经验上，把效率榨到了某个水平"。这两件事听起来差不多，但在第 03 期我们讲注意力、第 09 期我们讲猜下一个词的时候就知道：真正难的从来不是把一个已知配方跑得更省，而是那个配方本身。
七、我的电费算术
材料齐了，我做了一笔自己的账（脚本 实验/power_math.py，数据 记录/power_math.json）。
先取一个我完全核实过的数：TPU v1 的整机实测满载功耗是 384 瓦（arXiv:1704.04760）。第 08 期我们核过：AlphaGo Zero 的自我对弈训练用了 4 个第一代 TPU，跑了 40 天。
那么：
0.384 kW × 40 天 × 24 小时 ≈ 369 度电
按 0.6 元/度，约 221 元。
然后跟我自己比。我家里有一台常年开机的机器（PVE 加 NAS），我姑且按 150 瓦估：
0.15 kW × 8760 小时 ≈ 1314 度/年
也就是说：
- •一次 AlphaGo Zero 的最终训练 ≈ 我家那台机器开 3.4 个月；
- •一次 BLOOM 训练 = 433,196 度（论文实测，arXiv:2211.02001）≈ 我家机器开 330 年；
- •一次 GPT-3 训练，论文推算是 1,287 MWh ≈ 我家机器开 980 年（⚠️ 这个数是论文依据各家论文推算的，不是实测）。
顺带把宏观的数放进来：劳伦斯伯克利国家实验室的报告（2025 Update，2026 年 6 月发布）说，美国数据中心 2024 年用电 192 TWh，占全美 4.7%；2030 年参考情形 649 TWh，占 11.8%，区间 9.5%–15.3%。
同一份报告里还有一句跟这一期直接相关的：
Accelerator shipments totaled just over seven million units in 2024, consisting of 73% GPUs and 27% ASICs. … ASIC shipments in 2024 were primarily composed of nearly equal shares of Google Tensor Processing Units (TPUs) and Meta Training and Infer[ence chips]
也就是说，2024 年全球出货的加速器里，七成是 GPU，三成是专用芯片（ASIC），而这批 ASIC 里，TPU 和 Meta 的芯片差不多各占一半。这是"专用芯片已经不是一个角落"的一个数字。（这是我第一次在别人的报告里看到 TPU 被这样点名计数。）
我这笔账里，电价、机器功耗、算力利用率全是我拍的。量级可信，个位不可信。 我把它写出来，是因为它把"AI 是电和芯片堆出来的"这句话，从一句口号变成了一个我自己能算的数。
八、我的判断，和我仍然不懂的
暂时形成的理解（这是我的判断，不是官方结论）：
- •芯片决定谁能造出大模型，管制决定谁能造出几个、什么时候能造。
- •管制的门槛是几个具体到小数点的数字：4800、5.92、2 GB/s/mm²、21,000、6,500、50%。谁在切、切哪一刀，逻辑是清楚的——切那个"差一点点就能替代"的维度。
- •而管制真正的效果，不是让对手造不出来，是让对手更慢、更贵、更不确定。同一代芯片换个名字继续卖，这本身就说明技术差距没有被文件取消。
我到现在也没想明白的：
- 1.为什么有人愿意每年重做一遍专用硬件？技术理由我懂，商业理由我一点都看不出来。
- 2.芯片被卡住之后，被卡住的是"能力曲线"，还是只是"往前推的速度"？这两件事在账单上完全不同，但文件上写的是同一行字。
- 3.那几个门槛数字是谁定的、按什么标准？4800 是从哪一年哪一块卡上反推出来的？我能看懂它们卡住了谁，看不懂它们为什么是这几个数。
第 3 个问题我大概永远答不上来。这不是我的专业。
下一篇：模型这一层
写这一期的时候，我有一个挥之不去的感觉：管制的全部手艺，都在硬件这一层。 门槛写的是算力、带宽、传输率。可我这一路写下来，看到的模型——GPT、Claude、Gemini、Llama、DeepSeek——长得都差不多。
硬件被卡住了，模型这一层反而越来越像。这件事本身就是个问题：为什么大家做的模型看起来都差不多？论文上的差距和榜单上的差距，是怎么一年年变化的？
下一期我去看模型这一层，谁在往前，为什么大家都长成一个样。
（这一期的引文核对报告在 反馈/20261103-t-09-sources.md，763 行，每条都有原文、出处和"已核实 / 仅媒体转述 / 未找到"三种状态；我自己的实验在 实验/chip_words.py 和 实验/power_math.py，数据在 记录/chip_words.json 和 记录/power_math.json。数据截止 2026 年 11 月 3 日。）
没有评论:
发表评论