上一期我抄了 OpenAI 那份公告里的芯片名单，抄完心里发虚：那些名字我一个都没正经写过。
抄完还有一句更让我在意的话——管制的全部手艺，都在硬件这一层。门槛写的是算力、带宽、传输率。
那我自然想问另一件事：模型这一层呢？
于是我去翻各家一年年的发布公告，越翻越觉得不对劲：这三年，各家做的模型长得越来越像了。 不是我眼花——预训练 + 强化学习后训练、MoE、百万级上下文、推理时先想一遍、工具调用，几乎每家的文档里都写着同一套词。
那么这一期我就问两个具体问题：
- 1.模型为什么越来越像？
- 2.榜单上的差距又是怎么变的？
在回答之前，先做一件我这一路都在做的事：看自己的博客。
一、我的信息流里，模型的主角换过三次
脚本在 实验/model_names.py，数据在 记录/model_names.json，口径和前几期一样：扫 9187 篇导入文章，先去掉 URL 和长串编码，再做独立词匹配。
第一次出现的时间（日期是文章里写的日期，每日汇总第二天早上才发布）：
| 名字 | 第一次出现在我的博客里 | 是哪一篇 |
|---|---|---|
| ChatGPT | 2023-01-24 | Twitter Daily（收藏链接） |
| Claude | 2023-03-10 | Twitter Daily |
| GPT-4 | 2023-04-21 | Twitter Daily |
| LLaMA | 2023-07-21 | Twitter Daily |
| 通义千问 | 2023-08-04 | Twitter Daily |
| Gemini | 2024-05-05 | Mastodon Daily |
| GPT-4o | 2024-06-01 | Mastodon Daily |
| Qwen | 2024-06-12 | Mastodon Daily |
| o1 | 2024-09-22 | Mastodon Daily |
| DeepSeek | 2025-01-25 | Mastodon Daily |
| Grok | 2025-05-18 | Mastodon Daily |
| GPT-3 | 从未出现 | — |
| 文心一言 | 从未出现 | — |
逐年我提到它们的篇数（同一篇里提多次只算一篇）：
| 年份 | ChatGPT | Claude | Gemini | DeepSeek | Qwen | Llama 系 |
|---|---|---|---|---|---|---|
| 2023 | 26 | 5 | 0 | 0 | 0 | 4 |
| 2024 | 12 | 8 | 5 | 0 | 4 | 11 |
| 2025 | 7 | 6 | 12 | 26 | 7 | 3 |
| 2026（到 11 月 2 日） | 1 | 19 | 8 | 4 | 2 | 0 |
看这张表最扎眼的一格：ChatGPT 从 26 篇掉到 1 篇。 2026 年我几乎不提它了——但这不代表它不重要，只代表它不再是我信息流里的新东西。而 Claude 从 5 篇涨到 19 篇，DeepSeek 在 2025 年一口气占了 26 篇。
主角换过三次：2023 是 ChatGPT，2024 是过渡年（谁都露个脸：ChatGPT 12、Llama 系 11、Claude 8），2025 是 DeepSeek，2026 是 Claude。
还有一件事值得单说：2023 年 3 月 10 日那天，我转发过一条别人的判断——“最近比较深入地体验了 ChatGPT 的竞品：Claude 感觉上整体的生成效果会优于 ChatGPT，尤其是不会像 ChatGPT 讲很多「客套话」”。那是这三年里，我的信息流里唯一一次出现“谁更强”的排名。而且它是转发的。
先把这张表的误差交代清楚：
- •“Kimi”在我的博客里命中过 2 次，时间是 2021 年——那是日本电影《Act 3-kai, Kimi ni aeru》的标题，不是那个模型。我一开始没发现，查上下文才发现。
- •“GPT-3”在这 9187 篇里一次都没出现。2020 年 GPT-3 火遍全网的时候，我一个字的记录都没有。我 2023 年才开始写 AI。
- •大小写算不算？我两边都数了：区分大小写，ChatGPT 一共 46 篇；不区分，53 篇。 下面所有表都用区分大小写的口径。
- •2026 年只到 11 月 2 日（导入截止日），不是整年。
二、我自己写过的话，只有十三行
上面那些数字全是别人的名字被我的信息流带进来。但我自己的话有多少？
我把 9187 篇里所有含模型名的行都挑出来，去掉转推（RT @）和纯链接标题，剩下的只有 13 行：
2023-02-10 试试chatgpt
2023-03-11 chatgpt是写程序的好工具。
2023-03-26 chatgpt的兴起会不会预示着Web2.0时代的UGC盛况会回来呢？
2023-04-26 如何有效率的使用chatgpt 也是一种重要的技能。
2025-08-16 装了那个叫 Qwen 的帮手在 VSCode 里，写 Python 的时候，它就在旁边待着。用了一阵子，感觉挺实在。
2025-08-18 gemini cli太强悍了。
2025-08-18 有了gemini cli这样的工具，大概初级的程序员和工程师都会失去成长的机会甚至工作的机会吧。
2026-03-23 先用deepseek整理需求，然后投喂给opencode，继续编码。
22 年博客，十三行。
（顺便说一句：我自己那句“有没有语病、有没有写错”也算一行，所以真实数字可能比 13 更少——这是下限。）
我从中看出的两件事（这是我的判断）：
第一，我的评价标准从来没变过。2023 年我说的是“写程序的好工具”“是一种重要的技能”，2025 年说的是“挺实在”“太强悍了”，2026 年说的是“整理需求 → 投喂给 opencode”。我从来不评价谁更强，我只关心它在我手边干什么活。 我甚至没有一次说过“X 比 Y 好”。
第二，2026 年那句话里，模型已经不是主角了。DeepSeek 负责整理需求，opencode 负责编码，模型变成了流程里的一环。这大概就是“模型这一层发生了什么”在我身上的答案：模型从一个我要仰望的东西，变成了我流程里的两个零件。
那专业圈子里呢？我去看看他们写了什么。
三、为什么它们长得像
我去翻了各家官方文档。结论很直接：不是架构像，是配方像。
配方一：预训练出一个基座，再用强化学习把它训成会推理的模型。 这条线 2023 年只有 OpenAI 在公开文档里写得清楚，到 2025 年变成了行业标准句式：
We pre-train DeepSeek-V3 on 14.8 trillion diverse and high-quality tokens, followed by Supervised Fine-Tuning and Reinforcement Learning stages to fully harness its capabilities. —— DeepSeek-V3 摘要
A key innovation in Qwen3 is the integration of thinking mode (for complex, multi-step reasoning) and non-thinking mode (for rapid, context-driven responses) into a unified framework. —— Qwen3 摘要
Claude Opus 4 and Sonnet 4 are hybrid models offering two modes: near-instant responses and extended thinking for deeper reasoning. —— Anthropic 官方
we also found that doing lightweight SFT followed by large-scale reinforcement learning (RL) produced even more significant improvements in reasoning and coding abilities of the model. —— Meta，Llama 4 官方博客
the reasoning abilities of LLMs can be incentivized through pure reinforcement learning (RL), obviating the need for human-labeled reasoning trajectories —— DeepSeek-R1 摘要
连 OpenAI 自己 2024 年 9 月宣布 o1 的时候，用的是同一句话：
We've developed a new series of AI models designed to spend more time thinking before they respond.
配方二：Mixture-of-Experts。 这一步最值得注意，因为它变的是时间点：
We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. —— DeepSeek-V3
Our new Llama 4 models are our first models that use a mixture of experts (MoE) architecture. —— Meta，Llama 4（2025-04-05）
The Qwen3 series includes models of both dense and Mixture-of-Expert (MoE) architectures, with parameter scales ranging from 0.6 to 235 billion. —— Qwen3
注意 Llama 4 那句里的 "first"：Meta 到 2025 年 4 月才第一次用 MoE。MoE 在 2024 年之前基本是 DeepSeek 和 Google 的一家之言，2025 年变成了默认选项。 这就是“像”是怎么发生的——不是大家想通了同一个道理，是领先的人被追平了，于是这一家也变成了“这一类”。
配方三：先想一遍再回答。 o1 在 2024 年 9 月是独家卖点（“spend more time thinking”），此后不到一年，它变成了共同词汇：
| 时间 | 官方文档里的说法 |
|---|---|
| 2024-09-12 | OpenAI o1：“designed to spend more time thinking before they respond” |
| 2025-02-24 | Anthropic Claude 3.7 Sonnet：“the first hybrid reasoning model on the market” |
| 2025-02-19 | xAI Grok 3：“refined through large scale reinforcement learning … to think for seconds to minutes” |
| 2025-03-25 | Google Gemini 2.5 规格表：“Thinking | No | No | No | Yes* | Dynamic | Dynamic” |
| 2025-05-14 | Qwen3：“a thinking budget mechanism” |
| 2025-05-22 | Anthropic Claude 4：“near-instant responses and extended thinking” |
八个月，从“独家卖点”到“表格里的一列”。
不过这里有个反例很值得注意，DeepSeek 用消融实验证伪了一个很流行的说法：
On AIME 2024, majority voting across 64 samples only increases GPT‑4o's solve rate from 9.3% to 13.4%—still dramatically lower than DeepSeek‑R1's 79.8% solve rate or o1's 79.2% solve rate.
“让模型多想一会儿”不是免费的，也不是唯一的那条路。 光堆 token，堆不出来。
配方四和五：长上下文、工具调用。 Gemini 1.5 Pro 直接把 2M 上下文写进论文摘要；Llama 4 Scout 把上下文从 128K 推到 10M；Anthropic 在 Claude 4 上直接放出来代码执行工具、MCP 连接器、Files API。工具调用这条线各家都在推，而且是 2025 年之后推得最凶的。
那有没有"不一样"的路线？有，而且论文都挺漂亮。
Mamba: Linear-Time Sequence Modeling with Selective State Spaces（arXiv:2312.00752）
We present Jamba, a new base large language model based on a novel hybrid Transformer-Mamba mixture-of-experts (MoE) architecture.（arXiv:2403.19887）
We challenge this notion by introducing LLaDA, a diffusion model trained from scratch under the pre-training and supervised fine-tuning (SFT) paradigm.（arXiv:2502.09992）
线性状态空间、混合架构、扩散模型语言——三条"另一条路"，都有顶会论文。但到 2026 年，前沿榜单的头部位置，仍然全部由“Transformer + MoE + RL 后训练”占据。
我的判断：所以"长得像"不是因为技术收敛到了唯一解，而是因为能上榜的都是这一类。另一条路存在，但不在榜首。
四、榜单上的差距，是怎么变的
我原本以为差距是"越来越小、最后追平"。翻官方表的时候发现不对：差距不是被追平，是被换了个地方。
先看最老实的一张表——DeepSeek-V3 技术报告 Table 6 里的 2024 年四个模型：
MMLU：GPT-4o 87.2、Claude 3.5 Sonnet 88.3、Llama 3.1 405B 88.6、DeepSeek-V3 88.5。四个模型挤在 1.4 分里。
OpenAI 在 2024 年 9 月就承认了这件事：
Recent frontier models do so well on MATH and GSM8K that these benchmarks are no longer effective at differentiating models.
GPQA Diamond（同一批模型）：49.9 → 65.0 → 51.1 → 59.1，拉开 15.1 分。
同样一批模型、同一年、同一张表，一个基准躺平，一个基准还在区分。"追平"这句话，得先问：追平的是哪个基准。
再往后的轨迹：
| 基准 | 早期 | 中期 | 最新（截至 2026-10） |
|---|---|---|---|
| GPQA Diamond | GPT-4o 49.9（2024） | o1 77.3（2024）、DeepSeek-R1 71.5（2025） | GPT-5 pro 88.4（2025）、Gemini 2.5 Pro 86.4 |
| AIME 2024 | GPT-4o 9.3（2024） | o1 74.4（2024）、DeepSeek-R1 79.8（2025） | Grok 3 mini 95.8、Qwen3 85.7 |
| SWE-bench Verified | Llama 3.1 405B 24.5（2024） | Claude 3.5 50.8、o3 69.1（2025） | GPT-5 74.9（2025，477 题子集） |
| HLE | Gemini 1.5 Pro 4.6% | Gemini 2.5 Pro 21.6%、DeepSeek-R1 14.0%（2025） | Grok 4 Heavy 50.7% |
Stanford AI Index 2026 对 SWE-bench Verified 的总结是：
On a key coding benchmark—SWE-bench Verified—performance rose from 60% to near 100% in a single year.
还有一个我没想到的方向：开源在追近闭源。AI Index 2026 里的原话是：
As of March 2026, the top closed model leads the top open model by 3.3%, up from 0.5% in August 2024.
（2024 年 8 月是 0.5%，2026 年 3 月是 3.3%——领先幅度反而变大了。开源追近的是整体能力线，不是第一名。）
但表格里的数字有个坑，我得写出来：OpenAI 用 477 题子集，Anthropic 用 500 题（官方原话：“Scores for OpenAI models are reported out of a 477 problem subset”）；Anthropic 的 “high compute” 档是多次采样再挑最优；AIME 上带不带 Python 解释器，OpenAI 自己警告过不能直接比。所以这些数字只能在同一口径内比。
最说明问题的是 ARC-AGI。 它其实是三个不同的基准——ARC-AGI-1、ARC-AGI-2、ARC-AGI-3，官方 leaderboard 上是三列并排。
- •ARC-AGI-1：2024 年 GPT-4o 9%、Claude 3.5 21%、o1-preview 21.2% → 2025 年 o3-preview 87.5% → 2026 年 10 月普遍 89%–98.5%。这个基准被彻底刷穿了。
- •ARC-AGI-2：2025 年 3 月启动时是：
Pure LLMs score 0% on ARC-AGI-2, and public AI reasoning systems achieve only single-digit percentage scores. In contrast, every task in ARC-AGI-2 has been solved by at least 2 humans in under 2 attempts.
到 2026 年 10 月，已经是 78.1%–94.2%。
- •ARC-AGI-3：2026 年新增，几乎重新归零——多数系统在标准配置下只有 0.1%–7.8%。能上到 90% 以上的只有少数几个，而且必须换一种“测试台”：官方榜单里 Gemini 4 Argon 是 97.3%（Provider Adapter 配置），GPT-6.1 Sol 是 96.2%（同样要 Provider Adapter），而在标准配置下它们分别只有 0.2% 和 52.7%。
ARC Prize 自己说得很清楚：
When AI systems are allowed a variable amount of test-time compute (e.g., the amount of reasoning tokens or the time to search), there is no objective way to report a single benchmark score because it's relative to the allowed compute.
所以“差距”是个会跑的东西。 每当一个基准被刷穿，就换一个更难的；每换一个，差距重新拉开一次。这跟第 07 期我在五番棋里看到的那句“它当时还以为自己赢着七成”其实是同一类事情：一个分数离开了它被允许花掉的算力，就不再是一个分数。
五、参数，不再公布了
看配方的时候我发现另一件更安静的事：从 2024 年起，头部实验室普遍不再公布参数和训练规模。
GPT-4 的技术报告把话说得很死：
Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.
（同一份报告里还有一句更让人在意的：他们说能用不超过 GPT-4 百分之一算力的模型准确预测它的部分表现。也就是说，“可预测，但不可复现”。）
而 Llama 3.1 405B 恰恰相反，全给了：
Specifically, we pre-trained a flagship model with 405B trainable parameters on 15.6T text tokens.
Llama 3 405B is trained on up to 16K H100 GPUs, each running at 700W TDP with 80GB HBM3, using Meta's Grand Teton AI server platform.
DeepSeek-V3 也是：
Under this configuration, DeepSeek-V3 comprises 671B total parameters, of which 37B are activated for each token.
Stanford AI Index 2026 把它总结成了一句：
Training code, parameter counts, dataset sizes, and training duration are no longer disclosed for several of the most resource-intensive systems, including those from OpenAI, Anthropic, and Google.
所以闭源这一边越来越黑，开源这一边越来越亮——这是很反直觉的一件事，也是我原本没想到的。
顺带清一个我记了很久的谣：“GPT-4 有 1.76 万亿参数”。我在 NVIDIA、OpenAI、学术论文里都没找到这个数字的一手出处，它只活在第三方站点的转述里。GPT-5 的“1.7T 参数”同理，未找到。
六、我的判断，和我仍然不懂的
暂时形成的理解（以下是我的判断，不是官方结论）：
- •模型层的"往前"，已经不在参数表上了。 差距被挤到了两个地方：一是推理时愿意花多少算力（同一个模型，不同预算就是不同分数），二是产品化的打磨（工具调用、上下文长度、稳定性）。这跟第 11 期是连着的：芯片决定推理时能花多少算力，于是芯片的门槛最终变成了模型的门槛。
- •"长得像"是竞争的结果，不是收敛的结果。 谁先做出来，别人就会跟上；等别人都跟上了，它就从"特色"变成"默认"，然后所有人看起来都一样。
- •榜单差距是会计问题，不是技术问题。 差距会一直存在，但它会永远出现在"最新的那个基准"上。
我到现在也没想明白的：
- 1.为什么配方共享会让模型"看起来一样"？ 不同的数据、不同的后训练、不同的人调出来的模型，按理说应该有差别。可我看到的成品，接口、模式、能力描述都像同一个模子。
- 2.榜单分数和我说的"挺实在"之间，隔着什么？ 分数是给评测题打的；"挺实在"是我写 Python 时它有没有真的省事。这两件事之间那道鸿沟，我至今没找到任何一份文档解释过。
- 3.那些不再公布的参数后面到底发生了什么？ 我只能从"差多少"去反推——比如 ARC-AGI-1 从 9% 到 98.5% 这中间发生了什么，官方一个字都没说。
第 3 个问题大概永远不会有答案。我不是搞这个的。
下一篇：这一行的账单
写完这一期，我最强烈的感受不是"模型好强"，而是：这一行的账单越来越贵，而且没人把账单摊在桌上。
第 11 期算过一次：一次 BLOOM 训练烧掉的电，够我家那台机器开 330 年。但那只是训练。真正的开销在推理——每天有几十亿人在用这些模型，每一句话都要烧电、占机器。
下一期我去看这张账单：这些电从哪来、谁在付、会不会付不起。
（这一期的引文核对报告在 反馈/20261103-t-10-sources.md，887 行，每条都有原文、出处和"已核实 / 仅二手 / 未找到"三种状态；我自己的实验在 实验/model_names.py，数据在 记录/model_names.json；两张图在 写作/2026/11/03/。数据截止 2026 年 11 月 3 日。）
没有评论:
发表评论