《从第一性原理看 MoE 推理经济学》译述与总结

原文：Tensor Economics — MoE Inference Economics from First Principles
作者：Piotr Mazurek、Eric Schreiber；发表于 2025 年 9 月 2 日。
副标题可译为：DeepSeek、Kimi、合成数据市场与 Token 供给过剩问题。

文章很长，下面是按原文论证顺序整理的中文浓缩译述，不是逐句全文翻译。文中的市场用量、价格和服务速度主要是 2025 年 8—9 月的观察，不应当作当前实时数据。

一、核心观点

DeepSeek V3.1、Kimi K2 等模型采用 **MoE（混合专家）**架构：模型总参数很大，但处理每个 Token 时只激活其中一部分。这能降低单次计算量，却让推理服务的成本结构变得复杂——瓶颈不仅是 GPU 算力，还包括显存带宽、KV Cache 容量，以及 GPU 之间传送 Token 激活值的速度。

作者建立了一个推理性能与成本模型，并用 DeepSeek V3.1 和 Kimi K2 讨论：每百万 Token 的成本取决于硬件、集群规模、批量大小、上下文长度、通信网络和服务延迟目标，不能脱离具体配置给出一个统一价格。

他们还提出一个市场疑问：开源模型的公开调用量看起来不大，但许多推理服务商仍在扩建算力。若只看公开聚合平台的数据，似乎存在大量闲置推理产能；不过，作者认为直接调用模型厂商 API 的需求可能远大于聚合平台所显示的需求。

二、模型架构为何影响推理成本

DeepSeek V3.1 有 61 层，其中 3 层是传统稠密层，58 层是 MoE 层。每个 MoE 层有 256 个路由专家和 1 个共享专家；每个 Token 会选择 8 个路由专家，同时经过共享专家。

文章强调两项设计：

MLA（多头潜在注意力）压缩 KV Cache。 DeepSeek 不是为每个 Token 存储完整的 Key/Value，而是保存压缩表示。作者估算其 KV Cache 约为 每 Token 70 KB，比文章引用的部分其他模型低约 2—7 倍。长上下文推理因此更省内存、带宽和成本。
稀疏激活专家。 每个 Token 只经过少数专家，避免每次都计算整个大模型。不过，专家权重散布在不同 GPU 上，Token 必须在设备间传输，通信开销可能抵消部分计算节省。

因此，MoE 并非“参数大但推理自然便宜”。它的经济性取决于是否能有效安排专家、批次和设备间通信。

三、决定吞吐和成本的系统取舍

文章重点讨论了几种优化：

专家并行（EP）：把专家分配到不同 GPU，避免切碎专家矩阵；代价是增加设备间通信。设备少或网络较慢时，张量并行有时反而更快。
负载均衡和本地路由：专家使用并不均匀，热门专家可能过载。复制部分专家或优先路由到同一节点，可降低通信峰值，但会占用额外显存。
双批次重叠（TBO）：让一批 Token 计算时，另一批进行通信，从而尽量把通信时间藏在计算之后。
Prefill 与 Decode 分离：Prefill 处理整段输入，通常更偏计算密集；Decode 每次生成一个 Token，更偏显存带宽与延迟敏感。把两阶段放在不同集群处理，能避免一阶段拖慢另一阶段。

核心运营取舍是：批次越大，集群总吞吐通常越高、单 Token 成本越低；但单个用户分到的吞吐会下降，等待时间变长。 实时聊天倾向较小批次，合成数据生成等非实时任务则更适合大批次。

四、硬件规模和网络的重要性

作者指出，大规模部署常有更好的单 GPU 效率：更多 GPU 分担权重和工作负载，能提高集群整体利用率。但规模变大也会让专家通信更频繁，若互连带宽不足，系统会被通信拖住。

文章特别提醒，不能只看 GPU 的峰值算力。以文中分析为例，B200 的计算和显存性能更强，但如果跨节点主要依赖较慢的 InfiniBand，通信可能吃掉大部分优势；NVLink 互连的 NVL72 则更有利于大规模 MoE 推理。硬件代际更先进，不必然意味着每个 Token 更便宜。

文章给出的一个示例估算是：72 张 H100、专家并行规模 72、批次大小 64，假设每 GPU 每秒处理约 1,400 个 Token，则约为：

全集群每天生成 87 亿 Token
每个请求约 21.9 Token/秒
按每张 GPU 每小时 2 美元估算，成本约 0.40 美元/百万输出 Token

这只是特定假设下的 Decode 阶段估算，未涵盖 Prefill，也不代表任何服务商实际报价或净利润。

五、合成数据可能是另一种推理市场

作者认为，当前推理服务商大多以聊天体验为中心，强调较高的单用户生成速度；但生成训练用合成数据时，单次请求延迟往往没那么重要，关键是用固定的硬件预算尽可能多地产出 Token。

这可能形成两类不同服务市场：

低延迟服务：面向聊天、实时应用，用户体验优先，价格可能较高。
高吞吐服务：面向批处理、合成数据与强化学习训练，允许单请求变慢，以换取更低的单位 Token 成本。

文章进一步推测，面向特定业务奖励训练的模型，以及针对客户任务微调的 LoRA 适配器，可能让推理服务商提供更专门的多租户服务。但这是作者对市场机会的判断，不是已经证实的普遍商业结果。

六、“缺失的 Token”与公开需求数据

作者观察到，2025 年 8 月 OpenRouter 上 DeepSeek V3.1 的公开日用量约 300 亿 Token，但大部分是输入；输出 Token 约 10 亿/日。按他们的吞吐估算，一台 NVL72 的产能就可能远超这个公开输出需求。

作者认为，这不一定说明全球需求真那么小：DeepSeek 曾公布过远高于 OpenRouter 的输出 Token 数量，推测大量用户可能直接调用厂商 API，而不是通过聚合平台。文中也提到，公开平台的数据、缓存命中率和长上下文需求都会显著影响推算。

总结

文章最重要的结论可以归纳为三点：

MoE 推理的成本由整套系统决定：专家计算只是其中一环，显存带宽、KV Cache、网络通信和负载均衡同样关键。
吞吐、延迟和成本不能同时无限优化：大批次有利于降低单位 Token 成本，却会牺牲单用户速度；硬件选型必须匹配业务目标。
合成数据可能催生高吞吐、低延迟要求的推理市场：这类工作负载与实时聊天的需求不同，或能为云算力服务商带来新的机会。

**阅读时的注意点：**作者的理论模型主要分析 Decode，不包括完整 Prefill 成本；模型假设权重采用 FP8，也没有完整检验所有批次在实际显存中是否可行。文章中的吞吐、价格和 Token 用量都是当时的数据或估算，应理解为说明经济关系的案例，而不是当前报价或市场规模定论。