先看结论：三条曲线很少同时最优

在推理芯片的公开数据里，延迟、吞吐与单位成本构成一组互相牵制的三角关系。智芯观澜在整理厂商规格书与公开基准报告时发现，绝大多数产品只在其中一到两条曲线上表现突出，宣称三项全面领先的表述往往缺少可复现的测试条件说明。读懂这三条曲线，比记住某一项峰值数字更有价值。

智芯观澜行业资讯栏目长期跟踪推理芯片的公开数据发布，本文只讨论可核验来源中的指标口径，不涉及任何未公开的测试结果。

延迟曲线：首字时间与单请求完成时间要分开看

延迟数据最容易在传播中被简化成单一数字。实际上，推理场景至少涉及两个口径：首字输出时间与单请求完整完成时间。前者决定交互类应用的体感响应，后者决定批处理任务的排队效率。

  • 首字时间受预填充阶段算力与显存带宽共同影响，长上下文输入时带宽权重明显上升。
  • 单请求完成时间还要叠加解码阶段的逐 token 输出开销，与批大小设置强相关。
  • 部分公开基准只报告理想批大小下的数值，实际部署中批大小受显存容量约束，参考价值会打折扣。

智芯观澜建议读者在阅读延迟数据时，先确认测试所用的输入长度、输出长度与批大小三要素是否披露。缺少任一要素的延迟数字，只能作为方向性参考。

吞吐曲线：批大小是隐藏的自变量

吞吐通常以每秒 token 数或每秒请求数表示，但这两个单位在不同批大小下不可直接比较。智芯观澜在梳理多份公开规格书时注意到，同一款产品在批大小为 1 与批大小为数十时，吞吐差距可以达到数倍，而延迟表现则朝相反方向变化。

因此，看到吞吐数据时应追问三个问题：批大小是多少、序列长度分布如何、是否包含调度与排队开销。部分公开报告会给出吞吐随批大小变化的曲线，这类数据比单一峰值更有选型参考意义。对于显存容量有限的推理卡，吞吐曲线往往在中等批大小处就触及上限，继续增大批量的收益迅速衰减。

成本曲线：单位 token 成本要按实际利用率折算

单位成本是三条曲线里最容易被误读的一条。按峰值吞吐折算的单位 token 成本，只在设备满负荷运行时成立；真实业务存在波峰波谷，平均利用率往往明显低于峰值。

  • 折算成本时应使用业务侧可达到的平均利用率，而非理论峰值。
  • 功耗与散热成本应计入总拥有成本，高功耗方案在机架密度受限的场景下会放大隐性支出。
  • 显存容量决定了可承载的模型与批大小上限，容量不足会迫使增加卡数，间接抬高单位成本。

智芯观澜在产业数据整理中采用统一口径折算示例数据，并明确标注测算假设，避免不同来源的数字被直接拼接比较。读者若自行测算，建议把利用率假设写在结论旁边，方便复核。

把三条曲线放在一张表里读

单看任何一条曲线都可能得出偏颇结论。可行的做法是建立一张对照表，横向列出延迟口径、吞吐口径、成本假设与测试条件，纵向对比候选方案。智芯观澜在方案对比模块中坚持保留测试条件字段，正是为了让读者能判断数字之间是否可比。

当三条曲线出现冲突时，应回到业务约束：交互密集型场景优先保障首字时间，离线批处理场景优先保障吞吐与单位成本，混合负载则需要留出余量。数据本身不给出答案，但它能帮读者把问题问对。智芯观澜会继续以可核验来源为基础，跟踪推理芯片公开数据的口径变化。