In the inference era, the computing power industry is changing its accounting books: Token cost and engineered delivery become the new yardsticks

算力产业今年有一个很明显的变化，用户已经不再停留在“算力规模有多大”“芯片性能提升了多少”，而是反复围绕一个更具体的词：Token。新爱算联合创始人杨智告诉我们，今年年初以来，他们客户提的问题完全变了，“客户开始更聚焦模型跑起来一秒能出多少Token？生成Token的成本是多少钱？”

算力生意的逻辑变了

在杨智看来，今天的智算行业，就好像二十年前的房地产行业。“当年房地产是包工头定制化、单位分房，找个包工头把房子盖好就能住。现在很多智算中心也一样，大厂过来租机房，把设备搬过去弄好，就结束了。”

芯片是砖头，改卡生产和维修维保是装配式建筑和物业，投建管理就是房地产开发。“而新爱算这一类企业，并不参与IDC拿地建设，而是把算力卡资产注入到郑州、杭州萧山等地的智算中心里。”杨智如是说。

但房地产行业真正成熟，靠的不是盖楼，而是从交钥匙工程，走向精细化的资产运营，而这也是当下算力行业同样正在经历的一步。尤其是在AI for Science（AI4S）需求的爆发下，这种转变被进一步推动。QYResearch的统计显示，2025年全球AI for Science市场规模约为45.38亿美元，到2032年预计达到262.3亿美元，年复合增长率28.9%。

AI4S的需求也是推理市场火爆的一个映射，国家数据局局长刘烈宏在2026年数字中国建设峰会上还披露，2025年推理数据量已达101.34艾字节，首次超过训练数据量，未来推理算力需求与训练算力需求之比或将达到3:1甚至更高。

而中国信通院《词元经济发展研究报告（2026年）》也指出，2026年推理算力占AI算力总负载的比重将达到70.5%。Gartner的预测更直接地体现在钱的流向上：2026年全球推理支出将达到233亿美元，首次超过190亿美元的训练支出，占AI IaaS总支出的55%。训练和推理的“主配角”关系，在这一年正式翻转。

需求端的这种转折，已经直接传导到了采购和验收环节。杨智坦言，过去客户只看卡的型号、数量和峰值FLOPS，而现在问的是：针对自己的模型、上下文长度和并发需求，吞吐能做到什么水平？响应延迟是否稳定？每月能耗和运维成本怎么控制？出了问题业务多久能恢复？“FLOPS仍然是设备选型的基础指标，但已经不是采购决策和项目验收的终点了。客户采购的不是一组参数，而是一项可持续运行的业务能力。”杨智指出。

这也解释了为什么行业开始流行每瓦Token产出、单位成本推理延迟这类新指标。北京并行科技董事长陈健曾在中关村论坛上表示：行业最优与最差的Token性能、成本差距可达100倍；DeepSeek官网百万Token的成本，从年初的约130元，通过系统优化降到了3元以下，离线场景甚至低至0.3元。

即便如此，推理需求的“高潮”还尚未到来，对此，杨智指出，当前的第一波需求，来自C端智能体产品，一个智能体完成一整套任务，消耗的Token是普通聊天的几倍甚至上百倍，不少产品上线后Token用量直接涨6倍，服务紧急扩容10倍。而当金融、医疗、制造、能源等行业的大模型真正走进千行百业，“等大门打开的时候，会是现在的算力需求的至少100倍”。杨智判断道。

真正难的不是买卡，是让系统跑起来

如果说Token经济改变了算力的账本，那么工程化交付能力，就是这本账能不能算清楚的关键。曙光智算总裁何牧君告诉我们，如今各家基模厂商发布新模型，超算互联网“零栈适配”基本都能做到，因为国产芯片的算力兼容性越来越好，基模厂商也基本都在CUDA架构上做训练。但能跑和好用完全是两回事。

以模型上下文为例：基模基本都支持百万级（1M）上下文，但实际部署时，0-128K、128K-512K、512K-1M，各自适合不同的部署和优化方案，还要考虑PD分离怎么部署，以及并行度等问题。“这些工作量是非常大的，我们基本上从它发模型倒推，前置2-3个月的时间。”何牧君指出。

模型“点亮”只是起点，离业务稳定运行还差着大量系统工程。在此基础上，杨智把交付验证拆成了四层：第一层是设备健康，包括供电、散热部件识别和基础压力测试；第二层是集群与网络的兼容性，包括驱动固件、网络链路和通信拓扑；第三层是与客户共同定义的业务负载验证，包括模型、并发、精度和关键时延；第四层是连续运行与验收交接。“设备能通电不等于集群能稳定通信，集群能跑通测试也不等于客户的模型和流程可以达到预期。”杨智强调。

而对于好用的标准，在杨智看来，可以从四个维度评估，即：性能可预期，关键并发下不能大幅波动；运行足够稳定，长任务不掉链、不中断；故障可定位，客户不必在模组、底板、网络和软件之间反复猜测；服务可恢复，有明确的响应、备件、维修和复验机制。

在软件侧，优化的空间同样巨大。杨智把推理优化分成三层：模型层、引擎层、系统层，而“把群片一整群机器干活”的系统层，正是行业最卷的战场。DeepSeek联合清华解决的Agent KV缓存瓶颈，让线上吞吐接近翻倍；英伟达公布的公开数据显示，同样的硬件平台，仅靠软件优化，DeepSeek的Token成本一个月内最低降到原来的1/5；PD分离、FP4专家并行、卡板吞吐提升20倍，这些已全部是验证过的事实。

而这也让异构算力成为必然的选择。训练时代，拼的是超大规模集群、高速互联、成熟软件生态缺一不可，英伟达几乎一家独大；但推理赛道的游戏规则完全变了，推理比拼的是每一个Token的成本、能效、业务吞吐，“上层业务越来越不关心底层是什么卡。”杨智指出。

推理时代，巨头开始卡位战

推理的崛起，除了改变了原有的算里账本之外，也在改写着芯片产业的结构。以行业巨头英伟达为例，去年12月，英伟达宣布与推理芯片公司Groq达成约200亿美元的非排他性授权协议，获得其LPU架构等核心技术授权，创始人Jonathan Ross及核心团队集体加入英伟达，而Groq公司本身仍独立运营。这笔交易超过了英伟达2019年以约70亿美元收购Mellanox的纪录，成为其史上最大手笔。

值得注意的是交易的形式，并不是传统并购，而是“技术许可+人才迁移”。行业内普遍将其解读为一次防御性收购，“当推理对延迟、能效和确定性的要求超越通用GPU的舒适区时，英伟达选择把最有威胁的非GPU架构收编进来。”杨智进一步分析道，“英伟达拿下Groq，AMD拿到对标谷歌TPU的路线，大家在拼命争夺ASIC推理芯片，在大模型已经逐渐收敛的当下，ASIC的机会就是万亿级的蓝海市场。”2025年，AMD数据中心业务收入同比接近翻番，ASIC推理芯片创业团队大量涌现，海外和国内的信号都在指向同一个方向。

与此同时，生态协作的方式同样在进化。超算互联网的实践提供了另一种参照：他们通过“万卡集群邀测计划”，让数万名用户参与到十万卡应用的测试中，而实际客户群里用量最大的反而是10个节点以内的普惠需求，今天80卡的用户，可能几个月后就是800卡、几千卡。何牧君坦言，做算力普惠从财务账上并不如一次性卖给大客户划算，但复旦类脑团队从几十卡、一百卡起步，如今已到万卡级别，据悉，目前“万卡共创者激励计划”已经覆盖了科研、985高校和缺少IT经验的药厂、医院等多种参与者。而曙光正用商业化方式满足各方不同的利益诉求，“不光是芯片上要具备不同的能力，整个工作流流水线当中可能要处理不同的科学任务，这对系统架构，以及生态建设的需求又更进一步。”何牧君强调。

从算力账本到工程化能力，再到生态的构建，推理时代对算力产业的改动正在层层深入。衡量算力的标尺换成了Token，比拼的重心落在了交付与运维上，产业链各方的合作方式也随之改变。正如杨智所言，推理爆发前夜往往显得安静，恰恰是积蓄力量的时刻。