←News detail

Semiconductor Industry ObserverUpdated Nov 2 14:13

Google: Agentic AI Drives Up Data Center CPU Demand

English text is being prepared.

AI summary

Mark Lohmeyer, Vice President of AI and Compute Infrastructure at Google Cloud, said that the bursty workloads and long-duration state retention of agentic AI are driving up the share of data center CPU compute, with CPUs rising from a previously small share to a level that cannot be ignored. Google Cloud uses microVMs for agent isolation, increasing the number of virtual machines that can be hosted on the same hardware from 100 to 1,000 microVMs, and simultaneously offers Intel and AMD x86 CPUs along with its self-developed Arm-based Axion CPU for customers to choose based on workload.

Body

谷歌:智能体AI推高数据中心CPU需求来源:半导纵横发布时间:2026-11-02 11:00谷歌CPU生成海报不存在一款万能CPU适配所有类型的智能体。

谷歌云AI与计算基础设施副总裁兼总经理Mark Lohmeyer在接受采访时表示,智能体AI的各项需求,正对数据中心CPU乃至整套基础设施提出全新要求。“对话类任务相对简单:一问一答,计算负载高度集中在GPU或TPU上做推理。而智能体的交互模式,发生了很大变化。”

使用智能体时,用户的高层指令可以拆解成多个子任务,分配给一组智能体。这些智能体能够调用其他API、访问网页、编写并运行代码 —— 这些都属于CPU任务。对话会话的持续时间可以长得多,还能支持多名人类用户,意味着上下文和状态可能需要保留数天甚至数周。

“智能体的负载往往是突发式的,大部分时间处于空闲状态。” 他说道,“可能一两天都没有动作,直到用户再次发起指令,或是某个API返回结果…… 它和传统CPU负载不一样:需要长时间维持状态,但这段时间里经常闲置;一旦开始运行,算力需求又会急剧爆发。”

Lohmeyer称,如何兼顾性能与安全来承载这类负载,是当前行业面临的一大难题。“相关需求已经很高,并且还在快速增长。我们该搭建怎样的基础设施,才能支撑这种增长,同时控制好成本?”

谷歌自研Arm架构Axion CPU

全新的负载形态

Lohmeyer区分了两类算力需求:一类是运行智能体本身的算力,属于全新负载,需要配套新基础设施;另一类是访问网页、调用API这类任务,这类操作原本就存在,只是过去由人来触发。“智能体负载会对这两部分都产生显著影响。”

原有这部分任务的规模会大幅上涨:智能体的调用频次远高于人类,数百、上千个智能体可以快速上线,而人类用户的增速远达不到这个水平。

Lohmeyer表示:“出于延迟和性能考虑,理想情况下,这些智能体、对应的上下文、应用与数据,彼此之间的距离要尽可能近。”

不过他也提到,就近部署固然重要,但企业IT架构仍将保持分布式形态,现阶段大多数企业会同时使用多家公有云和私有云。这代表高性能网络依然至关重要,不管是数据中心内部,还是跨数据中心之间。“具备动态、有状态特性的智能体,需要全新类型的计算基础设施来支撑。” 他说,“智能体要访问各类已有应用和数据,这块需求持续上涨,所有组件都要依靠网络连通。谷歌正在投入资源布局这全部环节。”

Lohmeyer称,针对智能体AI,CPU与GPU算力的最优配比还会随着负载持续调整;但从基础模型训练转向智能体推理之后,CPU算力的占比明确在提升。“我们预计CPU和TPU/GPU负载都会继续快速增长。CPU算力占比从原本很小的份额,提升到了不可忽视的水平。随着智能体落地到更多新场景、新环境,这个比例还会持续变化。” 他说。

硬件、软件、负载协同设计

Lohmeyer认为,要解决智能体推理的难题,必须在整套基础设施栈上做协同设计,涵盖CPU、存储、内存、网络以及各组件之间的协同方式。“谷歌云一直坚持面向负载做基础设施优化的理念。” 他说,“进入智能体时代,这一点比以往更加重要。”

由于智能体负载突发、长时间空闲,智能体可以被 “休眠”:它的运行状态存入存储介质,释放CPU给其他智能体;需要恢复时,再快速加载回来。“这需要软件层面全新的编排调度机制。在这种架构里,服务器配套高性能存储、保障快速唤醒,非常关键。” 他说。

谷歌云采用微虚拟机(microVM),相当于轻量化虚拟机,用来给部署在同一台服务器上的多个智能体设置安全隔离边界。同样一台硬件,原本只能跑100台传统虚拟机,现在可以承载1000个微虚拟机。

“智能体的安全与管控绝对是重中之重,谷歌正在技术栈每一层加大投入。” 他说。

Lohmeyer表示,虚拟化是底层核心。谷歌计划支持多种智能体沙箱隔离方案,其中微虚拟机尤为关键。对比传统虚拟机,微虚拟机精简了功能,提升性能,同时缩小攻击面,增强安全性。谷歌还在研发智能体网关,可在网络层对智能体的对外访问进行管控,搭配其他高层级管控能力。

Lohmeyer提到,未来要同时运行上千个微虚拟机承载智能体,会对核心密度、存储形态、存储接入方式以及编排管理软件提出新要求。这套方案的好处是提升硬件利用率,降低单个智能体的运行成本。“这可以帮助客户拓展业务,拥有健康的商业模式与盈利空间,在业务扩张的同时不必牺牲性能。” 他说,“这类能力在后续会非常关键。”

CPU选型

Lohmeyer称,不存在一款万能CPU适配所有类型的智能体。谷歌云同时提供Intel、AMD的多款x86 CPU,以及自研基于Arm架构的Axion CPU。“如果是数据密集型智能体场景,可能需要单核性能极强、搭配大容量本地SSD;但如果偏向网页服务类场景,客户会更看重核心数量。” 他说,“我们认为,最终的关键是给到客户选择权,在谷歌云中把特定智能体负载匹配到最合适的CPU。”

Lohmeyer透露,目前Axion收到大量客户意向,既有面向性能优化、能效优化的云实例,也有大客户对裸金属实例的需求。

本文转自媒体报道或网络平台,系作者个人立场或观点。我方转载仅为分享,不代表我方赞成或认同。若来源标注错误或侵犯了您的合法权益,请及时联系客服,我们作为中立的平台服务者将及时更正、删除或依法处理。 评论暂无用户评论最新资讯更多 相关推荐

英伟达RTX 5080 24G提前引入中国,售价恐破3万元2026-11-02 11:42

台积电3D DRAM专利背后的现实冷思考2026-11-02 11:40

2.2亿元收购,华大九天补齐数字EDA关键一环2026-11-02 11:25

Source

Semiconductor Industry Observer