Google于2026年10月20日发布基于TorchTPU的vLLM与SGLang原生PyTorch后端推理引擎,分别与Inferact、RadixArk合作开发。官方表示,两个引擎已在预览客户的生产环境中运行;在Ironwood TPU(TPU 7x)上运行Qwen 3.5时,高并发配置下每百万token成本为2.01美分,并已在SemiAnalysis InferenceX的AgentX赛道提交结果。功能方面,引擎支持前缀缓存与KV cache卸载、投机解码、分离式服务以及图像视频输入的多模态模型;SGLang-TorchTPU已在Meta生产环境使用。目前尚无后续独立发展事实。
匹配字段标题
LMSYS于2026年10月18日发布SGLang Low-Latency Mode,通过插件框架把专用kernel接入SGLang,在NVIDIA和AMD GPU上降低推理延迟。据LMSYS Blog介绍,在四块NVIDIA GB300上回放AgentX trace,单并发会话的P90每用户token生成速度从671.2提升到928.4 tokens/s,为1.38倍;在四块AMD MI355X上四并发会话从331.6提升到516.0 tokens/s,为1.56倍。NVIDIA侧kernel位于sgl-nvidia-mega,AMD侧位于sgl-amd-mono,均针对DeepSeek-V4.1-Flash与DSpark的验证和草稿执行做优化。目前尚无后续发展事实。
匹配字段标题
Google 发布 vLLM与SGLang的TPU原生PyTorch后端推理引擎
English translation is being prepared.
匹配字段标题
2026年10月20日,IBM等开源llm-d项目贡献者发布分布式人工智能推理框架1.0版本。据Unite.AI报道,该版本在PyTorch Conference North America上发布,是Kubernetes原生的分布式推理服务栈,由Red Hat、IBM和Google主导维护,CNCF以沙箱项目托管;1.0新增多租户服务质量保障,包括按优先级和公平性调度的流控与可控降载,并支持路由器热备、安全滚动更新,以及把prefill和decode副本作为整体管理的DisaggregatedSet控制器。项目公布的测试显示,在544张NVIDIA H100上部署GLM-5.2可服务最多3000个并发编码智能体且零抢占,每token成本比同等商业API低5到10倍。次日MarkTechPost报道称,Google团队在同一会议上发布该首个稳定版本,把vLLM或SGLang模型服务器整合为统一调度池,支持NVIDIA、AMD、Intel GPU与Google TPU,并新增会话感知路由和异步推理等能力;Google自报基准显示Ironwood TPU编码负载下中位TTFT降低超过85%、
匹配字段标题
IBM Corp. and several other contributors to the open-source llm-d project 发布 version 1.0 of their distributed artificial intelligence inference framework
English translation is being prepared.
匹配字段标题
2026年10月15日,Inworld 推出 Inworld Inference,一个面向消费级 AI 应用的 LLM 推理 API。据 Testing Catalog 报道,该 API 支持 Gemma 4、GLM、DeepSeek 和 MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟为 0.17 秒,对比 OpenRouter 上其他供应商中位值 0.61 秒快 3.6 倍;95 分位为 0.31 秒对 2.42 秒,快 7.8 倍。开发者还可设置首个模型失败或耗时过长时自动切换到备用模型。目前尚无后续发展事实。
匹配字段标题
Inworld 推出 Inworld Inference 推理 API
English translation is being prepared.
匹配字段标题
2026年10月14日,Microsoft公布第三代自研推理加速器Clea Maia 300的规格。据The Next Platform报道,该芯片在Open Compute Project Summit 2026上亮相,采用台积电2纳米N2P工艺和chiplet架构,封装内含7颗芯片与8个HBM4堆栈,配备288 GB HBM4和18 TB/sec内存带宽。微软称一机架96颗Maia 300的token吞吐量最高可达一机架48颗Maia 200的7倍,每瓦性能提升2.5倍,单机架功耗约167千瓦,面向更大规模的智能体推理负载,ATL 2.0网络可将128个机架、12,288颗加速器连入同一一致性域。早先报道称,该芯片面向推理负载,预计2027年开始量产部署,官方称其每兆瓦token数比主流GPU系统高40%,TDP为950瓦;微软表示Maia 200已在Copilot等生产负载中运行,并部署于美国、欧洲和澳大利亚。
匹配字段标题
Microsoft 公布 Clea Maia 300加速器的规格
English translation is being prepared.
匹配字段标题
2026年2月12日,FireRedTeam 发布一体化语音系统 FireRedASR2S,并放出模型权重与推理代码。该系统包含 ASR、VAD、LID、Punc 四个模块,各模块均称达到 SOTA,且可独立使用。其中 FireRedASR2 支持中文(普通话及 20 多种方言口音)、英文、中英混说以及语音和歌声转写,在 4 个普通话公开基准上平均 CER 为 2.89%,在 19 个中文方言口音基准上为 11.55%,均优于 Doubao-ASR、Qwen3-ASR-1.7B、Fun-ASR 和 Fun-ASR-Nano-2512。FireRedVAD 支持 100 多种语言的语音、歌声和音乐检测,F1 为 97.57%;FireRedLID 覆盖 100 多种语言和 20 多种中文方言,准确率 97.18%;FireRedPunc 中英文标点预测平均 F1 为 78.90%。技术报告见 arXiv。目前尚无后续发展事实。
匹配字段标题
2026年10月8日,Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift。该引擎抽象 OpenGL ES、OpenCL、Metal 和 WebGPU,是 LiteRT 的核心 GPU 加速引擎,也可作为独立库使用。相比旧版 TFLite GPU delegate,它引入张量虚拟化统一 shader、可扩展自定义算子框架、5D 张量支持和针对 LLM 的阶段性优化,并新增 Windows 和 Linux 桌面预览。官方称 Gemma 基准中内存开销最多降低 12%,YouTube Shorts 平均帧延迟最多降低 40%,Google Photos 提速最多 2 秒,Adobe Lightroom 与 Photoshop 端侧性能最多提升 30%,Snapchat 镜头模型延迟改善 30%。旧版 TFLite GPU delegate 将不再获得新功能更新。目前尚无后续发展事实。
匹配字段标题
FireRedTeam 发布 FireRedASR2S（FireRedASR2-AED、FireRedVAD、FireRedLID、FireRedPunc）及模型权重与推理代码
English translation is being prepared.
匹配字段标题
2026年10月9日,AWS 正式发布 Amazon Bedrock AgentCore payments,为 AI 智能体提供按需付费的托管能力,支持 x402 协议端点,其中包括 Amazon Bedrock 推理端点,使智能体可按次支付模型推理费用。据 AWS Machine Learning 发布的信息,Incarna 借助该服务让智能体逐次向 BlockRun 支付模型推理费用,集成工作从原计划的 2 至 3 个月缩短到 3 天,约 200 行应用代码。测试期间智能体已处理超过 1000 笔支付,单次金额在 0.001 至 0.05 美元之间,每笔在链上独立结算,花费上限由基础设施层强制执行。目前该能力已正式可用,尚无进一步发展事实。
匹配字段标题
2026年10月7日,llama.cpp作者Georgi Gerganov介绍,llama.cpp可以通过ggml RPC后端在异构设备上分发推理。他表示该能力目前属于高级设置,并预计未来会降低普通用户的使用门槛。被引用的演示显示,MiMo 2.6 Flash的原生mxfp4权重可跨RTX 6000 GPU与M5笔记本运行,在10 GbE下达到40 tokens/sec,且llama.cpp开箱支持。目前该故事没有后续发展事实,状态停留在上述介绍与演示。
匹配字段标题
2026年10月,Prime Intellect推出面向前沿开源模型的推理服务平台Prime Inference,提供无服务器端点和预留GPU容量,支持通过OpenAI SDK接入,并具备跨数据中心自动故障转移能力。据其官方发布,首个公开部署的GLM-5.3已于9月22日上线OpenRouter,工具调用错误率接近零、上线以来保持100%可用;服务栈结合NVIDIA Dynamo、vLLM、Mooncake和FlashInfer,采用预填充与解码分离部署,在GB200 NVL72上以1:4的P/D比例实现每组66个会话、每用户101 tok/s。另有报道称,该平台在公开发布前内部日均处理近一万亿token,负载来自RL rollout、合成数据生成、评测和长时间运行的编码智能体,测试中p90词元间延迟降低近40%。
匹配字段标题
Amazon Bedrock AgentCore 支持 AI智能体通过x402按次支付模型推理费用
English translation is being prepared.
匹配字段标题
Prime Intellect 推出 Prime Inference开放模型推理服务平台
English translation is being prepared.
匹配字段标题
Cognition 选择 Cerebras 作为最快推理提供商。据 Cerebras 官方博客,Cognition 的 SWE-1.6 与 SWE-grep 系列由 Cerebras Inference 提供推理,编码性能达到前沿水平,速度最高约为 GPU 的 5 倍。其中 SWE-1.6 在 Windsurf 快速档上最高可达 950 tokens/秒,SWE-Bench Pro 成绩为 50.4%,高于 SWE-1.5 的 40.1%。该模型还更多使用并行工具调用、更少循环,并更依赖自身工具而非终端命令。目前尚无后续发展事实。
匹配字段标题
Google AI Edge Team 开源发布 ML Drift
English translation is being prepared.
匹配字段标题
Georgi Gerganov 介绍 llama.cpp的ggml RPC后端异构设备推理分发能力
English translation is being prepared.
匹配字段标题