2026年9月30日,Amazon Bedrock 上线 Claude Opus 5 和 Claude Sonnet 5 的首尔及新加坡区域内推理。据 AWS Machine Learning 发布的信息,首尔区域支持 Claude Opus 5 和 Claude Sonnet 5,新加坡区域支持 Claude Sonnet 5,请求与数据全程不离开所调用的 AWS 区域。该功能通过 bedrock-runtime 端点以直接模型 ID(如 anthropic.claude-opus-5)调用,支持 Anthropic Messages API 及 Bedrock InvokeModel、Converse API,并兼容 Guardrails 和智能提示词路由。吞吐量受该区域容量限制,配额、CloudWatch 指标和 CloudTrail 日志均限定在同一区域。目前尚无后续发展事实。
匹配字段标题
2026年9月30日,Manus公布Manus Flex推理合作伙伴计划,并宣布OpenRouter、Fireworks AI和Modal成为该计划首批推理合作伙伴。官方信息显示,该计划扩大了用户可通过Flex连接的推理提供商数量,这些合作伙伴与大型语言模型提供商一起,为用户提供更广泛的模型选择。目前没有后续发展事实,事件状态停留在首批合作伙伴公布阶段。
匹配字段标题
Cognition公布了GPT-6.1 Sol在低推理档位下的评测结果。其得分58.1%,单任务成本0.21美元,高于同档位GPT-6 Sol的50.5%。Cognition称,这是排行榜上单任务成本低于0.30美元的模型中得分最高的成绩,并同时给出了试用入口。目前没有后续发展。
匹配字段标题
2026年9月28日,Fireworks AI推出GLOBAL多区域推理部署选项,让单个部署可从多个区域获取兼容GPU容量,并通过单一端点统一管理。官方说明称,该架构把全局调度移出请求路径,由DNS就近选择健康网关,网关再按预先发布的记录路由,不增加每次请求的全局调度往返。在为期七天的生产观测中,可全球部署的客户部署请求成功率从单区域的99.269%提升到多区域的99.992%。官方同时指出,该设计不消除地理延迟。目前尚无后续发展。
匹配字段标题
2026年9月27日,Yuchen Jin发表关于模型推理档位命名的调侃观点。其相关表述以“我们造出了超智能模型。然后问人类:低、中、高、XHigh,还是 Max?”呈现,指向模型在推理档位选择上仍交由人类决定这一现象。该内容由Yuchen Jin本人于2026年9月28日发布,属于同一事实的代表性证据。目前没有后续发展事实,事件状态停留在该调侃观点本身。
匹配字段标题
2026年9月24日,微软在Physical AI Toolchain中新增机器人端外推理卸载能力,并发布首个针对机器人工作负载的系统性研究。该研究聚焦移动机器人操作任务,评估语义建图与规划、导航、操作三类模型在机载、边缘和云端算力配置下的表现。结果显示,卸载推理可提升响应时间与准确率并延长续航:在内存足够的GPU上,建图与规划相比A100最多慢383%;轻量GPU上导航的障碍物及时检测下降30%,VLA模型准确率下降50%;用Raspberry Pi-5替代机载GPU后,Jetson Thor等较大机载GPU最多消耗160%的电池。微软同时提供SO-101与UR10e示例项目,并演示将Rho模型推理卸载到Jetson Thor以控制Mobile Aloha机器人。
匹配字段标题
2026年9月23日,英伟达测试了TensorRT LLM在八张B200 GPU上运行DeepSeek-R1的机密计算性能。据英伟达开发者博客,机密计算通过内存加密的机密虚拟机、机密GPU和加密NVLink,让生产级AI推理运行在可信硬件上。在受控对比中,开启机密计算后保留了基线96.1%–98.2%的输出token吞吐,单token延迟(TPOT)仅增加1.2%–4.3%(并发1–16)。TensorRT LLM为此改用可分页内存、异步token回读,并以GPU %globaltimer替代CUDA events做内核自动调优。目前该测试结果由英伟达一方发布,尚无其他来源交叉印证。
匹配字段标题
2026年9月22日,OpenRouter发布Batch API,批量请求按每token价格通常收取50%甚至更低费用,目前支持70多个模型。该接口为异步设计,用户提交批量请求后,由服务商在24小时窗口内自行选择完成时间,支持chat completions、responses、messages和embeddings等请求形态,输入与结果保留30天。据官方披露,两周beta期间完成23万多个批次,中位完成时间为7分钟,90%在一小时内完成;另有报道称太平洋时间5点至中午提交的批次明显更慢。目前该故事尚无后续发展事实。
匹配字段标题
Amazon Bedrock 上线 Claude Opus 5和Sonnet 5的首尔及新加坡区域内推理
English translation is being prepared.
匹配字段标题
Manus 公布 Manus Flex Inference Partner Program首批推理合作伙伴
English translation is being prepared.
匹配字段标题
Upstage 发布 Solar Mini 4
English translation is being prepared.
匹配字段标题
2026 年 9 月 30 日,韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4。官方称其 35B 总参数、3B 激活参数,在 3B 激活以下模型中创下 Intelligence Index 与激活参数的新帕累托最优点,比上一代旗舰 Solar Pro 3 高 16 分,价格降至每 1M 输入/输出 token 0.10/0.40 美元。Artificial Analysis 测得它在 AA-LCR v1.1 上得 83%,与 MiniMax-M3、GPT-6 Luna (max) 持平;但智能体编码较弱,Terminal-Bench 4.0 仅 1%、AutomationBench-AA 22%。该模型为专有模型、权重未公开,仅支持文本输入输出,知识截止 2026 年 2 月。目前尚无后续发展事实。
匹配字段标题
2026年9月23日,Modal 通过官方工程博客分享其为编码智能体服务 Kimi K2.6 推理的性能优化方法。据该博客,Modal 以 Moonshot AI 的 Kimi K2.6 为例复盘推理服务优化过程,称单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。其做法包括用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型,基于 SGLang 打补丁并回馈上游,采用 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存,再配合负载感知的有状态路由,把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。目前尚无后续发展事实。
匹配字段标题
Sherwin Wu 于 2026 年 9 月 30 日发表调侃,表示期待看到当模型推理几乎瞬时完成时,人们接下来会抱怨哪些新的瓶颈,并称这种不满为“神圣的不满”。目前没有后续发展事实,该表态仍停留在其个人发言层面,未出现新的证据或进展。
匹配字段标题
Sherwin Wu 发表调侃 当模型推理近乎即时后人们会抱怨新的瓶颈
English translation is being prepared.
匹配字段标题
Yuchen Jin 发表 关于模型推理档位命名的调侃观点
English translation is being prepared.
匹配字段标题
Colibri项目 开源 超大模型CPU与SSD推理框架
English translation is being prepared.
匹配字段标题
Microsoft 为Physical AI Toolchain新增 机器人端外推理卸载能力
English translation is being prepared.
匹配字段标题
Modal 分享 为编码智能体服务 Kimi K2.6 推理的性能优化方法
English translation is being prepared.
匹配字段标题
NVIDIA 测试 TensorRT LLM在八张B200上运行DeepSeek-R1的机密计算性能
English translation is being prepared.
匹配字段标题