搜索“推理”

Cerebras 称超低延迟推理正成为平台级优先事项

Cerebras 提出判断 超低延迟推理正从差异化优势转变为 AI 应用的关键要求

查看事件：Cerebras 称超低延迟推理正成为平台级优先事项

AWS与Cerebras宣布解耦推理合作

Cerebras 发文解读其与 AWS 的分离式推理合作。文中提到,3 月 13 日 AWS 与 Cerebras 宣布分离式推理合作,将 LLM 推理的 prefill 与 decode 拆分到不同硬件上运行:由 AWS Trainium 负责 prefill,Cerebras CS-3 负责 decode,两者通过 EFA 网络连接,并在 Amazon Bedrock 上提供。Cerebras 称该方案预计可将 token 吞吐提升至聚合方案的 5 倍,并援引研究称智能体负载的 P95 延迟最多改善 4.5 倍。目前该合作仍处于宣布与解读阶段,尚无后续开发事实。

AWS与Cerebras宣布解耦推理合作

AWS与Cerebras 宣布合作 解耦推理合作

查看事件：AWS与Cerebras宣布解耦推理合作

Cerebras与Upstage合作提供快速推理

2026年7月10日,Cerebras宣布与韩国AI公司Upstage合作,探索Cerebras Inference为更多用户带来超快生产级AI体验。据Cerebras博客,双方在Cerebras Wafer-Scale Engine上运行Upstage的Solar 31B,推理速度最高可达2000 tokens/s。开发者可通过Cerebras Inference Cloud和OpenAI兼容API,在不改变现有开发流程的情况下使用Solar模型。Cerebras称,Solar 31B处理246个信息源的深度研究查询,而Sonnet 4.6在类似信息源数量下需8分钟。目前该合作尚无进一步有证据的发展。

Cognition 选择 Cerebras 作为最快推理提供商

Cognition 选择 Cerebras 作为最快推理提供商。据 Cerebras 官方博客,Cognition 的 SWE-1.6 与 SWE-grep 系列由 Cerebras Inference 提供推理,编码性能达到前沿水平,速度最高约为 GPU 的 5 倍。其中 SWE-1.6 在 Windsurf 快速档上最高可达 950 tokens/秒,SWE-Bench Pro 成绩为 50.4%,高于 SWE-1.5 的 40.1%。该模型还更多使用并行工具调用、更少循环,并更依赖自身工具而非终端命令。目前尚无后续发展事实。

Cerebras 提出快速推理是网络安全产品设计问题

2026年7月22日,Cerebras 提出观点,认为快速推理是网络安全产品设计问题,而非仅是基础设施基准。Cerebras 发文指出,攻击者正用 AI 加速侦察、钓鱼、恶意软件变种、漏洞发现与利用开发,而企业部署的 AI copilot 与智能体工作流又带来新的安全问题。文章主张采用分层架构:由规则、经典模型和小语言模型完成过滤、分类、去重与路由,再用更强的推理模型升级处理可疑事件、高风险发现和敏感工具调用,让更快的推理在用户体验不被打断的前提下塞进更多上下文、推理与验证。目前该观点由 Cerebras 官方博客发布,尚无进一步有证据的发展。

Sherwin Wu 调侃推理近乎即时后人们会抱怨新瓶颈

Sherwin Wu 于 2026 年 9 月 30 日发表调侃,表示期待看到当模型推理几乎瞬时完成时,人们接下来会抱怨哪些新的瓶颈,并称这种不满为“神圣的不满”。目前没有后续发展事实,该表态仍停留在其个人发言层面,未出现新的证据或进展。

Sherwin Wu 调侃推理近乎即时后人们会抱怨新瓶颈

Sherwin Wu 发表调侃 当模型推理近乎即时后人们会抱怨新的瓶颈

查看事件：Sherwin Wu 调侃推理近乎即时后人们会抱怨新瓶颈

Cerebras与Upstage合作提供快速推理

Cerebras 宣布合作 与Upstage合作探索Cerebras Inference为更多用户带来超快生产级AI体验

查看事件：Cerebras与Upstage合作提供快速推理

Cognition 选择 Cerebras 作为最快推理提供商

Cognition 选择 Cerebras 作为最快推理提供商

查看事件：Cognition 选择 Cerebras 作为最快推理提供商

Cerebras 提出快速推理是网络安全产品设计问题

Cerebras 提出观点 快速推理是网络安全产品设计问题而非仅是基础设施基准

查看事件：Cerebras 提出快速推理是网络安全产品设计问题

NVIDIA推出HSTU推理部署工作流

2026年10月1日,NVIDIA推出基于Dynamo-Triton、PyTorch AOTI和FlexKV的HSTU推理部署工作流。据NVIDIA Developer · Generative AI发布的官方信息,NVIDIA recsys-examples现已提供基于Dynamo-Triton的端到端HSTU生成式推荐推理工作流,结合PyTorch AOTI编译与FlexKV支持的KV缓存。在NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU上,八层HSTU模型在batch size 8、100% GPU KV-cache命中率下,延迟相比无缓存的同款AOTI配置最多降低5.93x,三层模型为4.47x。目前该工作流已随recsys-examples提供,暂无后续发展事实。

Bedrock新增Claude区域内推理

2026年9月30日,Amazon Bedrock 上线 Claude Opus 5 和 Claude Sonnet 5 的首尔及新加坡区域内推理。据 AWS Machine Learning 发布的信息,首尔区域支持 Claude Opus 5 和 Claude Sonnet 5,新加坡区域支持 Claude Sonnet 5,请求与数据全程不离开所调用的 AWS 区域。该功能通过 bedrock-runtime 端点以直接模型 ID(如 anthropic.claude-opus-5)调用,支持 Anthropic Messages API 及 Bedrock InvokeModel、Converse API,并兼容 Guardrails 和智能提示词路由。吞吐量受该区域容量限制,配额、CloudWatch 指标和 CloudTrail 日志均限定在同一区域。目前尚无后续发展事实。

Manus公布Flex推理合作伙伴计划首批伙伴

2026年9月30日,Manus公布Manus Flex推理合作伙伴计划,并宣布OpenRouter、Fireworks AI和Modal成为该计划首批推理合作伙伴。官方信息显示,该计划扩大了用户可通过Flex连接的推理提供商数量,这些合作伙伴与大型语言模型提供商一起,为用户提供更广泛的模型选择。目前没有后续发展事实,事件状态停留在首批合作伙伴公布阶段。

Cognition公布GPT-6.1 Sol低推理档位评测结果

Cognition公布了GPT-6.1 Sol在低推理档位下的评测结果。其得分58.1%,单任务成本0.21美元,高于同档位GPT-6 Sol的50.5%。Cognition称,这是排行榜上单任务成本低于0.30美元的模型中得分最高的成绩,并同时给出了试用入口。目前没有后续发展。

NVIDIA推出HSTU推理部署工作流

NVIDIA 推出 基于Dynamo-Triton、PyTorch AOTI和FlexKV的HSTU推理部署工作流

查看事件：NVIDIA推出HSTU推理部署工作流

Bedrock新增Claude区域内推理

Amazon Bedrock 上线 Claude Opus 5和Sonnet 5的首尔及新加坡区域内推理

查看事件：Bedrock新增Claude区域内推理

Manus公布Flex推理合作伙伴计划

Manus 公布 Manus Flex Inference Partner Program首批推理合作伙伴

查看事件：Manus公布Flex推理合作伙伴计划首批伙伴

Upstage 发布 Solar Mini 4 推理模型

Upstage 发布 Solar Mini 4

查看事件：Upstage 发布 Solar Mini 4 推理模型

Upstage 发布 Solar Mini 4 推理模型

2026 年 9 月 30 日,韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4。官方称其 35B 总参数、3B 激活参数,在 3B 激活以下模型中创下 Intelligence Index 与激活参数的新帕累托最优点,比上一代旗舰 Solar Pro 3 高 16 分,价格降至每 1M 输入/输出 token 0.10/0.40 美元。Artificial Analysis 测得它在 AA-LCR v1.1 上得 83%,与 MiniMax-M3、GPT-6 Luna (max) 持平;但智能体编码较弱,Terminal-Bench 4.0 仅 1%、AutomationBench-AA 22%。该模型为专有模型、权重未公开,仅支持文本输入输出,知识截止 2026 年 2 月。目前尚无后续发展事实。