Cerebras 在 Cerebras Inference Cloud 以公开预览形式上线 Gemma 4 31B，输出速度超过 1800 tokens/s，据 Artificial Analysis 测得为 1851 tokens/s，约为典型 GPU 端点的 35 倍，含推理的首个答案 token 延迟 1.5 秒。这是 Cerebras 平台首个支持图像理解的模型，也是首个上线的 Google DeepMind 模型，可处理截图、图表、UI 状态等视觉输入。该模型为 Apache 2.0 开源权重，在 Artificial Analysis 智能指数上得分 29，与 Claude Haiku 4.5 的 30 分接近，但在 Cerebras 上运行速度快 18 倍。
匹配字段标题
Cerebras 正把超低延迟推理从差异化优势变成平台基础设施，其晶圆级引擎在单芯片上统一算力、内存与带宽，推理速度最高可达传统 GPU 系统的 15 倍。公司同时扩展模型、云与开发者工具生态，覆盖 AG2/AutoGen、CrewAI、Aider、Cline、VS Code、Windsurf 等框架，并支持公有云、本地及私有部署。
匹配字段标题
Cerebras 发文解释分离式推理，即把 LLM 推理的 prefill 与 decode 拆到不同硬件上运行。文中提到 3 月 13 日 AWS 与 Cerebras 宣布分离式推理合作，由 AWS Trainium 负责 prefill、Cerebras CS-3 负责 decode，通过 EFA 网络连接并在 Amazon Bedrock 上提供。Cerebras 称该方案预计可将 token 吞吐提升至聚合方案的 5 倍，并援引研究称智能体负载的 P95 延迟最多改善 4.5 倍。
匹配字段标题
Cerebras 宣布在企业客户试用中运行万亿参数开源权重模型 Kimi K2.6，Artificial Analysis 测得输出速度 981 tokens/s，比次快的 GPU 云快 6.7 倍、比中位推理服务商快 23 倍。在 10000 token 输入、生成 500 token 输出的请求中，Cerebras 用时 5.6 秒，官方 Kimi 端点为 163.7 秒，最终答案时间缩短 29 倍。Cerebras 将 Kimi K2.6 以原始 4-bit 权重存储、16-bit 浮点计算，权重分布到多块晶圆并靠片上网络做层间 all-to-all 通信。
匹配字段标题
Cerebras 宣布 AWS 将在其数据中心部署 Cerebras CS-3 系统，并通过 AWS Bedrock 提供推理服务，运行领先的开源 LLM 和 Amazon Nova 模型。双方还在合作一种解耦架构，把 AWS Trainium 与 Cerebras WSE 配对，在相同硬件占用下提供 5 倍的高速 token 容量。该架构中 Trainium 负责 prefill 并计算 KV cache，经 Amazon EFA 传给 WSE 专做 decode，Cerebras 称其可每秒生成数千个输出 token，而 GPU 为数百个。AWS 与 Cerebras 将同时支持聚合与解耦两种配置，预计多数客户会按负载在两者间路由。
匹配字段标题
Cerebras 在 NeurIPS 2025 上展示九篇论文，覆盖预训练到推理，包括让 32B 模型在自家基准上超越 235B+ 竞品的 CODA 测试时计算架构、面向视觉语言模型的 DREAM 投机解码框架，以及 CompleteP 参数化和超参数缩放定律研究。Cerebras 去年 8 月推出推理 API，并在俄克拉荷马城开设新数据中心。
匹配字段标题
Cerebras 与韩国 AI 公司 Upstage 合作，在 Cerebras Wafer-Scale Engine 上运行 Upstage 的 Solar 31B，推理速度最高可达 2000 tokens/s。开发者可通过 Cerebras Inference Cloud 和 OpenAI 兼容 API 在不改变现有开发流程的情况下使用 Solar 模型。Cerebras 称，Solar 31B 处理 246 个信息源的深度研究查询，而 Sonnet 4.6 在类似信息源数量下需 8 分钟。
匹配字段标题
Cognition 的 SWE-1.6 与 SWE-grep 系列由 Cerebras Inference 提供推理，编码性能达到前沿水平，速度最高约为 GPU 的 5 倍。SWE-1.6 在 Windsurf 快速档上最高可达 950 tokens/秒，SWE-Bench Pro 成绩为 50.4%，高于 SWE-1.5 的 40.1%。该模型还更多使用并行工具调用、更少循环，并更依赖自身工具而非终端命令。
匹配字段标题
Cerebras 发文指出，攻击者正用 AI 加速侦察、钓鱼、恶意软件变种、漏洞发现与利用开发，而企业部署的 AI copilot 与智能体工作流又带来新的安全问题。文章主张采用分层架构：由规则、经典模型和小语言模型完成过滤、分类、去重与路由，再用更强的推理模型升级处理可疑事件、高风险发现和敏感工具调用，让更快的推理在用户体验不被打断的前提下塞进更多上下文、推理与验证。
匹配字段标题
Perplexity CTO Denis Yarats 在 Ask 2026 宣布放弃 MCP、回归 API 与 CLI，引发 MCP 与 CLI 之争。MCP 自 2024 年 11 月由 Anthropic 开源后月下载量超 9700 万次，但连接 GitHub、Slack、Sentry 三个服务可在用户消息前占用超 55,000 tokens，token 用量比 CLI 高 3-42 倍。Cerebras 指出，Wafer-Scale Engine 可提供最高 3,000 tokens/秒、约 15 倍于 GPU 方案的推理速度，Pydantic 的 Rust 解释器 Monty 启动耗时低于 0.06ms。
匹配字段标题
Cerebras 回顾 2025 年：DeepSeek R1 Llama 70B 在其芯片上以超过 1500 tokens/秒运行，约为 GPU 的 57 倍；Artificial Analysis 独立测试显示其推理性能超过 NVIDIA Blackwell 的纪录。Cognition 的 SWE-1.5 与 SWE-grep 系列实现前沿级编码性能，速度最高达通用模型的 13 倍。Cerebras 在俄克拉荷马州启用 40+ exaflop 数据中心，并在北美和欧洲布局超过 7 个数据中心。
匹配字段标题
Baseten 工程博客 Foundations 栏目收录两篇文章：一篇梳理从 GPT-2 到 Kimi K3 的推理工程演进，另一篇解析开源 LLM 训练为何混乱及其运作方式。
匹配字段标题
Baseten 工程博客列出多篇推理工程与模型文章，包括《领先平台如何保障 LLM 推理可观测性》、面向 DeepSeek V4 Pro 0813 的推理工程，以及 Baseten 为 You.com 提供开源推理。博客还介绍 NVIDIA Nemotron 3.5 Lightning 与 Nemotron 3.5 ASR Streaming，并收录 Laguna S 2.1、Qwen3-TTS 微调语音克隆、Kimi K3 路由等内容。
匹配字段标题
Ai2 发布 OlmoEarth Platform，用于将地理空间模型从微调、评估推进到大规模推理。平台可在约一天内完成大陆尺度推理，处理数十 TB 影像，成本为每平方公里不到一美分。一次覆盖全北美的野火风险图运行峰值动用约 19,600 个 CPU 和 994 个 GPU，网络吞吐超 168 GB/s，将约 4,737 小时串行计算压缩到约 30.5 小时，实现 155× 加速。
匹配字段标题
（10/13）结果：在 8× GB200 上，一段带音频的 5 秒 1344×768 片段可在 3.1 秒内输出为成品 MP4，10 秒片段为 6.3 秒（使用 NVFP4 时为 5.4 秒）。在负载下，8× GB200 每天约可处理 11,000 个视频，8× RTX PRO 6000 约为 3,400 个。
匹配字段标题
Baseten 宣布成为 OpenAI B2B Marketplace 首批开放模型推理提供商之一，并在 Codex 中实现原生集成。OpenAI 企业客户可用现有 OpenAI 承诺额度，在 Codex 或 Responses API 中调用由 Baseten 提供的开放模型。Baseten 运行于 20+ 云、90+ 集群，推理部署在美国基础设施上并对所有提示词实行零数据保留（ZDR）。
匹配字段标题
OpenAI研究员、o1核心作者Noam Brown在最新播客中表示，多智能体系统是把推理时计算从串行扩展改为并行扩展的方式，但解出千禧年难题的功劳中多智能体最多占10%，核心仍是模型本身足够强大。他透露发布5.6时首次拥有真正成形的多智能体系统，以Ultra Mode形式提供，默认4个Agent、可调更高，4个Agent解题速度约快一倍，测试最多扩展到16个Agent。
匹配字段标题
Amazon Bedrock 在印度区域上线 Anthropic 的 Claude Opus 5、Claude Sonnet 5 和 Claude Haiku 4.5，通过地理跨区域推理让数据在印度境内处理。印度地理配置文件仅在 ap-south-1 与 ap-south-2 之间路由请求，数据不存储在目标区域，账单与 CloudWatch、CloudTrail 日志均记在源区域。该功能在 bedrock-runtime 端点提供，支持 Anthropic Messages API 以及 InvokeModel 和 Converse API。
匹配字段标题
Amazon Bedrock 现支持在首尔区域使用 Claude Opus 5 和 Claude Sonnet 5、在新加坡区域使用 Claude Sonnet 5 进行区域内推理，请求与数据全程不离开所调用的 AWS 区域。该功能通过 bedrock-runtime 端点以直接模型 ID（如 anthropic.claude-opus-5）调用，支持 Anthropic Messages API 及 Bedrock InvokeModel、Converse API，并兼容 Guardrails 和智能提示词路由。吞吐量受该区域容量限制，配额、CloudWatch 指标和 CloudTrail 日志均限定在同一区域。
匹配字段标题
Manus Flex 推理合作伙伴计划扩大了用户可通过 Flex 连接的推理提供商数量。 我们很高兴宣布 @OpenRouter、@FireworksAI_HQ 和 @modal 成为 Manus Flex 的首批推理合作伙伴，与大型语言模型提供商一起提供广泛的模型选择。
匹配字段标题