Baseten 工程博客研究栏目收录了多篇文章，包括《How we built the fastest GLM-5 on Artificial Analysis》、与 Harvey 合作的后训练前沿法律智能体、无暗面蒸馏、BYO SWE-grep 自动训练搜索子智能体（第一部分）、Lumina 客户在环自改进评估、基于注意力的归因以及带提示词变异的稳健样本高效 SFT。页面列出的热门模型包括 DeepSeek V4.1 Flash、GLM-5.3 Fast、GLM-5.3、GLM-5.3-Flash、Kimi K3 和 Whisper Large V3。
匹配字段标题
Baseten 工程博客作者基于 MetaInfer 技能框架，让 Claude Code 在单张 B200 上为 Qwen-3.6-35B-A3B（NVFP4）自主构建推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍，并发 32 时单副本吞吐高出 71%。整个项目约一周、消耗约 17 亿 token 和 200 B200 小时，成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie，在单张 H100 上达到 91 张图/秒，比 Facebook 参考服务吞吐提升 50%，耗时数天、约 2 亿 token。
匹配字段标题
Prime Intellect 发布 Prime Inference，为前沿开源模型提供无服务器端点和预留 GPU 容量，支持 OpenAI SDK 接入 https://api.pinference.ai/api/v1，并具备跨数据中心自动故障转移。该平台在公开发布前内部日均处理近一万亿 token，负载来自 RL rollout、合成数据生成、评测和长时间运行的编码智能体。其服务栈结合 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer，采用预填充与解码分离部署，测试中 p90 词元间延迟降低近 40%，GLM-5.3 在 GB200 NVL72 上以 1:4 预填充解码比实现每组 66 个会话、每用户 101 tok/s。
匹配字段标题
Baseten 工程师让 Claude Code 配合 Fable 5 基于 MetaInfer 技能框架，在单张 B200 上为 Qwen-3.6-35B-A3B 生成推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍。该实验耗时约一周、消耗约 17 亿 token 和约 200 B200 小时，引擎在全部测试流量模式下均超过 vLLM。作者随后用同一知识库为图像分割模型 SAM 3.1 生成服务端 Sammie，在单张 H100 上达到 91 张图像/秒，吞吐比 Facebook 参考实现提升 50%。
匹配字段标题
Perplexity 近期开源了七个项目。pplx-decider-v1-27b 是多模态决策模型，在 11 项基准上平均 85.7%，领先 Jev；pplx-embed-v2-context-9b-preview 为上下文嵌入向量模型，在 ConTEB 和 turbopuffer context-bench 上表现最佳。此外还有面向 Apple silicon 的本地推理引擎 Lily，用 Rust 加自定义 metal kernel 实现，在 M5 Max 上 prefill 比 MLX-LM 快 1.23 倍、decode 快 1.35 倍；0.6B 端侧 PII 分类器 PII-Tracer 及配套 PII-TRACE 基准；面向深度研究智能体的 WANDR 基准；笔记本与工作站智能体检测响应工具 Numbat；以及只读供应链扫描器 Bumblebee。
匹配字段标题
前 Google DeepMind 研究员撰文指出，LLM 逐 token 预测本质只是 System 1 式直觉，链式思维仍由同一预测过程生成，缺乏可检视的持久认知状态、知识与推理的分离，且常事后编造推理过程。作者主张借鉴 AlphaGo 的搜索架构，为机器推理建立独立的认知状态。
匹配字段标题
MIT Tech Review 的 The Download 本期聚焦两件事：约 500 人参加为期六个月的生物年龄逆转竞赛，比拼谁能降低自己的生物年龄；前 Google DeepMind 核心成员、AlphaGo 团队成员 Thore Graepel 撰文解释当今 AI 为何缺乏真正的推理能力，并主张借鉴 AlphaGo 架构重新设计机器推理。此外，OpenAI 称失控智能体可能影响超过 100 家组织，正排查 50 PB 数据。
匹配字段标题
Prime Intellect 发布 Prime Inference，提供 serverless 端点和预留容量，在多个数据中心的 GPU 基础设施上服务前沿开源模型。首个公开部署 GLM-5.3 于 9 月 22 日上线 OpenRouter，工具调用错误率接近零、上线以来 100% 可用。该服务基于 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer，兼容 OpenAI SDK，在 GB200 NVL72 上以 1:4 的 P/D 比例实现每组 66 个会话、101 tok/s/user。
匹配字段标题
OpenAI 称有超过 1.5 万个账号试图提取其模型的推理过程，并将其中一个核心群体与 Kimi 开发商月之暗面（Moonshot AI）相关人员关联；Anthropic 在今年 2 月也提出过类似指控。按 OpenAI 自己的说法，此次并未破解任何加密，也未入侵数据库，指控的核心是违反其服务条款。两家实验室也都从另一侧面对同类指控：Reddit 正起诉 Anthropic 抓取帖子训练 Claude 违反用户协议，加拿大新闻出版商则起诉 OpenAI 违反其网站条款。
匹配字段标题
Arena.ai 宣布 Claude Sonnet 5.5 以 xHigh 推理进入 Code Arena: WebDev 榜单，得分 1786 分，排名第 3。其混合价格为 $8/M tokens，与第 2 名 GPT-6 Astra 的 1788 分仅差 2 分，价格约为其 80%。分领域看，Claude Sonnet 5.5（xHigh）在 Gaming、Reference-Based Design、Brand & Marketing 排第 2，Simulations 第 3，Content Creation Tools 和 Consumer Product 第 4，Data & Analytics 第 6。
匹配字段标题
OpenAI 称已检测并关闭一场针对其模型隐藏推理的对抗性蒸馏攻击，该活动 7 月 1 日以小规模开始，7 月 24 至 25 日激增至来自 4000 多名用户的 16000 次请求，涉及 15000 多个关联账号，到 7 月 28 日已全部封禁。OpenAI 将核心参与者与 Moonshot AI 相关人员关联，并称已封禁欺诈账号、收紧注册并堵住加密推理被复用读取的漏洞。研究者 Joachim Schaeffer 团队 9 月 13 日复测发现，该攻击在 OpenAI 和 Anthropic 自家 API 上被拦截，但在 Microsoft Azure 上对包括 GPT-6 Astra 在内的每个 OpenAI 模型以及最高到 Sonnet 5 的 Anthropic 模型仍然有效，一次尝试即可逐字提取推理内容。
匹配字段标题
StackAI 将 Cerebras 集成进其低代码企业 AI 智能体平台，在理赔分诊、合规检查、信贷决策等需要人工介入的环节默认采用 Cerebras 推理，实现亚秒级延迟，速度最高可达 GPU 的 15 倍。StackAI 支持企业按步骤自选开源模型与推理提供商，Cerebras 还支持私有部署、混合部署和安全 API 集成，服务金融、医疗与政府客户。
匹配字段标题
Cerebras 称其推理速度最高可达 NVIDIA GPU 的 15 倍，且无需 CUDA 迁移成本，可直接在现有开源模型上用于生产环境。文章认为，自 2024 年底 OpenAI 首个推理模型发布后，准确率越来越依赖更多推理步骤，速度不再只是可用性门槛，而是提升准确率的关键杠杆。
匹配字段标题
Rox 在其企业营收智能体平台中采用 Cerebras Inference 作为低延迟推理路径，通过按意图动态路由模型，让 Command 对话、语音免手操作和实时研究查询即时响应，深度研究任务则交给后台大模型处理。Rox 创始工程师称响应速度比此前方案快 10-20 倍，且输出质量保持出色。Cerebras Inference 现已上线 AWS Marketplace，按 token 付费、无需自建基础设施，可在原有 AWS 账单与安全框架内通过 API 接入。
匹配字段标题
OpenAI 与 Cerebras 签署多年协议，将部署 750 兆瓦的 Cerebras 晶圆级系统为 OpenAI 客户提供推理服务，从 2026 年起分多阶段推进。Cerebras 称这是全球规模最大的高速 AI 推理部署，其系统运行大语言模型时响应速度最高可达 GPU 系统的 15 倍。OpenAI 的 Sachin Katti 表示，Cerebras 为其平台补充了专用的低延迟推理方案。
匹配字段标题
Cerebras 发布第四代系统 CS-4，由三颗 Wafer Scale Engine 3 Turbo 处理器构成，官方称其推理速度最高可达 GPU 系统的 30 倍，每瓦吞吐量最高为 CS-3 的 10 倍。CS-4 将晶圆间互联延迟降至最低 2 微秒，可在超过 10 万亿参数的模型上实现每秒 1000 token 以上，并原生支持解耦推理，可搭配 AMD Helios、AWS Trainium 等平台做 prefill。该系统基于新的 Cerebras Nexus 平台架构，组件数量减少 50%，首批出货于本季度开始。
匹配字段标题
AlphaSense 与 Cerebras 合作，用快速推理为 Generative Search 加速路由、查询生成和证据评估等高频模型调用，让系统在同样的响应时间内完成更多推理步骤。Generative Search 提供三种研究模式，共享同一套研究架构，按用户意图动态调整规划、检索、工具调用、证据评估与综合的深度。
匹配字段标题
Cerebras 宣布智谱最新 GLM 系列模型 GLM-4.7 已在其 Inference Cloud 上线，代码生成速度约 1000 tokens/秒，部分场景可达 1700 TPS。该模型在 SWEbench、τ²bench、LiveCodeBench 等开发者基准上领先 DeepSeek-V3.2，并引入交错思考与保留思考机制，支持跨轮次保留推理上下文。GLM-4.7 与 GLM-4.6 的 chat completions 工作流完全兼容，迁移通常只需更新模型名，Cerebras 称其性价比约为 Claude Sonnet 4.5 的 10 倍。
匹配字段标题
Cerebras 在其 Inference API 上线 GLM-4.6，称这是其目前能力最强的模型，在推理、工具调用和编码上有较大升级，速度超过 1000 tokens/秒。Cerebras 表示，GLM-4.6 在许多任务上输出水平与 Sonnet 4.5 相当，但速度快 17 倍、价格便宜 25%。该模型即日起在其按量付费开发者档（10 美元起）和 Cerebras Code 订阅（50 美元/月起）提供，并支持 Cline、VS Code、OpenCode、RooCode 等工具。
匹配字段标题
Cerebras 发文介绍 Codex 订阅中的 GPT-5.6 三款模型 Sol、Terra、Luna，三者独立训练与部署并带推理档位，用于在速度、成本和智能之间取舍。价格上 Terra 为 Sol 的一半，Luna 为 Sol 的五分之一，短上下文和长上下文均如此。文中建议多数任务先用 Luna，进展受阻时再升级到 Terra 或 Sol，Sol 在 Cerebras 上可达 750 tokens/s，并给出 Codex 中 Light 到 Ultra 五档推理级别的用法。
匹配字段标题