OpenAI 联合创始人兼总裁 Greg Brockman 在周二庭审证词中表示，公司预计到今年年底将在算力上烧掉 500 亿美元，该数字此前由 Bloomberg 报道。文章指出，亚马逊、Nvidia 和软银 2 月宣布的 1100 亿美元投资中至少 800 亿美元附带条件，例如 OpenAI 需租用 2 吉瓦亚马逊 Trainium 加速器并在 AWS 部署 GPT 模型才能拿到 500 亿美元中的 350 亿美元，Nvidia 的 300 亿美元投资则与 5 吉瓦训练和推理算力部署挂钩。
匹配字段摘要
Together AI 与 Adaption 合作，将 Together Fine-Tuning 集成到 Adaptive Data，使用户可优化训练数据、以建议的超参数直接执行微调，并部署模型进行评估和推理。该工作流支持 LoRA 和全量微调、超过 100B 参数的开放模型、训练前成本估算、运行 ETA 跟踪，以及向 Hugging Face Hub 导出模型。
Together AI 与 Adaption 合作，将 Together Fine-Tuning 集成到 Adaptive Data，使用户可优化训练数据、以建议的超参数直接执行微调，并部署模型进行评估和推理。该工作流支持 LoRA 和全量微调、超过 100B 参数的开放模型、训练前成本估算、运行 ETA 跟踪，以及向 Hugging Face Hub 导出模型。 · Together AI has partnered with Adaption to integrate Together Fine-Tuning into Adaptive Data, enabling users to optimize training datasets, run fine-tuning directly with suggested hyperparameters, and deploy models for evaluation and inference. The workflow supports LoRA and full fine-tuning, open models with ove
匹配字段摘要
Anthropic 发文说明近一个月用户反馈的 Claude 质量下滑问题，已定位到三处分别影响 Claude Code、Claude Agent SDK 和 Claude Cowork 的改动，API 未受影响，三处问题已于 4 月 20 日（v2.1.116）全部修复。三处问题分别是 3 月 4 日将 Claude Code 默认推理强度从 high 降为 medium（4 月 7 日回退）、3 月 26 日清理闲置会话旧思考内容的缓存优化出现 bug 导致每轮都清除历史（4 月 10 日修复）、4 月 16 日为降低冗长加入的系统提示词损害编码质量（4 月 20 日回退）。Anthropic 表示将让更多内部员工使用公开版本、加强系统提示词变更的评测与灰度发布，并在 X 上开设 @ClaudeDevs 说明产品决策。
匹配字段摘要
Sakana AI 与读卖新闻社合作，用其自研 AI 系统分析了 SNS 上约 110 万条涉华对日批评帖子，提取叙事结构并生成可验证假设。系统依靠三项技术：从上下文和语气中提取叙事、用三种不同 LLM 集合推理进行新颖性搜索并分层可视化、以及自动生成带推理路径的假设供人工核验。读卖新闻对其中一条关于对日批评时间线的假设进行了采访核实，Sakana AI 同时宣布将防务与情报列为与金融并列的重点领域。
匹配字段摘要
印度政府通过 IndiaAI Mission 选定 Sarvam 从零构建印度主权大语言模型，Sarvam 将获得专用算力资源，模型具备推理能力、面向语音设计并支持印度语言，可在印度本地基础设施上安全部署。Sarvam 计划开发三个模型变体：Sarvam-Large 面向高级推理与生成，Sarvam-Small 面向实时交互应用，Sarvam-Edge 面向端侧紧凑任务，并与 IIT Madras 的 AI4Bharat 合作。
匹配字段摘要
Prime Intellect 宣布完成 1500 万美元融资，由 Founders Fund 领投，Menlo Ventures、Andrej Karpathy、Clem Delangue、Dylan Patel、Tri Dao、Emad Mostaque 等参投，累计融资超过 2000 万美元。公司称其 Compute Exchange 已连接开发者、创业公司、云厂商和数据中心，并用 PRIME 框架跨三大洲训练了 10B 参数模型，还发布了 INTELLECT-1、METAGENE-1、INTELLECT-MATH 以及基于 DeepSeek-R1 的合成推理数据集等成果。下一步将扩大算力接入、推出托管评测与专用推理，并继续建设 RL 基础设施。
匹配字段摘要
OpenRouter于2026年10月27日宣布,将在请求处理过程中对所有推理请求进行儿童性虐待材料(CSAM)筛查。根据其公告,筛查包括将内容与已知CSAM的哈希值比对,也会保留未命中哈希但被分类器标记的疑似内容;被标记为疑似CSAM的内容可能被保留以供人工审核,并依法报告和保存。公告还说明,该筛查同样适用于OpenRouter零数据保留(ZDR)政策覆盖的请求,ZDR不豁免依法报告和保存的义务。目前尚无后续发展事实。
匹配字段标题
OpenRouter于2026年10月27日宣布,将在请求处理过程中对所有推理请求进行儿童性虐待材料(CSAM)筛查。根据其公告,筛查包括将内容与已知CSAM的哈希值比对,也会保留未命中哈希但被分类器标记的疑似内容;被标记为疑似CSAM的内容可能被保留以供人工审核,并依法报告和保存。公告还说明,该筛查同样适用于OpenRouter零数据保留(ZDR)政策覆盖的请求,ZDR不豁免依法报告和保存的义务。目前尚无后续发展事实。
匹配字段标题
MiniMax就SGLang将MiniMax H3纳入SGLang-TorchTPU的TPU支持列表作出回应,发表感谢,并表示期待更多围绕高效视频推理的开源工作。SGLang称,SGLang-TorchTPU由SGLang与Google TPU团队、Meta PyTorch团队共同打造,已用于Meta的生产推理,支持模型包括Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash和MiniMax H3。目前尚无后续发展事实。
匹配字段标题
MiniMax就SGLang将MiniMax H3纳入SGLang-TorchTPU的TPU支持列表作出回应,发表感谢,并表示期待更多围绕高效视频推理的开源工作。SGLang称,SGLang-TorchTPU由SGLang与Google TPU团队、Meta PyTorch团队共同打造,已用于Meta的生产推理,支持模型包括Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash和MiniMax H3。目前尚无后续发展事实。
匹配字段标题
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题
2026年10月16日,Apple Machine Learning Research 发布最新版本 MLX,支持在 Mac Studio 上本地及分布式推理大语言模型。据其介绍,该版本借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理;在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成速度超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。同日另有报道称,Apple 与 Meta 合作使 Muse Spark Open 可在两台或四台 Mac Studio 上本地运行并完成智能体任务,并提到 M5 Ultra 集成 GPU 每台可用最多 512 GB
匹配字段标题
Apple Machine Learning Research 发布 最新版本 MLX
English translation is being prepared.
匹配字段标题
Tibo 宣布 GPT-6 Astra和GPT-6.1 Sol默认推理速度提升约50%
English translation is being prepared.
匹配字段标题
OpenAI 称已检测并关闭一场针对其模型隐藏推理的对抗性蒸馏攻击。据其说法,该活动 7 月 1 日以小规模开始,7 月 24 至 25 日激增至来自 4000 多名用户的 16000 次请求,涉及 15000 多个关联账号,到 7 月 28 日已全部封禁。OpenAI 将核心参与者与 Moonshot AI 相关人员关联,并称已封禁欺诈账号、收紧注册,堵住加密推理被复用读取的漏洞。研究者 Joachim Schaeffer 团队 9 月 13 日复测发现,该攻击在 OpenAI 和 Anthropic 自家 API 上被拦截,但在 Microsoft Azure 上对包括 GPT-6 Astra 在内的每个 OpenAI 模型以及最高到 Sonnet 5 的 Anthropic 模型仍然有效,一次尝试即可逐字提取推理内容。
匹配字段标题
2026年8月26日,OpenAI公布其首款自研推理芯片Jalapeño的基准测试结果。SemiAnalysis在OpenAI实验室用InferenceX实测,称该芯片在多个开源模型上的每兆瓦token吞吐超过NVIDIA Blackwell,在DeepSeek R1上并发1时达到每用户700 tokens/s以上,全程未使用投机解码。该芯片由OpenAI与Broadcom合作,2024年中启动设计,2025年11月完成CoWoS流片,采用HBM4、单封装15.4TB/s带宽,架构上不做prefill与decode分离。SemiAnalysis认为更公平的对手是同样使用HBM4的Rubin,两者每美元输出token数接近,但Jalapeño尚未启用投机解码,量产计划从2027年起逐步爬坡。后续IEEE Spectrum报道称,OpenAI于8月25日完整发布该芯片,提供最高13.4 petaflops的4-bit算力和232 GB内存,端到端延迟相比Nvidia GB300最多降低3.6倍。
匹配字段标题
2025年9月18日披露,OpenAI的推理模型参加2025年国际大学生程序设计竞赛世界总决赛,并在约5小时内解出全部12道题,最佳人类队伍解出11道。该模型族此前还在AtCoder Heuristics World Finals获得第二名,并在国际数学奥林匹克和国际信息学奥林匹克中获得金牌。团队下一步将研究更开放、时间跨度更长的问题,以及长期运行模型的安全与对齐。
匹配字段标题
OpenAI 查封相关账户并修补漏洞 针对模型隐藏推理的对抗性蒸馏活动
English translation is being prepared.
匹配字段标题
OpenAI推理模型 解决 2025年ICPC全部12道题目
English translation is being prepared.
匹配字段标题