DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
匹配字段标题、摘要、正文
面壁智能 OpenBMB 公布 MiniCPM-V 4.7 的端侧推理方案，在 iPhone 18 Pro Max（12GB）上平均解码速度达 20.51 tokens/s，相比同一设备未优化的 SSD 专家加载基线提升 6.07 倍。该方案名为 Lookahead Expert Scheduling（LES），通过跨层路由预测预取下一层可能需要的专家、并行加载剩余专家，并对专家权重做连续存储重排和逐层混合精度量化，同时配合 DSpark 投机采样。模型为 35B 总参数、每 token 激活 3B 的 MoE 架构，原始模型架构与专家路由保持不变，无需额外训练。
匹配字段标题、摘要
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
匹配字段标题、摘要、正文
DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe，除搜索服务将于 11 月 1 日开始收费外，其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口，每 1000 次成功请求 5 元，可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用，且不绑定 DeepSeek 模型；DeepInfer 以 Apache 2.0 开源离线推理版本，兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入，按此计算单卡月收入约 2.7 万美元。
匹配字段标题、摘要、正文
据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开片上 SRAM 容量过小的问题。当前 Groq 3 LPU 的 500MB 片上 SRAM 带宽达 150TB/s，约为 Rubin GPU HBM 带宽的 7 倍，但 256 芯片整机架仅 128GB，低于单块 Rubin GPU 的 288GB。报道中的 3DS 方案通过硅通孔垂直连接 DRAM 裸片并保留标准 DRAM 接口，主要按普通 DRAM 速度增加容量；此前供应链消息还提到 SK Hynix DRAM 以混合键合直接贴合逻辑裸片。Groq 尚未公布该设计，Cerebras 也计划在 CS-6 晶圆上堆叠 DRAM。
匹配字段标题、摘要
DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》，并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens，未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode，以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。
匹配字段标题、摘要、正文
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题、摘要
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题、摘要
ElevenLabs 推出 Eleven Realtime 语音到语音模型系列，包含面向 AI 助手、教师等场景的 v1 Mini 和面向客服、线索筛选及多步骤流程的 v1 Max 两个版本。两款模型支持 90 多种语言和超过 17000 种音色，将语音识别、轮次切换、语音活动检测与语音生成整合为一个系统。在 Artificial Analysis 的评测中，Max 在 Big Bench Audio 上正确回答 98.8% 的问题，Mini 为 75.9%；Max 首音频平均耗时 0.57 秒，Mini 为 0.62 秒；工具调用任务上 Max 完成 87.1%，Mini 为 60.3%。Eleven Realtime 遵循 OpenAI Realtime 规范，开发者只需修改 API 端点和模型名即可迁移，但使用 WebRTC 的集成需改用 WebSockets。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer 对应的技术报告已在知乎发布，公开了 Prefill 与 Decode 的硬件选型、KVCache 目标等内部细节。报告还给出单一集群的实际数据：服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美金（按谷价）。
匹配字段标题、摘要
General Compute 与 Positron 签署多年合作，将 Positron 的 Atlas 推理系统提供给其云客户，硬件将于 2027 年 Q1 上线。General Compute 自购并运行专用 AI 芯片与 GPU 搭配，GPU 负责处理每个请求的输入，Positron 芯片更高效地生成输出，其设计侧重快速内存访问以缓解 token 生成瓶颈。Atlas 已在 Oracle Cloud Infrastructure 中可用，General Compute 还承诺集成 Positron 下一代 Titan 系统。
匹配字段标题、摘要
Eagle Corp 发布开源灵活 drafter EAGLE-4，用于加速 LLM 推理。其核心是同一个 drafter 会根据 batch size、硬件和工作负载调整投机解码策略，并保持目标模型的输出分布。实测中 Qwen3.8-27B 搭配 EAGLE-4 draft 在 4 张 NVIDIA B300 上达到 961.6 tokens/s。
匹配字段标题、摘要
swyx 指出 DeepSeek 在知乎披露了更多细节：基于自研框架 DeepInfer 为 DeepSeek V4.1 Flash 搭建高吞吐低延迟大规模推理服务，单集群吞吐达 155 trillion tokens/day，按非高峰价格计算每卡每小时收入 38 美元。他按每 GPU 小时约 5-10 美元的成本估算，认为 DeepSeek 按其定价可做到约 80% 的服务毛利。他同时提到 DeepSeek 已开源 DeepInfer 推理框架。
匹配字段标题、摘要
fal 宣布与 Fireworks AI 合作提前上线 EAGLE-4，并附技术博客说明其原理及对创作工作流的意义。被引用的 Eagle 原帖称 EAGLE-4 是其最快的版本，在 Qwen3.8-27B 上使用 TokenSpeed 达到 961.6 tokens/s（BF16、4× NVIDIA B300、TP4、单请求、T=0），并给出 GitHub 地址。
匹配字段标题
Amazon Bedrock 的跨区域推理（CRIS）现支持从加拿大（中部）和加拿大西部（卡尔加里）区域访问 OpenAI GPT-5.6（Sol、Terra、Luna）、GPT-6（Astra、Sol、Luna）和 GPT-6.1 Sol。这些模型支持 100 万 token 上下文窗口、推理模式、工具调用和提示词缓存，可通过 OpenAI Responses API、Chat Completions API 和 Amazon Bedrock Converse API 调用。推理在北美境内处理，提供 US geographic（us.）和 Global（global.）两类推理配置文件。
匹配字段标题、摘要
AWS 团队在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 微调 GPT-OSS-20B，解决其只用英文推理的问题：基座模型在 50 例多语言推理测试中仅 22% 用对目标语言（英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%）。结论是 SFT 承担大部分工作，GRPO 在模型已有一定概率产出目标行为时才能带来可测量的增益。训练使用 LoRA，数据为 HuggingFaceH4/Multilingual-Thinking（约 949 条训练、50 条验证）。
匹配字段标题、摘要
Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 指出，公开基准测试只反映模型的最优表现，无法说明生产环境中智能体能否准确完成任务，因此应结合内部基准和 harness 评估整个推理栈。Nebius 以约 6.43 亿美元收购推理优化初创公司 Eigen AI，并通过 Token Factory 平台提供推理服务。他建议用大模型作参照扫描多个模型寻找规模甜点，例如客服任务 10B 参数可能已足够，100B 甚至 1T 参数带来的精度提升很小。
匹配字段标题、摘要、正文
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
匹配字段标题、摘要
DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe，前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架，单一集群服务吞吐为 155 万亿 Tokens/天，按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐，团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，相关代码尚未完整开源。
匹配字段标题、摘要、正文
DeepSeek 开源了用于生产环境服务其模型的自研推理框架 DeepInfer，采用 Apache 2.0 许可，可让开发者在自有基础设施上运行 DeepSeek-V4.1-Flash，并计划支持后续模型。该框架包含 FlashMLA、DeepGEMM、DeepEP 等优化计算内核与通信库，支持投机解码、异步调度和结构化输出，同时开源了处理请求与响应转换的 deepseek-recipe 库（提供 Rust 和 Python 版本）。硬件方面首日支持 Nvidia SM100（Blackwell）架构和华为昇腾 950 NPU 系列，Hopper 等旧架构未列入；批量不变推理与确定性采样仅在 Nvidia 硬件上可用，公开性能数据也基于 Nvidia GPU。当前版本支持离线推理，但缺少 KV cache 管理、跨机推理阶段分离和副本负载均衡等完整生产服务组件。
匹配字段标题、摘要、正文