Cohere Model Vault 推出可验证机密 AI 推理
Cohere 在 Model Vault 上推出机密计算功能，目前处于公开测试阶段，运行在 Microsoft Azure 的 NVIDIA GPU 上。该功能结合机密 CPU 与 GPU 执行、OHTTP 端到端加密请求内容和远程证明，让客户在释放敏感数据前先验证目标环境。Cohere 计划开源机密推理栈，并推进对 NVIDIA Blackwell 及 B200 GPU 的支持。
匹配字段标题
←搜索结果
搜索“推理”
MiniMax 回应 H3 接入 TPU：期待高效视频推理的开源工作
MiniMax 官方回应 SGLang 将 MiniMax H3 纳入 SGLang-TorchTPU 的 TPU 支持列表，并表示期待更多围绕高效视频推理的开源工作。SGLang 称 SGLang-TorchTPU 由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共同打造，已用于 Meta 的生产推理，支持模型包括 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash 和 MiniMax H3。
匹配字段标题
VocabX 如何通过专精 SLM 词表将实际应用推理成本降低 77%
VocabX 通过按成本而非频次选择 token、同时重建子词切分与多词合并，把领域专用小模型的词表压缩到更小规模，在实际应用中把推理成本降低 77%。以评分模型为例，生成一个 token 的成本是读取一个 token 的 7.4 倍，输出层词表从约 152,000 行减到约 65,000 行。该方法针对 Qwen3-4B 这类小模型在中等批量下的内存带宽瓶颈，而 FVT、MWT 和 in-place BPE 等方法只按频次选词、只处理单一层面。
匹配字段标题
DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
匹配字段标题
面壁智能 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/s 端侧推理
面壁智能 OpenBMB 公布 MiniCPM-V 4.7 的端侧推理方案，在 iPhone 18 Pro Max（12GB）上平均解码速度达 20.51 tokens/s，相比同一设备未优化的 SSD 专家加载基线提升 6.07 倍。该方案名为 Lookahead Expert Scheduling（LES），通过跨层路由预测预取下一层可能需要的专家、并行加载剩余专家，并对专家权重做连续存储重排和逐层混合精度量化，同时配合 DSpark 投机采样。模型为 35B 总参数、每 token 激活 3B 的 MoE 架构，原始模型架构与专家路由保持不变，无需额外训练。
匹配字段标题
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
匹配字段标题
DeepSeek 开源搜索、推理框架与编解码组件，并公开单卡每小时收入
DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe，除搜索服务将于 11 月 1 日开始收费外，其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口，每 1000 次成功请求 5 元，可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用，且不绑定 DeepSeek 模型；DeepInfer 以 Apache 2.0 开源离线推理版本，兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入，按此计算单卡月收入约 2.7 万美元。
匹配字段标题
消息称 Groq 下一代推理芯片将堆叠 DRAM 以突破 SRAM 容量限制
据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开片上 SRAM 容量过小的问题。当前 Groq 3 LPU 的 500MB 片上 SRAM 带宽达 150TB/s，约为 Rubin GPU HBM 带宽的 7 倍，但 256 芯片整机架仅 128GB，低于单块 Rubin GPU 的 288GB。报道中的 3DS 方案通过硅通孔垂直连接 DRAM 裸片并保留标准 DRAM 接口，主要按普通 DRAM 速度增加容量；此前供应链消息还提到 SK Hynix DRAM 以混合键合直接贴合逻辑裸片。Groq 尚未公布该设计，Cerebras 也计划在 CS-6 晶圆上堆叠 DRAM。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe
DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》，并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens，未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode，以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段标题
ElevenLabs 发布 Eleven Realtime 实时语音模型，语音推理准确率达 98.8%
ElevenLabs 推出 Eleven Realtime 语音到语音模型系列，包含面向 AI 助手、教师等场景的 v1 Mini 和面向客服、线索筛选及多步骤流程的 v1 Max 两个版本。两款模型支持 90 多种语言和超过 17000 种音色，将语音识别、轮次切换、语音活动检测与语音生成整合为一个系统。在 Artificial Analysis 的评测中，Max 在 Big Bench Audio 上正确回答 98.8% 的问题，Mini 为 75.9%；Max 首音频平均耗时 0.57 秒，Mini 为 0.62 秒；工具调用任务上 Max 完成 87.1%，Mini 为 60.3%。Eleven Realtime 遵循 OpenAI Realtime 规范，开发者只需修改 API 端点和模型名即可迁移，但使用 WebRTC 的集成需改用 WebSockets。
匹配字段标题
DeepSeek 在知乎发布 DeepInfer 推理框架技术报告
DeepSeek 开源推理框架 DeepInfer 对应的技术报告已在知乎发布，公开了 Prefill 与 Decode 的硬件选型、KVCache 目标等内部细节。报告还给出单一集群的实际数据：服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美金（按谷价）。
匹配字段标题
General Compute 与 Positron 达成多年合作，提供 Atlas 推理系统
General Compute 与 Positron 签署多年合作，将 Positron 的 Atlas 推理系统提供给其云客户，硬件将于 2027 年 Q1 上线。General Compute 自购并运行专用 AI 芯片与 GPU 搭配，GPU 负责处理每个请求的输入，Positron 芯片更高效地生成输出，其设计侧重快速内存访问以缓解 token 生成瓶颈。Atlas 已在 Oracle Cloud Infrastructure 中可用，General Compute 还承诺集成 Positron 下一代 Titan 系统。
匹配字段标题
Eagle Corp 开源 EAGLE-4 灵活 drafter，加速 LLM 推理
Eagle Corp 发布开源灵活 drafter EAGLE-4，用于加速 LLM 推理。其核心是同一个 drafter 会根据 batch size、硬件和工作负载调整投机解码策略，并保持目标模型的输出分布。实测中 Qwen3.8-27B 搭配 EAGLE-4 draft 在 4 张 NVIDIA B300 上达到 961.6 tokens/s。
匹配字段标题
swyx 估算 DeepSeek V4.1 Flash 推理服务约 80% 毛利
swyx 指出 DeepSeek 在知乎披露了更多细节：基于自研框架 DeepInfer 为 DeepSeek V4.1 Flash 搭建高吞吐低延迟大规模推理服务，单集群吞吐达 155 trillion tokens/day，按非高峰价格计算每卡每小时收入 38 美元。他按每 GPU 小时约 5-10 美元的成本估算，认为 DeepSeek 按其定价可做到约 80% 的服务毛利。他同时提到 DeepSeek 已开源 DeepInfer 推理框架。
匹配字段标题
fal 与 Fireworks AI 提前上线 EAGLE-4 推理加速方案
fal 宣布与 Fireworks AI 合作提前上线 EAGLE-4，并附技术博客说明其原理及对创作工作流的意义。被引用的 Eagle 原帖称 EAGLE-4 是其最快的版本，在 Qwen3.8-27B 上使用 TokenSpeed 达到 961.6 tokens/s（BF16、4× NVIDIA B300、TP4、单请求、T=0），并给出 GitHub 地址。
匹配字段标题
加拿大用户可通过跨区域推理在 Amazon Bedrock 上访问 OpenAI GPT 模型
Amazon Bedrock 的跨区域推理（CRIS）现支持从加拿大（中部）和加拿大西部（卡尔加里）区域访问 OpenAI GPT-5.6（Sol、Terra、Luna）、GPT-6（Astra、Sol、Luna）和 GPT-6.1 Sol。这些模型支持 100 万 token 上下文窗口、推理模式、工具调用和提示词缓存，可通过 OpenAI Responses API、Chat Completions API 和 Amazon Bedrock Converse API 调用。推理在北美境内处理，提供 US geographic（us.）和 Global（global.）两类推理配置文件。
匹配字段标题
在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
AWS 团队在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 微调 GPT-OSS-20B，解决其只用英文推理的问题：基座模型在 50 例多语言推理测试中仅 22% 用对目标语言（英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%）。结论是 SFT 承担大部分工作，GRPO 在模型已有一定概率产出目标行为时才能带来可测量的增益。训练使用 LoRA，数据为 HuggingFaceH4/Multilingual-Thinking（约 949 条训练、50 条验证）。
匹配字段标题
DeepSeek 开源推理框架 DeepInfer 与 token 编解码组件 deepseek-recipe
DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe，前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架，单一集群服务吞吐为 155 万亿 Tokens/天，按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐，团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，相关代码尚未完整开源。
匹配字段标题