DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。
匹配字段摘要、正文
DeepSeek 以 Apache 2.0 许可证开源了其生产服务所用的推理引擎 DeepInfer，8 小时内获得 6.3K+ stars。该版本只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 GPU 或华为昇腾 950 芯片上，覆盖离线推理而非完整服务栈，缺少 KV cache、prefill 与 decode 分离以及副本间负载均衡。随附的加速层包含 DSpark，可提前草拟最多 5 个 token 并用置信度估计安排验证；bounded replay 只重算 140 token 后缀以覆盖滑动注意力窗口，从而压缩 prefill。配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为与官方 API 行为一致的 DeepSeek V4 与 V4.1 提示词。
匹配字段摘要、正文
llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。
匹配字段摘要、正文
DeepSeek 开源了支撑其线上服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，本次聚焦离线推理，主要基于 vLLM 构建并借鉴 SGLang 和 TensorRT-LLM。它把此前分散开源的 FlashMLA、DeepGEMM、DeepEP、EPLB 等内核集成为完整引擎，补齐调度、并行与投机解码等系统层，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。原文还拆解了 DSpark 投机解码、YoCo SWA 有界重放、异步调度、批不变确定性推理和 regex/JSON schema/EBNF 结构化输出等设计。
匹配字段摘要、正文
蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。
匹配字段摘要、正文
联想 YOGA Pro 15 RTX Spark 超级 AIPC 于 10 月 16 日全渠道开售，官方售价 29999 元起，搭载 NVIDIA RTX Spark N1X 超级芯片，集成 6144-core Blackwell RTX GPU 与 20-core Grace CPU，可释放 1 Petaflop FP4 本地 AI 算力。该机配备至高 128GB 统一内存与 2TB 存储，能跑通超千亿参数本地大模型，并搭载联想天禧 AI 个人超级智能体，其超能模式支持断网可用、零 Token 成本，本地模式功能将通过后续 OTA 升级实现。
匹配字段摘要、正文
LMSYS 宣布 SGLang 已原生支持 Reflection 的 Beam 模型，并用于支撑其生产 API。Beam 是 501B 参数、每 token 激活 23B 的 MoE 模型，原生 1M token 上下文窗口，计划以 Apache 2.0 发布，SGLang 为其提供 BF16、NVFP4 和动态 FP8 支持、DFlash2 投机解码与混合注意力前缀缓存。在 4 张 NVIDIA GB300 GPU 上以 NVFP4 运行 OpenHands 多轮智能体编码回放，并发 32 时达到每 GPU 127.6K tokens/sec、每用户 185.87 tokens/sec（p50）。
匹配字段摘要、正文
Brave 与 NEAR AI 合作，为隐私优先的 Leo AI 助手带来端到端加密聊天。该功能下，浏览器在设备端用 Oblivious HTTP（OHTTP）加密提示词，只有经过认证的 TEE 才能解密并运行机密 LLM 推理，IP 地址全程隐藏，GLM 5.3 Flash 模型运行在 NEAR AI 运营的 Nvidia 硬件隔离区中，提示词与回复对 Brave、NEAR AI 及基础设施运营方均不可见。该功能已在 Brave Release、Beta 和 Nightly 上线，需在 Leo 中选择 GLM 5.3 Flash 使用；Brave 表示后续会把认证检查移入浏览器并扩展到其他开源权重模型。
匹配字段摘要、正文
Hugging Face 发布免费开源的 Windows 11 桌面应用 Llama Windows，把 llama.cpp 本地推理库带到 Windows，类似 Mac 上的 llama.app。用户可从 Hugging Face Hub 一键下载模型并在本地运行，无需终端、构建步骤或管理员权限，应用以系统托盘形式运行，也可用 Alt + Space 打开助手窗口。该应用原生支持 Windows 11 on Arm 和新的 Nvidia RTX Spark 平台，使用 WinUI3 编写，并内置 llama.cpp 服务器、Hugging Face Hub 客户端和模型目录的 .NET 库。
匹配字段摘要、正文
LMSYS 发布博客称，SGLang 与 Miles 为 Meta 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持。该模型采用 816B 参数文本 Transformer 主干、每 token 约 42B 激活参数，支持文本、图像、视频和音频输入以及 1M token 上下文窗口，checkpoint 提供 NVFP4 与 BF16 版本。在 8 张 NVIDIA B300 GPU 上以 NVFP4 checkpoint 跑 OpenHands 多轮智能体编码回放，并发 1 时单 GPU 吞吐 14.8K tokens/sec、单用户 543 tokens/sec（p50），并发 128 时为 80.3K tokens/sec、单用户 61 tokens/sec（p50）。支持平台包括 NVIDIA Blackwell（GB300、B300、GB200、B200）、H200、AMD MI350X 与 MI355X，以及 Intel Xeon 6 P-core，并首次通过 SGLang-TorchTPU 为开源权重模型提供 Day-0 TPU 支持。
匹配字段摘要、正文
Workday 在拉斯维加斯 Workday Rising 大会上宣布其 Trusted Agent Platform 实现无头化，MCP 服务器、对实时 Workday 数据的 SQL 访问和智能体共享运行时正式可用，客户可在 Anthropic、Google、Meta、Mistral、Nvidia 和 OpenAI 的模型上运行自有智能体。其 MCP 服务器 Agent-Ready Tools 随 Workday Extend AI 提供，目前有 275 个读取工具和 54 个写入或删除工具，用户以本人 Workday 凭证登录，智能体无法访问其账号权限之外的数据。Workday 称过去四个月客户已用 Developer Agent 和 Agent-Ready Tools 构建了 500 多个智能体和 6000 多个应用。
匹配字段摘要、正文
World Labs 发布 World API，开发者可通过该公开接口调用其多模态世界模型 Marble，从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。世界生成以异步方式运行，无需专有工具，生成结果可在浏览器渲染、导出到其他工具或接入交互系统与仿真管线。该 API 已用于游戏与沉浸式媒体、机器人仿真（可接入 NVIDIA Isaac Sim、MuJoCo、RoboSuite）以及建筑设计等场景，并通过 World Labs Platform 提供 API key 管理、用量计费和文档。
匹配字段摘要、正文
蚂蚁 inclusionAI 在 GitHub 开源 Realtime-Venus，一个结合全双工对话模型与异步执行框架的交互系统，可在持续对话的同时把任务交给 Harness 推理或调用工具，结果回到同一对话中语音播报。项目包含 Omni 模型集成、可复用的 Harness 包和基于 Codex 任务后端的浏览器 Demo，在线 Duplex Demo 需至少一块 NVIDIA A100 GPU，另提供 Beta 版 Android 演示包。该研究项目由 Venus Team 与清华大学合作完成，代码采用 Apache-2.0 许可。
匹配字段摘要、正文
月之暗面随 Kimi K2.6 模型发布开源 Kimi Vendor Verifier（KVV）项目，帮助开源模型用户校验推理实现的准确性。KVV 包含六项基准测试，覆盖 API 参数约束预校验、OCRBench、MMMU Pro、AIME2025、K2VV ToolCall 与 SWE-Bench，其中 SWE-Bench 因依赖沙箱未开源。官方称在 Two NVIDIA H20 8-GPU 服务器上完成全流程验证，顺序执行约需 15 小时，并已针对流式推理、自动重试和断点续跑优化脚本。
匹配字段摘要、正文
Microsoft 于 2026 年 10 月 7 日宣布，在 Windows 本地 AI 推理基座 Windows ML 中实验性集成推理引擎 llama.cpp，开发者可通过 Windows ML 在 PC 上运行 GGUF 格式语言模型。同时新增 Text Generation API，让应用以统一流程调用 GGUF 与 ONNX 模型，Windows ML 会自动为 GGUF 选择 llama.cpp、为 ONNX 选择 ONNX Runtime。目前 llama.cpp 在 Windows ML 上仅验证了 CPU 与 CUDA 的 NVIDIA GPU 执行，GGUF 模型不支持 NPU，Text Generation API 也只提供贪心解码，不支持采样、temperature、投机解码与结构化输出，相关 API 为实验性、暂不支持生产使用。
匹配字段摘要、正文
Google 于 10 月 7 日将图像、视频、音频电子透水印检测网站 SynthID Detector 的适用范围扩大到普通用户，除 Google 外还支持 OpenAI、NVIDIA、Kakao 的 AI 生成内容，并计划近期支持 Apple 的生成内容。用户需登录后上传文件检测是否含有 SynthID 透水印，视频和音频还能看到检出透水印的区段，目前不支持文本检测。Google 说明未检出透水印也不能否定 AI 生成，因为非 SynthID 模型或透水印推出前的内容本就不带该信号，大幅加工也可能削弱信号。
匹配字段摘要、正文
微软宣布为 Windows 带来不计量智能，让每台 PC 成为智能体可安全工作的场所。其中 MAI-Code-1.1 Flash 是 137B 参数、256K 上下文窗口的编码模型，已针对 PC 本地运行优化；GitHub Copilot 可将工作交接给该本地模型以降低成本。微软还推出 Hybrid Intelligence 让 Copilot 直接在 PC 上执行操作并保留敏感数据在本地，并通过 Code in Copilot 在桌面构建软件而无需云端 token 消耗；Windows 与 Agent 365 结合，提供 MXC 本地沙箱供智能体执行。相关能力将随搭载 NVIDIA RTX Spark 的 Surface Laptop Ultra 等新设备落地。
匹配字段摘要、正文
Google 将 SynthID Detector 开放给公众，任何人都可以检测图片、视频或音频是否由 Google 及其合作伙伴的 AI 生成，支持 JPG、PNG、MP4 和 MP3 格式。该工具只能识别带有 SynthID 水印的内容，并非通用 AI 检测器，其他检测系统通常也只验证自家水印。OpenAI、Nvidia 和 Kakao 也在媒体中使用 SynthID，Google 称 Apple 预计很快加入；SynthID 检测已内置于 Google 搜索、Gemini 应用和 Chrome，每天收到 100 万次验证请求，累计带水印图片和视频超过 1800 亿。
匹配字段摘要、正文
Google 的 AI 图像与视频检测工具 SynthID 从有限早期访问升级为全球可用的英文工具，未来还将继续扩展。新版 SynthID 除支持 Google 自家 Gemini 生成的内容外，还兼容 OpenAI、Nvidia、Kakao 以及 Apple 等合作方的模型，这些模型生成的内容会带有肉眼不可见的水印。Google 表示，Apple Intelligence 生成的图像将“很快”带有 SynthID 水印。
匹配字段摘要、正文
Google 周二上线新网站，任何人都可以验证图片、视频或音频是否由 AI 生成。该工具此前在 Google I/O 上仅向部分记者、媒体从业者和研究人员开放测试，现面向所有人开放。网站支持 JPG、PNG、GIF 等图片格式，MP4、MOV、WEBM 视频格式，以及 WAV、MP3、FLAC 等音频格式，检测基于 Google 2023 年推出的 SynthID。Nano Banana、Veo、Lyria 以及 Gemini、Flow、ProducerAI、Vids 等生成工具都会用 SynthID 为生成内容加水印，OpenAI、Nvidia、Kakao 也支持 SynthID，Apple 据称将很快加入。Google 已将 SynthID 验证嵌入 Gemini 应用和 Chrome，目前每天有 100 万次内容验证请求。
匹配字段摘要、正文