Cohere 宣布 Model Vault 的机密计算功能进入公开测试。该功能基于 Microsoft Azure 上的 NVIDIA H100 GPU 机密计算能力,为托管模型推理提供硬件级隔离。据 Cohere 产品与研究博客介绍,加密范围从静态存储和传输中的数据扩展到推理运行中的提示词、文档、响应和模型执行;应用负载端到端加密后,只能在通过远程证明的机密环境中解密。客户可在发送敏感数据前用密码学方式核验硬件、固件和软件配置,不符合安全策略时客户端会拒绝发送请求。现有 Model Vault API 和请求格式保持不变。目前该功能处于公测阶段。
匹配字段摘要
Cohere于2026年10月22日在Model Vault上推出机密计算功能,目前处于公开测试阶段。该功能运行在Microsoft Azure的NVIDIA GPU上,结合机密CPU与GPU执行、OHTTP端到端加密请求内容和远程证明,让客户在释放敏感数据前先验证目标环境。Cohere还计划开源机密推理栈,并推进对NVIDIA Blackwell及B200 GPU的支持。
匹配字段摘要
Hao AI Lab宣布,FastVideo FastH3 Omni可在NVIDIA DGX Spark、RTX GPU和Apple MLX上本地运行。该实验室给出的运行数据包括:用一张照片和一段提示词生成5秒480p视频约需3分钟,在两张Spark上约需2分钟;FastH3 T2AV在单张Spark上耗时52.6秒,在两张Spark上为30.7秒。演示视频中的片段均由DGX Spark以8步NVFP4 checkpoint生成。该实验室同时提供了博客、Cookbook和Hugging Face链接。目前尚无后续发展事实。
匹配字段摘要
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段摘要
2026年10月20日,IBM等开源llm-d项目贡献者发布分布式人工智能推理框架1.0版本。据Unite.AI报道,该版本在PyTorch Conference North America上发布,是Kubernetes原生的分布式推理服务栈,由Red Hat、IBM和Google主导维护,CNCF以沙箱项目托管;1.0新增多租户服务质量保障,包括按优先级和公平性调度的流控与可控降载,并支持路由器热备、安全滚动更新,以及把prefill和decode副本作为整体管理的DisaggregatedSet控制器。项目公布的测试显示,在544张NVIDIA H100上部署GLM-5.2可服务最多3000个并发编码智能体且零抢占,每token成本比同等商业API低5到10倍。次日MarkTechPost报道称,Google团队在同一会议上发布该首个稳定版本,把vLLM或SGLang模型服务器整合为统一调度池,支持NVIDIA、AMD、Intel GPU与Google TPU,并新增会话感知路由和异步推理等能力;Google自报基准显示Ironwood TPU编码负载下中位TTFT降低超过85%、
匹配字段摘要
2026年10月21日,Eagle Corp发布开源灵活草稿模型EAGLE-4,用于加速大语言模型推理。据Testing Catalog报道,该模型的核心是同一个drafter会根据batch size、硬件和工作负载调整投机解码策略,并保持目标模型的输出分布;实测中Qwen3.8-27B搭配EAGLE-4 draft在4张NVIDIA B300上达到961.6 tokens/s。同日,Rohan Paul的报道称,EAGLE-4在27B模型单请求下实现863.8 tokens/s解码速度,为DFlash 2的1.28倍、DSpark的1.40倍,测试环境约快3倍且输出结果一致;该报道还提到其保留草稿-验证循环,改进集中在草稿侧,采用自适应草稿结构和更廉价的草稿LM head。
匹配字段摘要
Hao AI Lab 的 FastVideo 开源了 MiniMax FastH3 Omni,并一并放出训练代码。官方称,在 NVIDIA Blackwell 上实时生成速度提升 12 倍,Spark 与 RTX 支持 NVFP4/FP8,ComfyUI 首日支持。该项目与 NVIDIA AI、Nuva Lab 和 Reactor 合作完成。目前尚无后续发展事实。
匹配字段摘要
fal 宣布与 Fireworks AI 合作,提前上线 EAGLE-4 推理加速方案,并附技术博客说明其原理及对创作工作流的意义。被引用的 Eagle 原帖称,EAGLE-4 是其最快的版本,在 Qwen3.8-27B 上使用 TokenSpeed 达到 961.6 tokens/s,测试条件为 BF16、4× NVIDIA B300、TP4、单请求、T=0,并给出 GitHub 地址。目前该消息来自 fal 于 2026 年 10 月 21 日发布的单一来源,尚无其他独立来源或后续进展。
匹配字段摘要
vLLM-Omni团队发布了vLLM-Omni技术报告。相关证据显示,蚂蚁inclusionAI在GitHub发布vLLM-Omni仓库,该框架在vLLM基础上扩展全模态模型推理与服务,支持文本、图像、音频、视频和动作数据处理,并支持DiT等非自回归架构。README显示其已迭代至0.30.0,对齐vLLM 0.30.0,新增MiniCPM-o 4.5与AURA的全双工会话服务、Mooncake AR-to-DiT跨阶段KV与多模态传输,以及在NVIDIA Blackwell和昇腾950上的MiniMax H3 Turbo实时推理。框架提供OpenAI兼容API服务、流式输出和分布式并行推理,并列出Qwen3-Omni、MiniMax H3、Wan2.2、π0.5等已支持模型。目前尚无后续发展事实。
匹配字段摘要
2026年10月15日,Artificial Analysis 公布 NVIDIA RTX Spark N1X 笔记本的首份 AA-AgentPerf-Local 结果。测试使用 128 GB 统一内存、6144 核 Blackwell GPU 的原型 15 英寸 Surface Laptop Ultra,售价 5899.99 美元,通过 llama.cpp 的 Windows 原生构建在 GPU 上运行模型。该机在 Qwen3.8 27B 上完成本地智能体负载耗时 18.7 分钟,接近 DGX Spark 的 17.3 分钟,比 MacBook Pro(M5 Pro)快 2.0 倍、比 AMD Ryzen AI Halo 快 1.8 倍;在 Qwen3.6 35B A3B 上耗时 7.6 分钟,在 124B 的 Ling 3.0 Flash 上耗时 15.3 分钟,后者无法装入 MacBook Pro 或 RTX 5090 的内存。10月16日,NVIDIA 宣布 RTX Spark 笔记本全球开售,由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 推出,起
匹配字段摘要
LMSYS于2026年10月16日宣布,SGLang已原生支持Reflection的Beam模型,并用于支撑其生产API。Beam是501B参数、每token激活23B的MoE模型,原生1M token上下文窗口,计划以Apache 2.0发布;SGLang为其提供BF16、NVFP4和动态FP8支持、DFlash2投机解码与混合注意力前缀缓存。在4张NVIDIA GB300 GPU上以NVFP4运行OpenHands多轮智能体编码回放,并发32时达到每GPU 127.6K tokens/sec、每用户185.87 tokens/sec(p50)。同日,Reflection发布Beam模型权重,Ollama作为day-zero合作方限时免费提供并采用零数据保留;Beam总参数量约5010亿、每token激活约230亿,上下文窗口100万token,以Apache 2.0许可发布。后续AWS方面信息称,Beam权重已在Hugging Face发布,提供BF16、FP8和NVFP4三种checkpoint,并已在Amazon SageMaker JumpStart上线,也可通过SageMa
匹配字段摘要
2026年10月17日,Unsloth宣布适配NVIDIA RTX Spark,可在笔记本上本地运行和训练120B+参数模型。据其发布的信息,借助针对ARM平台CUDA优化的kernel和二进制文件,训练扩散模型、决策模型和多模态模型的速度提升约2.7倍,全部在本地完成,统一内存最高128GB。目前该消息仅有Unsloth一方发布,尚无其他来源的独立证据,也没有后续发展事实。
匹配字段摘要
2026年10月13日,Workday 在拉斯维加斯 Workday Rising 大会上宣布,其 Trusted Agent Platform 实现无头化(headless),向外部 AI 智能体开放 HR 与财务数据。据 The New Stack 报道,MCP 服务器、对实时 Workday 数据的 SQL 访问以及智能体共享运行时正式可用,客户可在 Anthropic、Google、Meta、Mistral、Nvidia 和 OpenAI 的模型上运行自有智能体。其 MCP 服务器 Agent-Ready Tools 随 Workday Extend AI 提供,目前包含 275 个读取工具和 54 个写入或删除工具;用户以本人 Workday 凭证登录,智能体无法访问其账号权限之外的数据。Workday 称,过去四个月客户已用 Developer Agent 和 Agent-Ready Tools 构建了 500 多个智能体和 6000 多个应用。目前尚无进一步有证据的发展。
匹配字段摘要
World Labs 发布 World API,开发者可通过该公开接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。世界生成以异步方式运行,无需专有工具,生成结果可在浏览器渲染、导出到其他工具或接入交互系统与仿真管线。该 API 已用于游戏与沉浸式媒体、机器人仿真(可接入 NVIDIA Isaac Sim、MuJoCo、RoboSuite)以及建筑设计等场景,并通过 World Labs Platform 提供 API key 管理、用量计费和文档。目前尚无后续发展事实。
匹配字段摘要
Moonshot AI(月之暗面)开源了 Kimi Vendor Verifier(KVV)项目,用于帮助开源模型用户校验推理实现的准确性。该项目随 Kimi K2.6 模型发布,包含六项基准测试,覆盖 API 参数约束预校验、OCRBench、MMMU Pro、AIME2025、K2VV ToolCall 与 SWE-Bench,其中 SWE-Bench 因依赖沙箱未开源。官方称已在 Two NVIDIA H20 8-GPU 服务器上完成全流程验证,顺序执行约需 15 小时,并已针对流式推理、自动重试和断点续跑优化脚本。目前尚无后续发展事实。
匹配字段摘要
2026年10月8日,微软与英伟达在旧金山Windows AI活动上宣布合作,为Windows PC的AI智能体协同设计软硬件,推进Windows下一阶段发展。微软宣布OS级智能体运行基础设施MXC正式可用;英伟达发布RTX Spark,把完整AI栈带入Windows笔记本和紧凑台式机,最高128GB统一内存、1 petaflop FP4 AI算力,可本地运行Qwen 3.8 Flash Next等模型。笔记本当日开启预售、10月16日上市,台式机11月开售。活动还预览了基于GB300 Grace Blackwell Ultra的NVIDIA DGX Station for Windows,提供748GB一致内存和最高20 petaFLOPS FP4算力。10月9日,Unsloth宣布与Windows合作,将mxc的OS级沙箱能力接入Unsloth用于沙箱化代码执行,额外开销不到100ms,微软同时开源了mxc仓库。
匹配字段摘要
2026年10月7日,Google将SynthID Detector从面向媒体从业者的早期版本扩展至全球英文用户,任何人可检查图像、视频或音频是否由Google及其合作伙伴的AI生成。据Google介绍,合作方包括OpenAI、NVIDIA、Kakao,Apple也将加入。Google称自2023年推出SynthID以来,已为超过1800亿张图像和视频、24万年时长的音频添加水印,Search、Gemini应用和Chrome中的验证功能每天处理超过100万次请求。后续报道称,该工具支持JPG、PNG、MP4和MP3格式,只能识别带有SynthID水印的内容,并非通用AI检测器。
匹配字段摘要
2026年10月6日,Hao AI Lab发布FastVideo FastH3视频生成模型,可在单台消费级设备上本地运行,支持NVIDIA RTX GPU、DGX Spark和Apple Silicon。据其发布信息,FastH3 V2在8步内超过MiniMax H3基座模型,单张RTX 5090生成5秒480p带音频片段耗时15秒,768p约35–39秒。同时发布的FastH3 Trim体积比基座H3小4.2倍,最低8 GB显存即可运行,模型、Cookbook与代码已开放。技术说明称,团队在1000条提示词上校准每个FP4层,以避免未校准FP4 scale下激活值被裁剪。目前尚无后续独立发展事实。
匹配字段摘要
Hao AI Lab开源了Minecraft智能体Jev,并在1,795轮对局后公布其工作方式。该智能体不训练模型,而是由SOTA LLM智能体在人工监督下,从机器人自身日志中进化提示词。在Block UHC对真人玩家时,它赢下70%的回合。据其说明,面对满技能脚本对手时,v1全败,不到两小时后v9全胜。每次决策为DJev在DiffusionGemma上的一次前向传播,不生成token,在NVIDIA Blackwell上耗时24 ms,团队称比某领先推理引擎快2.5倍。团队同时开源推理引擎DJev-serve,在GB200 NVL72和B200上以单个CUDA graph执行每次决策。
匹配字段摘要
Microsoft与NVIDIA 合作 Windows下一阶段发展
English translation is being prepared.
匹配字段摘要