vLLM 新增对 NVIDIA Nemotron 模型家族的部署支持
vLLM 现已支持部署 NVIDIA Nemotron 开放模型家族，可在数据中心和端侧硬件上运行智能体推理。Nemotron Nano 2 采用混合 Transformer–Mamba 架构并提供可配置的 thinking budget，开发者可调节精度、吞吐量和成本；其模型权重及超过 9T tokens 的训练数据已在 Hugging Face 提供。
匹配字段标题、摘要、正文
←搜索结果
搜索“NVIDIA”
FastVideo 支持 Open-H3-Regenerate-2K 模型
Hao AI Lab 宣布 FastVideo 已支持来自 HaoZhe65347 与 NVIDIA AI 的 Open-H3-Regenerate-2K 模型，并给出 2K 模型链接。该系列此前介绍 FastVideo 对 Pika Labs 开源的 MiniMax H3 Flex 做了推理优化，单张 GB200 上 5 秒 480p 带音频视频耗时 5.8 秒，比官方开源推理代码快至多 7 倍，并新增多 GPU 支持。
匹配字段摘要、正文
Hao AI Lab 将 MiniMax H3 Flex 接入 FastVideo，单卡…
Hao AI Lab 宣布 Pika Labs 开源的 MiniMax H3 Flex 已接入 FastVideo，官方称其推理速度最高比官方开源推理代码快 7 倍，在单张 NVIDIA GB200 上生成 5 秒 480p 带音频视频耗时 5.8 秒。同一提示词与随机种子下，5 秒带音频片段官方代码耗时 59.7 秒，FastVideo BF16 为 26.6 秒，NVFP4 QAD 为 16.8 秒，FP4 attention 为 15.2 秒；官方代码仅支持单 GPU，FastVideo 增加了多 GPU 支持，15 秒片段在 4 张 GPU 上快 7 倍。NVFP4 QAD 以 BF16 Flex 为蒸馏目标，比普通量化更接近 BF16 14-17%；FP4 attention 将 768p 15 秒片段从 101.8 秒降至 85.3 秒。5 秒 480p 首尾帧片段在单台 DGX Spark 上耗时 59.5 秒，并支持来自 Hao AI Lab 与 NVIDIA 的 Open-H3-Regenerate-2K 模型。权重、推理代码和完整训练配方均已开放。
匹配字段摘要、正文
面壁智能开源 ForgeKernel：DeepSeek V4.1 预填充内核提速 9.8%
面壁智能宣布开源 ForgeKernel，其智能体在约 22 小时内完成 42 轮迭代、产出 32 个内核版本，最终在 NVIDIA B200 上对 DeepSeek V4.1 FlashMLA Prefill 实现 1.098 倍性能，472 µs 对比基线 518 µs。官方 FlashMLA 实现全程封闭，智能体只能运行并计时其黑盒 CLI，无法读取源码、文档或性能剖析数据。此次开源内容包括优化后的 DeepSeek V4.1 融合预填充内核、论文中覆盖 attention、Gated DeltaNet、Kimi Delta Attention、GEMM 和卷积的内核，以及可用来优化自有内核的 ForgeKernel harness；在 27 个算子上，ForgeKernel 与 22 个专家库内核中的 18 个持平或更优，并优于三个内核生成系统已发布的全部 7 个内核。
匹配字段摘要、正文
PyTorch 2.15 发布：重写 NCCL 后端成为默认，Apple Silicon 支持 FP8
PyTorch 基金会发布 PyTorch 2.15，所有使用 nccl 的进程组默认改用重写后的 NCCL 后端，并附带在集合通信挂起时转储现场信息的 flight recorder，可通过 TORCH_DIST_USE_NCCL2=0 或 nccl-legacy 回退。该版本还为 Apple Silicon 加入 float8_e4m3fn 与 _scaled_mm 支持，新的 grouped_mm 在 M3 Ultra 上让 MoE 解码吞吐提升 1.32–1.34 倍。默认 wheel 升级到 CUDA 13.2，同时提供 CUDA 13.4 wheel 并实验性支持 NVIDIA Rubin GPU，另新增 ROCm 10.0 wheel，且不再支持 Python 3.10 和 macOS 14。
PyTorch 基金会发布 PyTorch 2.15，所有使用 nccl 的进程组默认改用重写后的 NCCL 后端，并附带在集合通信挂起时转储现场信息的 flight recorder，可通过 TORCH DIST USE NCCL2=0 或 nccl-legacy 回退。该版本还为 Apple Silicon 加入 float8 e4m3fn 与 scaled mm 支持，新的 grouped mm 在 M3 Ultra 上让 MoE 解码吞吐提升 1.32–1.34 倍。默认 wheel 升级到 CUDA 13.2，同时提供 CUDA 13.4 wheel 并实验性支持 NVIDIA Rubin GPU，另新增 ROCm 10.0 wheel，且不再支持 Python 3.10 和 macOS 14。
匹配字段摘要、正文
Survival LLM 发布离线应急 AI 助手，按电脑内存自动匹配本地模型
Survival LLM 发布一款完全在本地运行的免费开源 AI 助手与应急资料库，断网后仍可回答食物保存、烧伤处理、净水等问题，并列出答案所依据的文章。应用启动时会检测电脑内存并下载匹配的模型，从 16–31 GB 内存设备上的 IBM Granite 4.2 8B 到 128 GB 以上 Mac 上的 NVIDIA Nemotron 3.5 Super；资料库约 9 GB，含约 93 万篇 Wikipedia 文章、FEMA 与 CDC 指南、军事医学手册和 iFixit 维修指南。作者在 22 道停电与急救题上的盲测中，Nemotron 3.5 Super 与 Qwen3.8 27B 各答对 21 题，Granite 4.2 8B 答对 14 题。
匹配字段摘要
微星发布EdgeMesa N AI+迷你主机，1.3L机身本地运行120B大模型
微星发布EdgeMesa N AI+迷你主机，体积1.3升，搭载NVIDIA RTX Spark N1X超级芯片和最高128GB LPDDR5X统一内存，把本地运行120B参数大模型作为首要设计目标。该芯片集成20核Grace CPU与6144 CUDA核心的Blackwell GPU，统一内存池让模型权重和KV缓存共享同一物理内存。参考同平台DGX Spark实测，120B级模型生成速度约15至59 tokens/s，受273GB/s内存带宽限制；官方尚未公布售价，文章估计可能落在3至4万元人民币区间。
匹配字段摘要、正文
MiniMax M3.1 Flash 获 SGLang 与 Miles 首日支持
MiniMax 宣布 M3.1 Flash 从推理到 RL 均已就绪，SGLang 与 Miles 在发布首日即提供支持。据 SGLang 介绍，该模型在 SGLang 上 bs1 decode 超过 1K tok/s，支持 NVIDIA Blackwell 与 Hopper（GB300/B300/B200/H200）以及 AMD Instinct MI350X 和 MI355X，并支持 MiniMax 的 DSpark 草稿模型与 HiCache、多模态输入。
匹配字段摘要、正文
Cohere Model Vault 上线机密计算公测
Cohere 宣布 Model Vault 的机密计算功能进入公开测试，基于 Microsoft Azure 上的 NVIDIA H100 GPU 机密计算能力，为托管模型推理提供硬件级隔离。该功能把加密范围从静态存储和传输中的数据扩展到推理运行中的提示词、文档、响应和模型执行，应用负载端到端加密后只能在通过远程证明的机密环境中解密。客户可在发送敏感数据前用密码学方式核验硬件、固件和软件配置，不符合安全策略时客户端会拒绝发送请求，现有 Model Vault API 和请求格式保持不变。
匹配字段摘要、正文
Cohere Model Vault 推出可验证机密 AI 推理
Cohere 在 Model Vault 上推出机密计算功能，目前处于公开测试阶段，运行在 Microsoft Azure 的 NVIDIA GPU 上。该功能结合机密 CPU 与 GPU 执行、OHTTP 端到端加密请求内容和远程证明，让客户在释放敏感数据前先验证目标环境。Cohere 计划开源机密推理栈，并推进对 NVIDIA Blackwell 及 B200 GPU 的支持。
匹配字段摘要、正文
FastVideo FastH3 Omni 在 DGX Spark、RTX GPU 和 Apple MLX 上本地运行
Hao AI Lab 宣布 FastVideo FastH3 Omni 可在 NVIDIA DGX Spark、RTX GPU 和 Apple MLX 上本地运行。用一张照片和一段提示词生成 5 秒 480p 视频约需 3 分钟，在两张 Spark 上约 2 分钟；FastH3 T2AV 在单张 Spark 上耗时 52.6 秒，两张 Spark 上为 30.7 秒。演示视频中的片段均由 DGX Spark 以 8 步 NVFP4 checkpoint 生成，并提供了博客、Cookbook 和 Hugging Face 链接。
匹配字段摘要、正文
DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
匹配字段摘要、正文
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
匹配字段摘要、正文
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段摘要、正文
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段摘要、正文
Eagle Corp 开源 EAGLE-4 灵活 drafter，加速 LLM 推理
Eagle Corp 发布开源灵活 drafter EAGLE-4，用于加速 LLM 推理。其核心是同一个 drafter 会根据 batch size、硬件和工作负载调整投机解码策略，并保持目标模型的输出分布。实测中 Qwen3.8-27B 搭配 EAGLE-4 draft 在 4 张 NVIDIA B300 上达到 961.6 tokens/s。
匹配字段摘要、正文
FastVideo 开源 MiniMax FastH3 Omni 并附训练代码
Hao AI Lab 的 FastVideo 开源了 MiniMax FastH3 Omni，并一并放出训练代码。官方称在 NVIDIA Blackwell 上实时生成速度提升 12 倍，Spark 与 RTX 支持 NVFP4/FP8，ComfyUI 首日支持。该项目与 NVIDIA AI、Nuva Lab 和 Reactor 合作完成。
匹配字段摘要、正文
fal 与 Fireworks AI 提前上线 EAGLE-4 推理加速方案
fal 宣布与 Fireworks AI 合作提前上线 EAGLE-4，并附技术博客说明其原理及对创作工作流的意义。被引用的 Eagle 原帖称 EAGLE-4 是其最快的版本，在 Qwen3.8-27B 上使用 TokenSpeed 达到 961.6 tokens/s（BF16、4× NVIDIA B300、TP4、单请求、T=0），并给出 GitHub 地址。
匹配字段摘要
DeepSeek 开源生产推理框架 DeepInfer
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
匹配字段摘要、正文
DeepSeek 开源生产推理框架 DeepInfer，支撑 DeepSeek-V4.1-Flash
DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。
匹配字段摘要、正文