Ollama 上线新的模型调度系统，运行前会精确测量所需显存，取代此前版本的估算方式。官方称这能显著减少显存不足导致的崩溃、把更多显存分配给 GPU 以提升 token 生成与处理速度，并改善多卡及不同型号 GPU 混用时的调度表现，nvidia-smi 与 ollama ps 的显存读数也将一致。新引擎中的模型默认启用该功能，已支持 gpt-oss、llama4、gemma3、qwen3、mistral-small3.2 等，llama3.2、llama3.1、qwen3-coder 等将陆续迁移。
匹配字段摘要、正文
vLLM 现已支持在 NVIDIA Blackwell、Hopper 以及 AMD MI300x、MI355x GPU 上运行 gpt-oss。其针对 MXFP4 MoE、高效注意力和混合 KV cache 集成了专用内核与内存管理方案，并通过 OpenAI Responses API、gpt-oss toolkit 或外部 MCP 工具服务器支持工具调用。
匹配字段摘要、正文
Mistral AI 宣布推出 Mistral Compute，为客户提供涵盖 GPU、编排、API、产品和服务的私有一体化 AI 基础设施，形态从裸金属服务器到全托管 PaaS。该服务支持训练和部署各类 AI 工作负载，并将提供 Mistral AI 训练套件及最新 NVIDIA 参考架构，规划供应数万块 GPU。其强调数据主权、欧洲法规合规与使用脱碳能源，并继续通过合作伙伴提供本地部署和全球云服务。
Mistral AI 宣布推出 Mistral Compute，为客户提供涵盖 GPU、编排、API、产品和服务的私有一体化 AI 基础设施，形态从裸金属服务器到全托管 PaaS。该服务支持训练和部署各类 AI 工作负载，并将提供 Mistral AI 训练套件及最新 NVIDIA 参考架构，规划供应数万块 GPU。其强调数据主权、欧洲法规合规与使用脱碳能源，并继续通过合作伙伴提供本地部署和全球云服务。 · Mistral AI announced Mistral Compute, a private, integrated AI infrastructure offering spanning GPUs, orchestration, APIs, products, and services in configurations ranging from bare-metal servers to fully managed PaaS. It supports training and serving AI workloads and will offer Mistral AI’s t
匹配字段摘要、正文
Ollama 发布 Secure Minions，把本地 Ollama 模型与云端前沿模型的协作通信做成端到端加密，连云服务商也无法读取明文。该协议基于 NVIDIA Hopper H100 的机密计算模式，通过远程证明建立安全飞地，本地消息加密后送入 GPU 飞地解密处理，输出再加密返回。在约 8k token 长提示和 Qwen-32B 等大模型下，额外延迟低于 1%，并提供了 streamlit 交互演示和 Python 调用示例。
匹配字段摘要、正文
vLLM 发布 V1 Alpha，通过重构调度器、KV cache 管理器、Worker、采样器和 API 服务器，将吞吐量较 V0 提升至多 1.7x。V1 默认启用低开销前缀缓存，增强多模态模型支持，并可通过设置 `VLLM_USE_V1=1` 在不修改现有 API 的情况下启用。当前版本仅支持 Ampere 或更新的 NVIDIA GPU，尚不支持 LoRA、结构化解码、推测解码和流水线并行等功能。
vLLM 发布 V1 Alpha，通过重构调度器、KV cache 管理器、Worker、采样器和 API 服务器，将吞吐量较 V0 提升至多 1.7x。V1 默认启用低开销前缀缓存，增强多模态模型支持，并可通过设置 VLLM USE V1=1 在不修改现有 API 的情况下启用。当前版本仅支持 Ampere 或更新的 NVIDIA GPU，尚不支持 LoRA、结构化解码、推测解码和流水线并行等功能。
匹配字段摘要、正文
Ollama 在 Windows 上推出预览版，可在原生 Windows 环境中拉取、运行和创建大语言模型。该版本内置 GPU 加速，支持 NVIDIA GPU 以及 AVX、AVX2 等 CPU 指令集，无需配置或虚拟化；同时提供完整模型库（含 LLaVA 1.6 等视觉模型，图片可拖入 ollama run）和后台运行的 Ollama API（http://localhost:11434），并保持与其他平台一致的 OpenAI 兼容性。
匹配字段摘要、正文
Ollama 成为 Docker 官方赞助的开源镜像，用户可在 Docker 容器中运行大语言模型，所有交互在本地完成，不向第三方服务发送私有数据。在 Linux 上，Ollama 可在容器内借助 Nvidia GPU 加速运行，需先安装 Nvidia container toolkit；在 Mac 上则需以独立应用方式运行，因为 Docker Desktop 不支持 GPU。容器内可直接运行 Llama 2 等模型，更多模型见 Ollama library。
匹配字段摘要、正文
2026年11月5日至6日,NVIDIA公布并发布面向AI智能体负载的Vera CPU,称在100兆瓦数据中心对比中,单颗Vera的性能优于最快的x86 CPU和最节能的x86 CPU。NVIDIA给出的数据是:相比最快的x86 CPU,Vera每瓦可支持1.6倍数量的智能体;相比最节能的x86 CPU,智能体速度提升2倍。Perplexity、DeepInfra、ClickHouse、DuckLabs、Daytona、Modal等早期采用者给出生产环境测试结果,其中Daytona用Vera在10.8秒内启动1000个智能体沙箱,x86为88.4秒。另据Unite.AI报道,Perplexity称早期测试中Computer类工作流比现有生产参考快约1.5倍,并发沙箱启动快至1.9倍,并计划在后续生产系统部署Vera;DeepInfra测得裸机编排步骤29毫秒,AMD Zen 5为35毫秒。Vera规格为每颗88个Olympus核心、176线程,最高1.2 TB/s LPDDR5X内存带宽和1.5 TB内存。
匹配字段标题
2026年11月5日至6日,NVIDIA公布并发布面向AI智能体负载的Vera CPU,称在100兆瓦数据中心对比中,单颗Vera的性能优于最快的x86 CPU和最节能的x86 CPU。NVIDIA给出的数据是:相比最快的x86 CPU,Vera每瓦可支持1.6倍数量的智能体;相比最节能的x86 CPU,智能体速度提升2倍。Perplexity、DeepInfra、ClickHouse、DuckLabs、Daytona、Modal等早期采用者给出生产环境测试结果,其中Daytona用Vera在10.8秒内启动1000个智能体沙箱,x86为88.4秒。另据Unite.AI报道,Perplexity称早期测试中Computer类工作流比现有生产参考快约1.5倍,并发沙箱启动快至1.9倍,并计划在后续生产系统部署Vera;DeepInfra测得裸机编排步骤29毫秒,AMD Zen 5为35毫秒。Vera规格为每颗88个Olympus核心、176线程,最高1.2 TB/s LPDDR5X内存带宽和1.5 TB内存。
匹配字段标题
2026年11月5日,NVIDIA推出开源软件层DSX OS,用于配置、认证与运维Kubernetes GPU集群。据NVIDIA Developer发布的文章,DSX OS包含AICR、NVCRE和NVSentinel三个Apache 2.0项目:AICR负责版本锁定的集群配置,将配置渲染为Argo CD、Flux、Helm等部署工具的产物并支持漂移检测;NVCRE基于NCCL与训练负载进行就绪认证,通过二分定位可疑节点;NVSentinel负责持续健康监控与故障隔离修复,默认只上报节点状态,启用后可封锁、驱逐并修复故障节点。三者可串联成生命周期闭环,节点加入或修复后自动触发重新验证,通过后才解除调度限制。目前该发布仍为单一来源报道,尚无后续进展。
匹配字段标题
2026年11月5日,NVIDIA推出开源软件层DSX OS,用于配置、认证与运维Kubernetes GPU集群。据NVIDIA Developer发布的文章,DSX OS包含AICR、NVCRE和NVSentinel三个Apache 2.0项目:AICR负责版本锁定的集群配置,将配置渲染为Argo CD、Flux、Helm等部署工具的产物并支持漂移检测;NVCRE基于NCCL与训练负载进行就绪认证,通过二分定位可疑节点;NVSentinel负责持续健康监控与故障隔离修复,默认只上报节点状态,启用后可封锁、驱逐并修复故障节点。三者可串联成生命周期闭环,节点加入或修复后自动触发重新验证,通过后才解除调度限制。目前该发布仍为单一来源报道,尚无后续进展。
匹配字段标题
NVIDIA发布AI Factory Operations Agent,用于自家DGX SuperPOD运维。该框架通过多个领域子智能体协同,在计算、网络、硬件和调度层之间定位根因,并通过聊天界面给出建议。框架基于NVIDIA NemoClaw blueprint和OpenShell构建,完全本地部署,推理使用本地NVIDIA Nemotron开源模型,运行在DGX H100、DGX B200和DGX GB300生产集群上。框架包含Job Recovery、Hardware、Observability、Research、Kubernetes和Cluster Management等子智能体,并集成web搜索、代码执行和Grafana看板等MCP工具,开发者示例与开源代码已开放。
匹配字段标题
NVIDIA发布AI Factory Operations Agent,用于自家DGX SuperPOD运维。该框架通过多个领域子智能体协同,在计算、网络、硬件和调度层之间定位根因,并通过聊天界面给出建议。框架基于NVIDIA NemoClaw blueprint和OpenShell构建,完全本地部署,推理使用本地NVIDIA Nemotron开源模型,运行在DGX H100、DGX B200和DGX GB300生产集群上。框架包含Job Recovery、Hardware、Observability、Research、Kubernetes和Cluster Management等子智能体,并集成web搜索、代码执行和Grafana看板等MCP工具,开发者示例与开源代码已开放。
匹配字段标题
2026年11月3日,NVIDIA发布开源工作负载级恢复服务NVIDIA Recovery。该服务通过应用日志、GPU指标和调度器信号检测训练中断,并按检测、归因、隔离、重启或停止四阶段循环处理。服务以Apache 2.0许可在dsx-ai-factory/NVIDIA-Recovery仓库开放,Slurm集成通过Helm chart部署的Advisor Controller实现,支持集群内和SSH两种模式。新部署默认处于监控模式,只输出恢复建议、不执行调度动作。7月9日至10月9日在一个训练集群上的监控覆盖每天近200个任务,记录约8,550次异常检测,平均检测与恢复动作延迟分别为69秒和94秒。目前该服务已开源发布,尚无后续发展信息。
匹配字段标题
2026年11月3日,NVIDIA发布开源工作负载级恢复服务NVIDIA Recovery。该服务通过应用日志、GPU指标和调度器信号检测训练中断,并按检测、归因、隔离、重启或停止四阶段循环处理。服务以Apache 2.0许可在dsx-ai-factory/NVIDIA-Recovery仓库开放,Slurm集成通过Helm chart部署的Advisor Controller实现,支持集群内和SSH两种模式。新部署默认处于监控模式,只输出恢复建议、不执行调度动作。7月9日至10月9日在一个训练集群上的监控覆盖每天近200个任务,记录约8,550次异常检测,平均检测与恢复动作延迟分别为69秒和94秒。目前该服务已开源发布,尚无后续发展信息。
匹配字段标题
2026年10月22日,NVIDIA宣布扩展Cosmos平台,新增训练工具、仿真检查点和Cosmos Data Factory蓝图,以帮助开发者构建世界模型。据NVIDIA Newsroom发布的信息,Cosmos Data Factory提供五个云原生蓝图,已通过GitHub、Microsoft Azure、Nebius和CoreWeave提供;保时捷用其构建共享自动驾驶数据飞轮,预计减少最多90%的重复实车测试、缩短最多85%的开发周期。Cosmos Framework的训练、优化与部署工具以agent skills形式扩展到GR00T、Alpamayo、QWEN、Pi0.5等开源模型,Cosmos 3 NIM微服务在验证配置下推理速度提升最多2倍。目前尚无后续发展。
匹配字段标题
2026年10月23日,MiniMax公开致谢NVIDIA NeMo团队,感谢其为MiniMax-M3.1-Flash提供day-0微调支持。据MiniMax官方发布的信息,被引用的Huiying Li帖文称,该模型在公开前已通过Space Bunny处理200T+ tokens,目前已经开放权重。官方说明还提到,NeMo-AutoModel的day-0微调支持涵盖FSDP2、专家并行、流水线并行和上下文并行,可扩展至128块GPU,并可直接加载NVFP4 checkpoint。目前该事件仅有这一项官方事实,尚无后续发展。
匹配字段标题
2026年10月23日,MiniMax公开致谢NVIDIA NeMo团队,感谢其为MiniMax-M3.1-Flash提供day-0微调支持。据MiniMax官方发布的信息,被引用的Huiying Li帖文称,该模型在公开前已通过Space Bunny处理200T+ tokens,目前已经开放权重。官方说明还提到,NeMo-AutoModel的day-0微调支持涵盖FSDP2、专家并行、流水线并行和上下文并行,可扩展至128块GPU,并可直接加载NVFP4 checkpoint。目前该事件仅有这一项官方事实,尚无后续发展。
匹配字段标题