Modal 宣布 Volumes v2 进入公开 Beta，文件系统支持更高吞吐、改进随机访问性能，并可从数百个容器同时高并发写入，且不再限制文件数量。JavaScript/TypeScript 和 Go SDK 以 v0.5 进入 Beta，提供统一的 Client 对象并支持 Sandboxes、Functions、Images 和 Volumes。此外，Modal 还逆向解析了 Nvidia Flash Attention 4，该内核在 Blackwell GPU 上带来最高 20% 的 Transformer 注意力加速。
匹配字段摘要、正文
Ollama 上线新的模型调度系统，运行前会精确测量所需显存，取代此前版本的估算方式。官方称这能显著减少显存不足导致的崩溃、把更多显存分配给 GPU 以提升 token 生成与处理速度，并改善多卡及不同型号 GPU 混用时的调度表现，nvidia-smi 与 ollama ps 的显存读数也将一致。新引擎中的模型默认启用该功能，已支持 gpt-oss、llama4、gemma3、qwen3、mistral-small3.2 等，llama3.2、llama3.1、qwen3-coder 等将陆续迁移。
匹配字段摘要、正文
Mistral AI 完成 17 亿欧元 C 轮融资，投后估值达 117 亿欧元，将用于推进 AI 科研并解决战略行业的复杂技术挑战。此轮融资由 ASML 领投，双方计划开发 AI 产品与解决方案，并探索联合研究；DST Global、Andreessen Horowitz、NVIDIA 等现有投资者参投。
Mistral AI 完成 17 亿欧元 C 轮融资，投后估值达 117 亿欧元，将用于推进 AI 科研并解决战略行业的复杂技术挑战。此轮融资由 ASML 领投，双方计划开发 AI 产品与解决方案，并探索联合研究；DST Global、Andreessen Horowitz、NVIDIA 等现有投资者参投。 · Mistral AI has raised €1.7B in a Series C round at an €11.7B post-money valuation to advance AI research and address complex technological challenges in strategic industries. ASML led the round and plans to collaborate with Mistral AI on AI-enabled products, solutions, and potential joint research, with existing investors including DST Globa
匹配字段摘要、正文
AWS 正为 Anthropic 扩建多吉瓦级 AI 训练基础设施，三个接近完工的园区合计拥有逾 1.3GW IT 容量，最大园区将部署近百万颗 Trainium2。Trainium2 的多项性能落后于 NVIDIA 系统，但在单位内存带宽总拥有成本上具有优势，契合 Anthropic 侧重强化学习和训练后扩展的路线。Anthropic 还深度参与 Trainium 的系统设计，同时继续使用 Google TPU 和 NVIDIA GPU。
AWS 正为 Anthropic 扩建多吉瓦级 AI 训练基础设施，三个接近完工的园区合计拥有逾 1.3GW IT 容量，最大园区将部署近百万颗 Trainium2。Trainium2 的多项性能落后于 NVIDIA 系统，但在单位内存带宽总拥有成本上具有优势，契合 Anthropic 侧重强化学习和训练后扩展的路线。Anthropic 还深度参与 Trainium 的系统设计，同时继续使用 Google TPU 和 NVIDIA GPU。 · AWS is expanding multi-gigawatt AI training infrastructure for Anthropic, with three nearly completed campuses providing more than 1.3GW of IT capacity and the largest campus set to deploy nearly one million Trainium2 chips. Although Trainium2 trails NVIDIA systems on severa
匹配字段摘要、正文
微软 AI 发布首个高表现力语音生成模型 MAI-Voice-1，已在 Copilot Daily 和 Podcasts 中上线，并在 Copilot Labs 提供体验；该模型可在单张 GPU 上不到一秒生成一分钟音频。同时，微软 AI 首个端到端训练的基础模型 MAI-1-preview 已在 LMArena 开启公开测试，这是一个在约 15,000 块 NVIDIA H100 GPU 上完成预训练和后训练的 MoE 模型，未来数周将逐步用于 Copilot 的部分文本场景。
匹配字段摘要、正文
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 `--cpu-offload-gb 16`，遇到 flash_infer 问题可暂用 `VLLM_ATTENTION_BACKEND=XFORMERS`。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 --cpu-offload-gb 16 ，遇到 flash infer 问题可暂用 VLLM ATTENTION BACKEND=XFORMERS 。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。
匹配字段摘要、正文
vLLM 现已支持在 NVIDIA Blackwell、Hopper 以及 AMD MI300x、MI355x GPU 上运行 gpt-oss。其针对 MXFP4 MoE、高效注意力和混合 KV cache 集成了专用内核与内存管理方案，并通过 OpenAI Responses API、gpt-oss toolkit 或外部 MCP 工具服务器支持工具调用。
匹配字段摘要、正文
Mistral AI 宣布推出 Mistral Compute，为客户提供涵盖 GPU、编排、API、产品和服务的私有一体化 AI 基础设施，形态从裸金属服务器到全托管 PaaS。该服务支持训练和部署各类 AI 工作负载，并将提供 Mistral AI 训练套件及最新 NVIDIA 参考架构，规划供应数万块 GPU。其强调数据主权、欧洲法规合规与使用脱碳能源，并继续通过合作伙伴提供本地部署和全球云服务。
Mistral AI 宣布推出 Mistral Compute，为客户提供涵盖 GPU、编排、API、产品和服务的私有一体化 AI 基础设施，形态从裸金属服务器到全托管 PaaS。该服务支持训练和部署各类 AI 工作负载，并将提供 Mistral AI 训练套件及最新 NVIDIA 参考架构，规划供应数万块 GPU。其强调数据主权、欧洲法规合规与使用脱碳能源，并继续通过合作伙伴提供本地部署和全球云服务。 · Mistral AI announced Mistral Compute, a private, integrated AI infrastructure offering spanning GPUs, orchestration, APIs, products, and services in configurations ranging from bare-metal servers to fully managed PaaS. It supports training and serving AI workloads and will offer Mistral AI’s t
匹配字段摘要、正文
Ollama 发布 Secure Minions，把本地 Ollama 模型与云端前沿模型的协作通信做成端到端加密，连云服务商也无法读取明文。该协议基于 NVIDIA Hopper H100 的机密计算模式，通过远程证明建立安全飞地，本地消息加密后送入 GPU 飞地解密处理，输出再加密返回。在约 8k token 长提示和 Qwen-32B 等大模型下，额外延迟低于 1%，并提供了 streamlit 交互演示和 Python 调用示例。
匹配字段摘要、正文
Mistral AI 发布 Mistral Small 3.1，提升文本性能和多模态理解，将上下文窗口扩展至 128k tokens，推理速度达每秒 150 tokens。该模型采用 Apache 2.0 许可证，基础版和指令版均已开放，可在单张 RTX 4090 或配备 32GB RAM 的 Mac 上运行。用户现可通过 La Plateforme API 和 Google Cloud Vertex AI 使用，NVIDIA NIM 与 Microsoft Azure AI Foundry 将在未来几周提供。
.1，提升文本性能和多模态理解，将上下文窗口扩展至 128k tokens，推理速度达每秒 150 tokens。该模型采用 Apache 2.0 许可证，基础版和指令版均已开放，可在单张 RTX 4090 或配备 32GB RAM 的 Mac 上运行。用户现可通过 La Plateforme API 和 Google Cloud Vertex AI 使用，NVIDIA NIM 与 Microsoft Azure AI Foundry 将在未来几周提供。 · Mistral AI released Mistral Small 3.1 with improved text performance and multimodal understanding, a context window of up to 128k tokens, and inference speeds of 150 tokens per second. Licensed under Apache 2.0, it is available in both base and instruct checkpoints an
匹配字段摘要、正文
Cartesia 发布 Llamba-1B、3B、8B 模型，采用 MOHAWK 架构蒸馏方法将 Llama-3.X 转换为 Mamba-2 架构，训练数据量比从头预训练少 1000 倍。Llamba-8B 在 NVIDIA H100 上生成 8192 tokens 时吞吐量比 Llama-3.1-8B 高 12 倍，并已针对 Apple Silicon 和 MLX 框架优化。
匹配字段摘要、正文
vLLM 发布 V1 Alpha，通过重构调度器、KV cache 管理器、Worker、采样器和 API 服务器，将吞吐量较 V0 提升至多 1.7x。V1 默认启用低开销前缀缓存，增强多模态模型支持，并可通过设置 `VLLM_USE_V1=1` 在不修改现有 API 的情况下启用。当前版本仅支持 Ampere 或更新的 NVIDIA GPU，尚不支持 LoRA、结构化解码、推测解码和流水线并行等功能。
vLLM 发布 V1 Alpha，通过重构调度器、KV cache 管理器、Worker、采样器和 API 服务器，将吞吐量较 V0 提升至多 1.7x。V1 默认启用低开销前缀缓存，增强多模态模型支持，并可通过设置 VLLM USE V1=1 在不修改现有 API 的情况下启用。当前版本仅支持 Ampere 或更新的 NVIDIA GPU，尚不支持 LoRA、结构化解码、推测解码和流水线并行等功能。
匹配字段摘要、正文
Zyphra 为 AMD Instinct MI300X 编写并优化了 Flash Attention v2 与 Mamba2 的反向内核，使其在训练场景下首次超越 NVIDIA H100。FA2 反向内核在 2k、4k、8k 序列长度上分别比 H100 快 1%、2%、4%，从而让稠密/MoE Transformer 等注意力模型可在 MI300X 上高效训练并达到高 MFU。
匹配字段摘要、正文
Zephra 发文讨论在 iPhone 15 Pro 和 NVIDIA Jetson Orin 等边缘设备上部署大语言模型的关键因素，指出内存带宽是核心瓶颈，并提出量化、低秩适配器和实时参数卸载等技术来高效利用本地硬件。其 Zamba 系列模型采用参数共享设计，以降低内存占用和生成下一个 token 所需的 FLOP，从而降低延迟、提升吞吐。
匹配字段摘要、正文
Ollama 在 Windows 上推出预览版，可在原生 Windows 环境中拉取、运行和创建大语言模型。该版本内置 GPU 加速，支持 NVIDIA GPU 以及 AVX、AVX2 等 CPU 指令集，无需配置或虚拟化；同时提供完整模型库（含 LLaVA 1.6 等视觉模型，图片可拖入 ollama run）和后台运行的 Ollama API（http://localhost:11434），并保持与其他平台一致的 OpenAI 兼容性。
匹配字段摘要、正文
Ollama 成为 Docker 官方赞助的开源镜像，用户可在 Docker 容器中运行大语言模型，所有交互在本地完成，不向第三方服务发送私有数据。在 Linux 上，Ollama 可在容器内借助 Nvidia GPU 加速运行，需先安装 Nvidia container toolkit；在 Mac 上则需以独立应用方式运行，因为 Docker Desktop 不支持 GPU。容器内可直接运行 Llama 2 等模型，更多模型见 Ollama library。
匹配字段摘要、正文
NVIDIA发布AI Factory Operations Agent,用于自家DGX SuperPOD运维。该框架通过多个领域子智能体协同,在计算、网络、硬件和调度层之间定位根因,并通过聊天界面给出建议。框架基于NVIDIA NemoClaw blueprint和OpenShell构建,完全本地部署,推理使用本地NVIDIA Nemotron开源模型,运行在DGX H100、DGX B200和DGX GB300生产集群上。框架包含Job Recovery、Hardware、Observability、Research、Kubernetes和Cluster Management等子智能体,并集成web搜索、代码执行和Grafana看板等MCP工具,开发者示例与开源代码已开放。
匹配字段标题
NVIDIA发布AI Factory Operations Agent,用于自家DGX SuperPOD运维。该框架通过多个领域子智能体协同,在计算、网络、硬件和调度层之间定位根因,并通过聊天界面给出建议。框架基于NVIDIA NemoClaw blueprint和OpenShell构建,完全本地部署,推理使用本地NVIDIA Nemotron开源模型,运行在DGX H100、DGX B200和DGX GB300生产集群上。框架包含Job Recovery、Hardware、Observability、Research、Kubernetes和Cluster Management等子智能体,并集成web搜索、代码执行和Grafana看板等MCP工具,开发者示例与开源代码已开放。
匹配字段标题
2026年11月3日,NVIDIA宣布与合作伙伴在全球扩展面向城市的物理AI与智能体服务,覆盖居民协助、交通管理、城市规划和工业运营,并让地方政府继续掌控敏感数据的处理与使用。该组合以共享计算基础设施、AI智能体和数字孪生为基础,城市团队可用NVIDIA RTX工作站或小型GPU系统起步。报道提到,ITMAX的SamurAI V2视觉智能体计划到2027年支持超过17,000路摄像头,基于TeraSim的信号配时测试使高峰时段走廊通行时间最多缩短26%。11月4日,LiveX AI发布AI City真人大小AI虚拟人导览亭,已在超过100个站点部署,平台运行在Nvidia RTX Pro 6000 Blackwell Server Edition GPU上,基于Metropolis VSS Blueprint与Cosmos构建视觉AI智能体。同日,Linker Vision在2026巴塞罗那智慧城市博览会上发布Linker AI Nexa平台,融合3DGS、数字孪生与AI Agent,并整合英伟达Metropolis、Cosmos、Omniverse及Nemotron等技术。
匹配字段标题
2026年11月3日,NVIDIA宣布与合作伙伴在全球扩展面向城市的物理AI与智能体服务,覆盖居民协助、交通管理、城市规划和工业运营,并让地方政府继续掌控敏感数据的处理与使用。该组合以共享计算基础设施、AI智能体和数字孪生为基础,城市团队可用NVIDIA RTX工作站或小型GPU系统起步。报道提到,ITMAX的SamurAI V2视觉智能体计划到2027年支持超过17,000路摄像头,基于TeraSim的信号配时测试使高峰时段走廊通行时间最多缩短26%。11月4日,LiveX AI发布AI City真人大小AI虚拟人导览亭,已在超过100个站点部署,平台运行在Nvidia RTX Pro 6000 Blackwell Server Edition GPU上,基于Metropolis VSS Blueprint与Cosmos构建视觉AI智能体。同日,Linker Vision在2026巴塞罗那智慧城市博览会上发布Linker AI Nexa平台,融合3DGS、数字孪生与AI Agent,并整合英伟达Metropolis、Cosmos、Omniverse及Nemotron等技术。
匹配字段标题