llama.cpp 最近在其投机解码武器库中新增了 DFlash 支持。连同 MTP、Eagle3 以及各种基于 ngram 的技术，本地模型性能再上一个台阶。 特别感谢 NVIDIA 团队，尤其是 Ruixiang Wang 主导了这项工作！
llama.cpp 最近在其投机解码武器库中新增了 DFlash 支持。连同 MTP、Eagle3 以及各种基于 ngram 的技术，本地模型性能再上一个台阶。 特别感谢 NVIDIA 团队，尤其是 Ruixiang Wang 主导了这项工作！
匹配字段摘要、正文
Prime Intellect 宣布完成 1.3 亿美元 A 轮融资，由 Radical Ventures 领投，NVIDIA Ventures、Intel Capital、Dell Technologies Capital 及现有投资方参投，累计融资超过 1.5 亿美元。公司称其开源超级智能栈覆盖计算、大规模 RL、环境、沙箱、评测与部署，客户超过 6000 家，年化收入已超过 1 亿美元。文中提到 Ramp 用其后训练栈训练的 35B 模型在表格搜索任务上超过 Opus，速度比 Haiku 快 27% 且成本更低。
匹配字段摘要、正文
Microsoft 与 Hugging Face 将经过许可与安全审查的数千个开放模型引入 Foundry Model Catalog，目前以预览版提供，并每周更新。模型可通过统一端点部署到配备 NVIDIA A100、H100 或 AMD MI300X 的 Managed Compute，运行时升级和 CVE 修补由平台自动完成；后续将扩展模型与加速器覆盖，并支持 Bring Your Own Weights。
Microsoft 与 Hugging Face 将经过许可与安全审查的数千个开放模型引入 Foundry Model Catalog，目前以预览版提供，并每周更新。模型可通过统一端点部署到配备 NVIDIA A100、H100 或 AMD MI300X 的 Managed Compute，运行时升级和 CVE 修补由平台自动完成；后续将扩展模型与加速器覆盖，并支持 Bring Your Own Weights。 · Microsoft and Hugging Face have brought thousands of license- and security-screened open models to the Foundry Model Catalog in preview, with weekly updates. The models can be deployed through a unified endpoint on Managed Compute using NVIDIA A100, H100, or AMD MI300X accelerators, with
匹配字段摘要、正文
Sakana AI 联合创始人伊藤錬（Ren Ito）就任联合国「AI for Good」全球委员会创始委员。该委员会由约 40 名政府、产业界与国际组织领袖组成，由 Salesforce 董事长马克·贝尼奥夫担任联合主席，成员还包括 NVIDIA CEO 黄仁勋、Pfizer 董事长阿尔伯特·布尔拉和 Reliance Industries 董事长穆克什·安巴尼。委员会创会会议将于 7 月 8 日在日内瓦举行，聚焦 AI 可信性、治理与社会落地。
匹配字段摘要、正文
Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。
Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。 · Hugging Face and Cerebras built an open, modular real-time speech-to-speech pipeline using Nvidia Parakeet for speech recognition, Google DeepMind’s Gemma 4 31B running on Cerebras, and Alibaba’s Qwen3TTS for spoken responses. Cerebras is intended to reduce a
匹配字段摘要、正文
Together AI 宣布完成 8 亿美元 C 轮融资，投资方包括 NVIDIA、Aramco Ventures、Vista Equity、General Catalyst 等，并额外锁定超过 500 MW 算力容量。其平台客户涵盖 Cursor、Eleven Labs、Suno、Cognition、Decagon 等，使用 DeepSeek、Nemotron、MiniMax、Kimi、GLM 等开源权重模型可实现 6x 至 20x 的成本降低，Decagon 迁移后推理成本下降六倍。
匹配字段摘要、正文
Interconnects 第 22 期开源模型盘点指出，开源模型生态正从少数中国厂商主导走向多元，作者把发布方分为纯模型厂商、大科技公司和产品公司三类。本期收录 NVIDIA Nemotron-3-Ultra-550B-A55B-BF16、Cohere 以 Apache 2.0 发布的 Command A+（218B-A25B MoE）、GLM-5.2、Zyphra 的 ZAYA1-74B-preview、Poolside 的 Laguna-M.1 等模型。作者认为开源模型开发并非由单一类型参与者驱动，这种多样性正是开源生态的优势之一。
匹配字段摘要、正文
Arm 认为，随着智能体 AI 部署在云和企业环境扩张，CPU 正成为整个系统的控制平面，负责数据在存储、内存与加速器之间的协调搬运、工作负载安全隔离以及分布式调度。Arm 与 Meta 合作打造的 Arm AGI CPU 基于 Arm Neoverse V3 平台，面向机架级密度和机密计算等需求。AWS Graviton、Google Axion、Azure Cobalt 以及 NVIDIA Grace Hopper、Grace Blackwell 和 Vera Rubin NVL72 均采用 Arm Neoverse CPU 设计。
匹配字段摘要、正文
Epoch AI 梳理 DeepSeek、MiniMax、Moonshot、Z.ai、字节跳动和阿里巴巴六家中国 AI 公司的 1604 份招聘启事，发现它们仍依赖 Nvidia CUDA 与 TensorRT-LLM，同时探索昇腾、寒武纪等国产芯片。Z.ai 称其 GLM-Image 已在国产芯片上完成端到端训练，该模型有 160 亿参数。MiniMax、DeepSeek、Moonshot 等初创公司还在自建数据中心，并采用公有云与自建算力混合部署。
匹配字段摘要、正文
HPE 用 GreenLake Intelligence 智能体框架和与 Nvidia 合作的 Private Cloud AI 在本地搭建 AI 优先支持平台，将成本降低逾 30 倍，每月节省近 10 万美元。其 CTO Fidelma Russo 称，智能体让推理变成持续运营负载，每次推理、验证和行动都消耗 token，HPE 由此从 AI 消费者变为智能生产者。Signal65 数据显示，智能体消耗的 token 是普通 AI 对话的 4 至 15 倍。
匹配字段摘要、正文
Prime Intellect 发布 prime-rl 0.6.0，可在重智能体负载下训练万亿参数规模模型，并称能在 28 个 H200 节点上以最高 131k 序列长度训练 GLM-5 完成 SWE 任务，步时间低于 5 分钟、批量 256 条 rollout。该版本采用异步 RL，将训练与推理解耦，并给出 FP8 推理、Wide EP、P/D 分离、KV cache 分层卸载、router replay 以及 FSDP、EP、CP 三维并行等优化细节。这些优化同样适用于 Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 等其他大型 MoE 模型。
匹配字段摘要、正文
Tensordyne 公布其 Napier AI 推理引擎架构，核心思路是把数据转成对数后用加法替代矩阵乘法，官方称相比 Nvidia 和 AWS 的混合架构性能提升一个数量级以上，价格与功耗更低。Napier 采用 3nm 工艺、1380 亿晶体管，支持 NVFP4、FP8、FP16，FP8 稠密算力 2.1 petaflops，配备 144 GB HBM4 和 256 MB SRAM，单芯片功耗 300 瓦，对比 B300 GPU 的 1200 瓦。公司计划 2026 年底开放云端访问，2027 年第一季度向客户交付 beta 版 TDN Pod 系统，2027 年第二季度末开始出货。
匹配字段摘要、正文
Ollama 更新 MLX 引擎，称这是其在 Apple Silicon 上的最高性能表现，模型响应更快、占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式，在 Gemma 4 12B 上相比 q4_K_M 约将量化质量损失减半，同时通过 Metal kernel 融合等优化使输出速度最高提升 20%。此外新增快照系统，为多智能体、思考型模型和分支重试保存模型状态，避免重复处理相同上下文。
Ollama 更新 MLX 引擎，称这是其在 Apple Silicon 上的最高性能表现，模型响应更快、占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式，在 Gemma 4 12B 上相比 q4 K M 约将量化质量损失减半，同时通过 Metal kernel 融合等优化使输出速度最高提升 20%。此外新增快照系统，为多智能体、思考型模型和分支重试保存模型状态，避免重复处理相同上下文。
匹配字段摘要、正文
LG AI Research 发文梳理机器人基础模型（RFM）的两条技术路线：一是直接把视觉与文本输入映射为机器人动作的 VLA 模型，二是同时预测未来环境变化的世界模型（World Action Model）。文中列举 Gemini Robotics、NVIDIA GR00T N1、Figure AI Helix、Physical Intelligence π0 系列和 RLWRLD 的 RLDX-1 等代表工作，并指出跨本体泛化与多本体数据联合训练仍是核心挑战。
匹配字段摘要、正文
LMSYS 宣布 2026 年博士奖学金首位获得者 Will Lin，奖金最高 5 万美元，用于支持其学费与相关费用。Will Lin 是 UC San Diego Hao AI Lab 六年级博士生，主导开源扩散生成与后训练加速框架 FastVideo，该项目 GitHub 星标已超 3.7k，并作为后端集成进 NVIDIA Dynamo。
匹配字段摘要、正文
llama.cpp 维护者与 NVIDIA 工程师合作数月，改进了 ggml 的多 GPU 性能，在 RTX 系统上取得显著性能提升，并为 ggml 的硬件无关张量并行打下基础。更多细节见 NVIDIA RTX Spark 的技术博客。
匹配字段摘要、正文
Prime Intellect 宣布其托管后训练平台 Lab 对 NVIDIA Nemotron 3 Ultra 提供 day-0 支持，可在 Blackwell B200/B300 上做托管 RL 训练，配合 vLLM 推理、NCCL 权重广播和 Prime-RL 训练器。平台提供 Environments Hub 中 2,500+ 个开放 RL 环境，并支持 SWE-bench Verified、BrowseComp、τ²-Bench Telecom、Terminal-Bench Hard、IFBench、AA-LCR、GPQA Diamond、RULER-1M 等评测，以及 LoRA 与全权重适配器的一键推理。文中称 Ramp 用 Lab 后训练 35B 检索子智能体 FastAsk，在自有财务表格工作流上达到 66.25% 精确匹配，高于 Claude Opus 4.6 的 61.88%。
匹配字段摘要、正文
Together AI 优化 ASR 全链路，使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音，并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll，解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后，约 200 ms 的 p95 延迟尖峰也随之消失。
Together AI 优化 ASR 全链路，使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音，并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll，解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后，约 200 ms 的 p95 延迟尖峰也随之消失。 · Together AI optimized its full ASR serving path, enabling NVIDIA Parakeet-TDT 0.6B v3 to transcribe roughly 20 hours of speech in under 10 seconds; together with OpenAI Whisper Large v3, it ranks among the two lowest-latency models on Arti
匹配字段摘要、正文
Epoch AI 建模全球 Nvidia GB200 与 GB300 芯片的推理吞吐，估算在服务 Kimi K2.6 类模型时，全球每秒可产出 5 亿至 200 亿个输出 token，具体取决于请求上下文长度。研究同时指出全球推理算力每年增长约 3.4 倍，而 token 需求按现有代理指标估算每年增长约 10 倍，可能已超过供给增速。若趋势延续，算力紧张可能临近，长上下文和智能体类工作负载受影响更明显，前沿能力访问价格或上升，日常用户则可能转向更小更便宜的模型。
匹配字段摘要、正文
Cohere 开源发布 Command A+，这是一款面向企业智能体任务、支持私有部署的 MoE 模型，采用 Apache 2.0 许可证，提供 218B 总参数和 25B 激活参数。该模型支持 48 种语言，并提供 BF16、FP8 和 W4A4 量化版本，最低可在两块 NVIDIA H100 或一块 NVIDIA Blackwell GPU 上运行。模型权重已上线 Hugging Face，也可通过 Model Vault、Cohere Space 或 API 使用。
匹配字段摘要、正文