2026年8月7日,蚂蚁百灵正式开源新一代原生混合推理模型Ling-3.0-flash。据蚂蚁百灵开发者博客介绍,该模型采用124B总参数、5.1B激活参数的MoE架构,同步提供基础版本及FP8、FP4、INT4等多个精度版本。落地方式包括三种:云端API调用;在单台NVIDIA DGX Spark上以MXFP4或INT4版本完成端到端本地推理;以及在指定GPU测试配置下平均输出速率突破1100 tokens/s的高性能部署。榜单数据方面,其在Artificial Analysis中输出速度为353 tokens/s,在AA Intelligence Index中每项任务加权平均调用成本约0.04美元。目前尚无后续发展事实。
匹配字段摘要
2026年7月15日,Thinking Machines Lab发布原生多模态开放权重模型Inkling。据Hugging Face介绍,Inkling原生接收文本、图像和音频,为MoE架构,拥有975B总参数、41B激活参数和1M上下文窗口,bf16与NVFP4检查点分别需要2TB和600GB显存,已获Transformers、SGLang、vLLM和llama.cpp支持。同日,Modal官方工程博客称Inkling以Day 0合作上线Modal按token计费的托管端点,并为其定制DFlash推测解码器,在8x B200智能体负载上实现每用户250 tokens/s、每GPU 2.5M TPM,交互性比模型内置推测路径快67%。同日,LMSYS Blog称LMSYS与Thinking Machines团队合作,为Inkling在SGLang和Miles上提供Day-0支持,SGLang针对其MoE架构优化,在Nvidia Blackwell GPU上实现最高71.7k tok/s输入吞吐和171.0 tok/s单用户解码速度,Miles通过定制Megatron后端支持全参数与Lo
匹配字段摘要
腾讯混元于2026年7月31日为Hy-MT2-30B-A3B发布GGUF格式,回应社区最迫切的本地部署需求,让本地推理更简单。自5月开源以来,Hy-MT2累计下载量超70万次,其中Hy-MT2-1.8B登上Hugging Face trending第1,30B-A3B位列第4,并已有70多个产品与项目集成。该系列还获得Apple MLX-LM、微软ONNX Runtime、NVIDIA NeMo、LLaMA-Factory等生态支持,并落地Bilibili直播评论实时多语言翻译。
匹配字段摘要
2026年7月29日,Together AI发布并开源智能体推理调度系统ThunderAgent。该系统由Together AI联合佐治亚理工、UIUC和CMU提出,将每个智能体工作流抽象为可调度程序,以程序级调度缓解KV cache thrashing,在合成数据生成流水线中实现最高2.5倍单节点吞吐提升。据官方介绍,在单台8×H100节点、batch size 192下,SGLang吞吐降至390 token/s、平均延迟65s,ThunderAgent达到803 token/s、平均延迟10.6s;8节点集群上相对SGLang Gateway加速2.39倍,从16到64 GPU吞吐近线性扩展。该工作已被ICML 2026接收为Spotlight论文,代码开源,客户端只需增加一个program_id字段,并已被SkyRL和NVIDIA Dynamo采用。目前尚无后续发展事实。
2026年7月29日,Together AI发布并开源智能体推理调度系统ThunderAgent。该系统由Together AI联合佐治亚理工、UIUC和CMU提出,将每个智能体工作流抽象为可调度程序,以程序级调度缓解KV cache thrashing,在合成数据生成流水线中实现最高2.5倍单节点吞吐提升。据官方介绍,在单台8×H100节点、batch size 192下,SGLang吞吐降至390 token/s、平均延迟65s,ThunderAgent达到803 token/s、平均延迟10.6s;8节点集群上相对SGLang Gateway加速2.39倍,从16到64 GPU吞吐近线性扩展。该工作已被ICML 2026接收为Spotlight论文,代码开源,客户端只需增加一个program id字段,并已被SkyRL和NVIDIA Dynamo采用。目前尚无后续发展事实。
匹配字段摘要
2026年7月24日,StepFun(阶跃星辰)就黄仁勋关于开源模型的公开信作出回应。7月25日,阶跃星辰发布表态,称开源模型正成为AI创新的关键驱动力,很高兴看到NVIDIA公开支持这一愿景,并期待下一代AI构建者创造出什么。7月28日,Andrew Ng(吴恩达)评价称,Nvidia的公开信写得好、值得一读,并提到开放模型和工具是防御所需,认为闭源模型更安全的说法只是监管俘获。目前该话题已获得来自模型厂商与业界人士的公开回应与评价。
匹配字段摘要
2026年7月16日,xAI发布Grok 4.5模型,称其为最强模型,专为编码、智能体任务和知识工作打造,并与Cursor联合训练。据xAI News报道,该模型在Datacurve的DeepSWE基准上得分62.0%,高于Opus 4.8的55.75%,低于Fable的66.1%和GPT 5.5的64.31%。模型在数万块NVIDIA GB300 GPU上训练,推理速度80 TPS,定价为每百万输入token 2美元、每百万输出token 6美元,并已成为Grok Build的默认模型。目前尚无后续发展事实。
匹配字段摘要
llama.cpp 近期在其投机解码方案中新增了 DFlash 支持。此前该项目已集成 MTP、Eagle3 以及多种基于 ngram 的技术,此次新增进一步扩充了其投机解码武器库,据称使本地模型性能再上一个台阶。相关工作由 NVIDIA 团队主导,其中 Ruixiang Wang 为主要推动者,项目方对此表示感谢。目前该支持已随 llama.cpp 更新落地。
匹配字段摘要
2026年7月8日,Prime Intellect宣布完成1.3亿美元A轮融资,由Radical Ventures领投,NVIDIA Ventures、Intel Capital、Dell Technologies Capital及现有投资方参投,累计融资超过1.5亿美元。公司称其开源超级智能栈覆盖计算、大规模强化学习、环境、沙箱、评测与部署,客户超过6000家,年化收入已超过1亿美元。文中还提到,Ramp使用其后训练栈训练的35B模型在表格搜索任务上超过Opus,速度比Haiku快27%且成本更低。
匹配字段摘要
2026年7月1日,Air Street Press与Zeta Alpha更新了State of AI Report Compute Index至第六版。该指数显示,2026年预计统计到49,339次芯片引用,其中NVIDIA占44,715次,约91%。已追踪的Hopper部署量达460,904块GPU,而Grace-Blackwell项目仍以安装和宣布阶段为主。已披露合约中,OpenAI的26 GW算力包含16 GW非NVIDIA方案,反映前沿实验室正在组合多家芯片供应商。
匹配字段摘要
2026年5月20日,Cohere发布并开源Command A+混合专家模型。据Cohere产品与研究博客,该模型面向企业智能体任务、支持私有部署,采用Apache 2.0许可证,提供218B总参数和25B激活参数,支持48种语言,并提供BF16、FP8和W4A4量化版本,最低可在两块NVIDIA H100或一块NVIDIA Blackwell GPU上运行。模型权重已上线Hugging Face,也可通过Model Vault、Cohere Space或API使用。目前没有后续有证据的发展。
匹配字段摘要
2026年6月22日,Prime Intellect发布prime-rl 0.6.0版本。该版本面向重智能体负载,支持训练万亿参数规模模型,采用异步强化学习,将训练与推理解耦。官方称其能在28个H200节点上以最高131k序列长度训练GLM-5完成SWE任务,步时间低于5分钟,批量256条rollout。版本还包含FP8推理、Wide EP、P/D分离、KV cache分层卸载、router replay以及FSDP、EP、CP三维并行等优化细节,并称这些优化同样适用于Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16等其他大型MoE模型。
匹配字段摘要
2026年6月18日,Physical Intelligence发布一项研究,与NVIDIA合作,完全在世界模型内评估机器人策略。据其介绍,策略采取行动,模型想象后果,而想象出的评估能够预测真实世界结果,并提供了真实与世界模型rollout的并排对比。该模型还具备不确定性估计,能够追踪生成结果偏离现实的程度,从而判断何时不应信任自身输出。目前该研究处于发布阶段,尚无后续发展事实。
匹配字段摘要
Jensen Huang 分享 NVIDIA签署的开放模型倡议信
English translation is being prepared.
匹配字段摘要
2026年7月24日,微软AI公布面向智能体工作负载的MAI模型在GitHub Copilot和Excel中的部署情况。据微软AI Blog介绍,MAI-Code-1-Flash自6月在GitHub Copilot上线以来已有数百万开发者使用,在VS Code中代码接受率比GPT 5.4 Mini和Claude Haiku 4.5高约10%,中位token用量低10%。在Excel中,基于该checkpoint继续强化学习得到的模型在常见任务上质量与GPT-5.6相当,且可运行在Nvidia H100和A100上,降低部署成本。微软表示正将这一方法扩展到Copilot Chat、Outlook、PowerPoint等产品。目前尚无后续独立发展事实。
匹配字段摘要
2026年7月18日,LMSYS 在 Miles 中实现了 On-Policy Distillation(OPD),支持纯蒸馏与结合 GRPO/PPO 的 RL 增强蒸馏两种模式,并新增稀疏学生到教师打分流程以避免稠密 logprob 负载。据 LMSYS Blog 同日发布的信息,团队在单台 8×NVIDIA B200 节点上用 Qwen3.5-35B-A3B 做自蒸馏实验:教师经 RLVR 训练后推理更短,学生为 RL 前基座,任务奖励设为零,仅用 top-1 学生-教师 reverse-KL 训练。结果显示,OPD 能在不损失性能的前提下将教师的短推理行为迁移给学生。目前尚无后续发展事实。
匹配字段摘要
2026年7月3日,Sakana AI 联合创始人伊藤錬(Ren Ito)就任联合国「AI for Good」全球委员会创始委员。据 Sakana AI 官方博客介绍,该委员会由约40名政府、产业界与国际组织领袖组成,Salesforce 董事长马克·贝尼奥夫担任联合主席,成员还包括 NVIDIA CEO 黄仁勋、Pfizer 董事长阿尔伯特·布尔拉和 Reliance Industries 董事长穆克什·安巴尼。委员会创会会议定于7月8日在日内瓦举行,聚焦 AI 可信性、治理与社会落地。目前尚无进一步有证据支持的发展。
匹配字段摘要
2026年6月24日,Epoch AI发布分析,梳理了DeepSeek、MiniMax、Moonshot、Z.ai、字节跳动和阿里巴巴六家中国AI公司的1604份招聘启事。分析发现,这些公司仍依赖Nvidia CUDA与TensorRT-LLM,同时探索昇腾、寒武纪等国产芯片。其中,Z.ai称其GLM-Image已在国产芯片上完成端到端训练,该模型有160亿参数。MiniMax、DeepSeek、Moonshot等初创公司还在自建数据中心,并采用公有云与自建算力混合部署。目前尚无后续发展。
匹配字段摘要
2026年6月11日,Ollama 更新其 MLX 引擎,新增对 NVIDIA NVFP4 格式的支持。据 Ollama Blog 当日发布的信息,该引擎被称为其在 Apple Silicon 上的最高性能表现,模型响应更快、占用内存更少。在 Gemma 4 12B 上,相比 q4_K_M,新格式约将量化质量损失减半;同时通过 Metal kernel 融合等优化,输出速度最高提升 20%。此外,本次更新新增快照系统,可为多智能体、思考型模型和分支重试保存模型状态,避免重复处理相同上下文。目前该更新已随官方博客发布,暂无后续发展事实。
2026年6月11日,Ollama 更新其 MLX 引擎,新增对 NVIDIA NVFP4 格式的支持。据 Ollama Blog 当日发布的信息,该引擎被称为其在 Apple Silicon 上的最高性能表现,模型响应更快、占用内存更少。在 Gemma 4 12B 上,相比 q4 K M,新格式约将量化质量损失减半;同时通过 Metal kernel 融合等优化,输出速度最高提升 20%。此外,本次更新新增快照系统,可为多智能体、思考型模型和分支重试保存模型状态,避免重复处理相同上下文。目前该更新已随官方博客发布,暂无后续发展事实。
匹配字段摘要
2026 年 6 月 5 日,Ollama 发布 0.30 版本。据 Ollama Blog 介绍,该版本通过 llama.cpp 增强 GGUF 模型兼容性,并补充 Apple silicon 上的 MLX 引擎;NVIDIA 硬件性能最高提升 20%,实测使用 Gemma 4 26B 模型在 NVIDIA RTX 5090 上以 Q4_K_M 量化运行。Vulkan 现默认启用,将 GPU 加速扩展至 AMD 和 Intel 设备。此外,新版本新增对 LFM、Prism 及 Unsloth 微调模型的支持,并可直接运行 Hugging Face 上的 GGUF 模型。目前该故事尚无后续发展事实,状态为发布后的初始版本。
2026 年 6 月 5 日,Ollama 发布 0.30 版本。据 Ollama Blog 介绍,该版本通过 llama.cpp 增强 GGUF 模型兼容性,并补充 Apple silicon 上的 MLX 引擎;NVIDIA 硬件性能最高提升 20%,实测使用 Gemma 4 26B 模型在 NVIDIA RTX 5090 上以 Q4 K M 量化运行。Vulkan 现默认启用,将 GPU 加速扩展至 AMD 和 Intel 设备。此外,新版本新增对 LFM、Prism 及 Unsloth 微调模型的支持,并可直接运行 Hugging Face 上的 GGUF 模型。目前该故事尚无后续发展事实,状态为发布后的初始版本。
匹配字段摘要
Ollama 更新 MLX 引擎支持 NVIDIA NVFP4 格式
English translation is being prepared.
匹配字段摘要