2026年10月,Prime Intellect推出面向前沿开源模型的推理服务平台Prime Inference,提供无服务器端点和预留GPU容量,支持通过OpenAI SDK接入,并具备跨数据中心自动故障转移能力。据其官方发布,首个公开部署的GLM-5.3已于9月22日上线OpenRouter,工具调用错误率接近零、上线以来保持100%可用;服务栈结合NVIDIA Dynamo、vLLM、Mooncake和FlashInfer,采用预填充与解码分离部署,在GB200 NVL72上以1:4的P/D比例实现每组66个会话、每用户101 tok/s。另有报道称,该平台在公开发布前内部日均处理近一万亿token,负载来自RL rollout、合成数据生成、评测和长时间运行的编码智能体,测试中p90词元间延迟降低近40%。
匹配字段摘要
2026年10月2日,Tavus推出名为Griffin的Human Interaction Model,可在实时视频通话中同时接收和生成语音、面部表情、语气、手势与停顿。Tavus研究显示,48%的参与者在一次一分钟视频通话后认为Griffin是真人,此前系统最高为2%。在Tavus称为Nvidia独立测试的拟人度评分中,Griffin得3.83分,真人为3.92分,此前最佳AI模型为2.80分。名为Griffin-Lite的预览版已向部分测试者开放,能力更强的版本将在安全问题解决后推出。另一报道称,该模型目前仅向可信测试者开放,公开推出前将继续完善安全与披露功能。
匹配字段摘要
2026年9月30日,DeepSeek开源了面向昇腾AI芯片的基础组件。据X.PIN报道,这套昇腾工具包与其Nvidia组件一一对应,包括TileLang、DeepGEMM、DeepEP、TileKernels、FlashMLA和DeepSelect;DeepSeek称其训练中使用的每个TileLang kernel现在都有高性能昇腾实现,TileLang支撑了V4系列训练的大部分kernel。同一报道还称,DeepSeek与华为联合优化了128卡昇腾950超节点,关键计算与通信测试据称接近硬件极限。The Decoder同日报道称,DeepSeek与华为合作为昇腾芯片打造编程工具并全部开源,核心是北大研究人员开发、DeepSeek已使用约一年的TileLang语言,官方称其编程模型比CUDA更简单;双方还优化了由128颗昇腾950芯片组成的supernode,DeepSeek表示华为对这项工作给予了全面支持。目前尚无后续发展事实。
匹配字段摘要
2026年9月29日,Inception Labs发布扩散式推理语言模型Mercury 2,称其为全球最快的推理语言模型。该模型采用扩散式并行精炼而非自回归逐 token 解码,官方称生成速度提升超过5倍,在NVIDIA Blackwell GPU上达到1,009 tokens/sec。定价为每百万输入token 0.25美元、每百万输出token 0.75美元,支持可调推理、128K上下文、原生工具调用和schema对齐的JSON输出,并兼容OpenAI API,面向编码补全、智能体循环、实时语音和搜索RAG等延迟敏感场景,现已可用。同日,Inception Labs宣布Mercury 2上线Azure AI Foundry,目前在美国和加拿大区域提供。
匹配字段摘要
2026年9月24日,NVIDIA、Google DeepMind等研究机构联合公开发布2800多种病毒的预测蛋白复合物三维结构及BioNeMo结构预测流程。据NVIDIA Blog消息,NVIDIA加入由Google DeepMind、EMBL-EBI等组成的联盟,通过AlphaFold Database开放这些结构,供全球科学家免费使用。这些结构由AlphaFold2推断,并用NVIDIA BioNeMo Inference Runtime优化,以扩展到数千个病毒蛋白质组。NVIDIA同时开源生成该数据集的BioNeMo Structure Prediction Pipeline,其中约30%的蛋白相互作用此前未在Protein Data Bank中记录。目前尚无后续发展事实。
匹配字段摘要
2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND_MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。
2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。
匹配字段摘要
2026年9月17日,Unsloth发布Unsloth Docker镜像,用户可在本地训练和运行500+模型。据Unsloth官方说明,该镜像支持新的GUI或notebook工作流,无需额外配置,并兼容NVIDIA与AMD硬件。官方同时给出了使用指南和GitHub仓库链接。目前该事件尚无后续发展事实,状态停留在发布与官方说明阶段。
匹配字段摘要
2026年8月26日至27日,阿里发布Qwen3.8-Flash-Next模型权重。据Qwen Blog,该模型为多模态MoE架构,主模型125B参数、额外51B N-gram嵌入参数,每token激活6B,训练成本约为Qwen3.7-Plus的1/9,原生支持262,144 tokens上下文并可通过YaRN扩展至1,000,000 tokens。该模型是Qwen4架构的早期预览,在注意力、残差、嵌入和优化四方面升级,采用GDN+QSA混合注意力、Gated Residual、N-gram Embedding与Muon优化器,权重已在Hugging Face和ModelScope开放;生产版本以qwen3.8-flash名称在QwenCloud提供服务,默认1M上下文并内置官方工具,定价为每百万输入tokens 0.15美元、每百万输出tokens 0.47美元。NVIDIA方面称,其提供SGLang、vLLM和TensorRT LLM的Day 0功能支持,并在GB300 NVL72上验证推理,单GPU吞吐超过16K token/秒、单用户超过200 token/秒;开发者可用NVI
匹配字段摘要
2026年8月26日,OpenAI公布其首款自研推理芯片Jalapeño的基准测试结果。SemiAnalysis在OpenAI实验室用InferenceX实测,称该芯片在多个开源模型上的每兆瓦token吞吐超过NVIDIA Blackwell,在DeepSeek R1上并发1时达到每用户700 tokens/s以上,全程未使用投机解码。该芯片由OpenAI与Broadcom合作,2024年中启动设计,2025年11月完成CoWoS流片,采用HBM4、单封装15.4TB/s带宽,架构上不做prefill与decode分离。SemiAnalysis认为更公平的对手是同样使用HBM4的Rubin,两者每美元输出token数接近,但Jalapeño尚未启用投机解码,量产计划从2027年起逐步爬坡。后续IEEE Spectrum报道称,OpenAI于8月25日完整发布该芯片,提供最高13.4 petaflops的4-bit算力和232 GB内存,端到端延迟相比Nvidia GB300最多降低3.6倍。
匹配字段摘要
2026年8月24日,Artificial Analysis 对 NVIDIA Groq 3 LPX 进行基准测试。在 Gemma 4 31B、100K 上下文测试中,其输出速度中位数达到每秒3431个 Token;在 SPEED-Bench 上,中位速度为每秒4767个输出 Token,P80 为每秒5520个。材料称,其确定性执行、编译器调度芯片间通信,以及细粒度的计算与通信重叠,面向长上下文低延迟推理。
匹配字段摘要
2026年8月10日,Meta发布Muse Glimmer 30B开放权重稠密模型,面向本地AI智能体工作负载。据Hugging Face介绍,该模型由2B视觉编码器和28B文本解码器组成,支持图像、无音频视频、多模态工具调用和目标检测,并获得Transformers、llama.cpp及vLLM支持。NVIDIA方面称其上下文窗口120K+,可完整放入单卡显存,覆盖GeForce RTX 5090、DGX Spark、DGX Station和Jetson平台,权重已上线Hugging Face。同日,LMSYS宣布与Meta Superintelligence Labs合作,为Muse Glimmer在SGLang上提供Day-0支持,并针对本地智能体工作流推理优化。8月13日,Unsloth宣布可免费微调该模型,其notebook同时支持GRPO RL训练。
匹配字段摘要
2026年8月11日,Unsloth发布Unsloth Desktop,称其为首个可在本地运行和训练模型的桌面应用,已上线官网和GitHub。该应用开源,支持Mac、Windows和Linux,覆盖MLX、扩散图像/视频、音频、GGUF,可将Claude Code和Codex接入本地LLM,并支持CPU与多GPU环境(NVIDIA、AMD、Intel、Mac)。官方称训练速度提升2倍、显存占用减少70%,工具调用准确率提高50%并支持自愈与沙箱化代码执行,同时提供私有网页搜索、深度研究、RAG、MCP以及NVFP4、GGUF导出。次日,Unsloth公布2-bit NVIDIA Nemotron 3.5 Lightning工具调用实测结果:仅用22GB显存连续运行10分钟工具调用,引用80多个网站,执行了代码,并搜索了10个真实地点,可通过Unsloth Desktop运行和训练。
匹配字段摘要
2026年7月15日,Thinking Machines Lab发布原生多模态开放权重模型Inkling。据Hugging Face介绍,Inkling原生接收文本、图像和音频,为MoE架构,拥有975B总参数、41B激活参数和1M上下文窗口,bf16与NVFP4检查点分别需要2TB和600GB显存,已获Transformers、SGLang、vLLM和llama.cpp支持。同日,Modal官方工程博客称Inkling以Day 0合作上线Modal按token计费的托管端点,并为其定制DFlash推测解码器,在8x B200智能体负载上实现每用户250 tokens/s、每GPU 2.5M TPM,交互性比模型内置推测路径快67%。同日,LMSYS Blog称LMSYS与Thinking Machines团队合作,为Inkling在SGLang和Miles上提供Day-0支持,SGLang针对其MoE架构优化,在Nvidia Blackwell GPU上实现最高71.7k tok/s输入吞吐和171.0 tok/s单用户解码速度,Miles通过定制Megatron后端支持全参数与Lo
匹配字段摘要
2026年6月22日,Prime Intellect发布prime-rl 0.6.0版本。该版本面向重智能体负载,支持训练万亿参数规模模型,采用异步强化学习,将训练与推理解耦。官方称其能在28个H200节点上以最高131k序列长度训练GLM-5完成SWE任务,步时间低于5分钟,批量256条rollout。版本还包含FP8推理、Wide EP、P/D分离、KV cache分层卸载、router replay以及FSDP、EP、CP三维并行等优化细节,并称这些优化同样适用于Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16等其他大型MoE模型。
匹配字段摘要
NVIDIA、Google DeepMind等研究机构 公开发布 2800多种病毒的预测蛋白复合物三维结构及BioNeMo结构预测流程
English translation is being prepared.
匹配字段摘要
NVIDIA 在Dynamo-Triton 26.07中启用 TensorRT多设备推理能力
English translation is being prepared.
匹配字段摘要
2026 年 8 月 18 日,LMSYS 发布 Miles v0.1,定位为面向前沿模型后训练的全栈生产级系统,是首个 Miles 版本的后续。官方说明称,该系统把强化学习训练循环拆分为 SGLang 生成、训练器更新与权重同步三段,支持完全异步 RL、TITO 精确 token 记录、R3 路由重放,以及 NVFP4、MXFP8、FP8 等低精度训练配方。官方同时给出在 64 张 NVIDIA GB300 上训练 GLM-5.2 744B-A40B 终端任务的参考运行:稳定完成 100 步 rollout,单步训练约 4.5 分钟,前缀缓存命中率 96%。目前尚无该版本发布后的进一步有证据发展。
匹配字段摘要
2026年8月12日,SGLang 与 Miles 宣布在 Qwen3.8-2.4T-A95B 发布当天提供 Day-0 支持。据 LMSYS Blog 同日发布的信息,该模型总参数 2.4T、每 token 激活 95B,采用 69 层 GDN 线性注意力与 23 层 GQA 全注意力 3:1 交错的混合架构。团队与 Qwen、阿里百炼、NVIDIA、AMD 合作,Day-0 放出 NVFP4 量化检查点 RadixArk/Qwen3.8-2.4T-A95B-NVFP4,并在 B300 上以 TP8 实现 batch size 1 下 346 tok/s 的 MTP 解码。Miles 侧支持在原生 NVFP4 基座上进行 LoRA 协同训练,用 GRPO 在 GSM8K 上验证了奖励稳定与 train/rollout KL 平稳。目前尚无后续发展事实。
匹配字段摘要
2026年7月24日,微软AI公布面向智能体工作负载的MAI模型在GitHub Copilot和Excel中的部署情况。据微软AI Blog介绍,MAI-Code-1-Flash自6月在GitHub Copilot上线以来已有数百万开发者使用,在VS Code中代码接受率比GPT 5.4 Mini和Claude Haiku 4.5高约10%,中位token用量低10%。在Excel中,基于该checkpoint继续强化学习得到的模型在常见任务上质量与GPT-5.6相当,且可运行在Nvidia H100和A100上,降低部署成本。微软表示正将这一方法扩展到Copilot Chat、Outlook、PowerPoint等产品。目前尚无后续独立发展事实。
匹配字段摘要
2026年6月11日,Ollama 更新其 MLX 引擎,新增对 NVIDIA NVFP4 格式的支持。据 Ollama Blog 当日发布的信息,该引擎被称为其在 Apple Silicon 上的最高性能表现,模型响应更快、占用内存更少。在 Gemma 4 12B 上,相比 q4_K_M,新格式约将量化质量损失减半;同时通过 Metal kernel 融合等优化,输出速度最高提升 20%。此外,本次更新新增快照系统,可为多智能体、思考型模型和分支重试保存模型状态,避免重复处理相同上下文。目前该更新已随官方博客发布,暂无后续发展事实。
2026年6月11日,Ollama 更新其 MLX 引擎,新增对 NVIDIA NVFP4 格式的支持。据 Ollama Blog 当日发布的信息,该引擎被称为其在 Apple Silicon 上的最高性能表现,模型响应更快、占用内存更少。在 Gemma 4 12B 上,相比 q4 K M,新格式约将量化质量损失减半;同时通过 Metal kernel 融合等优化,输出速度最高提升 20%。此外,本次更新新增快照系统,可为多智能体、思考型模型和分支重试保存模型状态,避免重复处理相同上下文。目前该更新已随官方博客发布,暂无后续发展事实。
匹配字段摘要