搜索“推理”

NVIDIA Nemotron 3.5 Lightning 上线 Ollama

2026年8月11日,NVIDIA Nemotron 3.5 Lightning 在 Ollama 上线,可完全在本地设备运行。据 Ollama Blog 介绍,该模型为 30B 总参数、每 token 仅 3B 激活的开放模型,采用混合 MoE 架构,支持最高 1M token 上下文,面向读取文件、调用工具、整理结果和失败重试等持续运行的智能体任务;官方称其吞吐量比同类开放模型高 4 倍,任务完成时间快 30%,并针对 Apple silicon 提供 nemotron-3.5-lightning:30b-mlx 版本。同日,SGLang 宣布为该模型提供 Day-0 支持,开发者可通过其 OpenAI 兼容推理栈部署;据 LMSYS Blog 介绍,该模型从 Nemotron 3 Ultra 蒸馏而来,支持 MTP、DFlash、DSpark 三种投机解码,并可通过 enable_thinking 与 thinking_budget 控制推理开关和深度,权重已在 Hugging Face 提供 BF16 和 NVFP4 版本。

Sarvam AI 发布 Sarvam 105B 更新变体

2026年8月7日,Sarvam AI 在首届 Sarvam Epoch 上发布 Sarvam 105B 面向对话智能体与工作智能体的更新变体。据官方博客,该模型在自建印度对话生产基准上四项指标均领先 GPT 5.4 Mini 和 Gemini 3.5 Flash,混合 token 价格为每百万 0.80 美元,并已通过 Sarvam API 提供。同一发布还包含 Sarvam Vision 2.0、Saaras V4 语音识别模型和 Bulbul V4 语音合成研究预览,以及印度本地推理层 Sarvam Inference、自服务智能体平台 Indus(含 Voice Agents、Work Agents、Content Studio)、早期测试的 Sarvam Code、安全智能体 Sarvam Cyber 预览和 Mac 版语音应用 Kivi。目前尚无后续独立发展事实。

Modal 推出开源集成 modal-devin

2026 年 7 月 21 日,Modal 推出开源集成 modal-devin,使 Devin Outpost 会话运行在 Modal Sandbox 中。据 Modal 官方工程博客,Cognition 同日推出 Devin Outposts,将 Devin 的执行环节迁入用户自控环境,推理仍留在 Cognition 云端;Modal 作为发布伙伴提供该集成,具备快速冷启动、自定义镜像、快照和百万级沙箱扩展能力,自 7 月 21 日起进入 alpha。modal-devin 提供 CLI,一条 uvx modal-devin init 命令即可搭建 outpost,并预装 Devin CLI、FFmpeg 和 Chromium。目前尚无后续发展事实。

Modal 推出 Auto Endpoints

2026年6月23日,Modal 推出 Auto Endpoints,提供 OpenAI API 兼容、生产可用的 LLM 推理服务。据 Modal 官方工程博客,该服务底层是用户可见可控的 Modal App,可通过 CLI 或点击部署 GLM 5.2 等开放模型。官方称不隐藏代码与指标,自动提供投机解码接受长度、每副本引擎侧 token 延迟分位数等数据,并同步推出面向超低延迟路由的 Modal Servers,HTTP 请求开销约 5ms。其部署配方基于 SGLang、FlashAttention-4 等开源引擎的补丁与上游贡献,并采用 Z Lab 的 DFlash 块扩散 drafter 架构。目前尚无后续发展事实。

MiMo-V2.5 在 OpenCode 上线并限时免费

2026年5月28日,小米 MiMo 宣布 MiMo-V2.5 已在 OpenCode 上线,并限时免费。此前,小米 MiMo 于5月26日宣布 MiMo-V2.5 系列 API 永久降价,相比此前定价最高降幅达 99%,并对所有上下文长度统一计价;MiMo Token Plan 同步升级,同等价格下可用 token 增加 5–8 倍,现有 Token Plan 额度将全部重置,MiMo-V2.5-TTS 仍限时免费。新价格于5月26日18:00 PDT 生效,官方称后续会发布推理优化技术博客。目前 MiMo-V2.5 在 OpenCode 的限时免费为最新进展。

Moonshot AI发布旗舰模型Kimi K3

2026年7月16日,Moonshot AI(月之暗面)发布旗舰模型Kimi K3,这是一个2.8万亿参数的多模态模型,具备1M token上下文窗口和原生视觉能力,采用MoE架构,每token激活896个专家中的16个。据Recode China AI报道,K3在Frontend Code Arena获得1,679分,定价为每百万输入token 3美元、每百万输出token 15美元,开放权重计划于7月27日提供。7月27日,Kimi.ai宣布Modal与Baseten成为K3的Day 0发布合作伙伴,Modal为K3架构训练了定制DFlash推测器,将交互速度从100提升到460 tokens/s;同日SGLang与Miles宣布提供Day-0支持,前者负责推理、后者负责RL训练。7月28日,Kimi.ai宣布K3在DigitalOcean Serverless Inference上线。7月29日,Unsloth发布Kimi K3的1-bit量化版GGUF,体积从1.56TB压缩到594GB,缩减62%,精度保留约78.9%,可在配备128GB内存的Mac Studio上运行。

Fireworks开放Kimi K3训练预览

2026年7月26日,Fireworks AI 宣布 Kimi K3 已在 Fireworks Serverless Training 中开放 Multi-LoRA 训练与部署的私有预览。官方称 K3 是总参数量约 2.8 万亿的 MoE 模型,为首个达到 3T 参数规模的开源权重模型,训练只需改动一行代码;并给出成本示例:约 20 步、86 万训练 token 的小型强化学习运行约 65 美元,30 到 60 分钟完成,多轮 Agent 运行因 KV cache 复用,重复上下文按标准 prefill 价格的 20% 计费。次日(7月27日)的报道称,Fireworks 在 Kimi K3 开源当天提供 Day-0 推理与训练支持,推出仅限美国区域的 Serverless 端点和零数据保留,Serverless 推理默认速率限制提升 10 倍以上,Serverless Training 进入私有预览;该报道还称 K3 采用 Kimi Delta Attention 与 Stable Latent MoE,激活 896 个专家中的 16 个,扩展效率是 Kimi K2 的 2.5 倍,

Unsloth发布AMD硬件支持版本

2026年7月20日,Unsloth发布AMD版本Unsloth for AMD,用户可在AMD硬件上训练和运行大语言模型。该版本与AMD合作实现,支持在AMD GPU上训练和运行500多个模型,覆盖Windows、WSL和Linux平台,并可在3GB显存下训练Qwen、Gemma等模型。官方称借助自研Triton kernel和数学算法,在Radeon、Instinct、Ryzen及数据中心GPU上最高提速2倍、显存占用减少70%且无精度损失,同时提供针对GGUF与Safetensors推理优化的ROCm构建。

xAI开源编码智能体Grok Build

2026年7月15日,xAI将编码智能体与TUI工具Grok Build开源,源码已发布在GitHub。据xAI News公布的信息,公开代码涵盖智能体循环、工具调用分发、终端UI,以及skills、plugins、hooks、MCP servers和subagents等扩展系统。Grok Build现可完全本地运行,用户可自行编译并指向本地推理,通过config.toml驱动。目前该事件尚无进一步的有证据发展,后续状态有待观察。

Unsloth发布Gemma 4 NVFP4量化版本

2026年7月14日,Unsloth发布Gemma 4的NVFP4量化版本,称在GPU上推理速度提升1.5倍。官方表示该NVFP4方案面向Blackwell平台,可实现更快、更准确的4-bit推理。其中Gemma-4-12B NVFP4可在11GB显存上运行,26B-A4B在B200上达到13K tok/s。

Gemini 3.5 Flash内置计算机操作

2026年6月24日,Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash。此前该能力仅以独立的 Gemini 2.5 computer use 模型形式提供。开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 使用它,构建能跨浏览器、移动端和桌面环境感知、推理并执行操作的智能体,面向持续软件测试等长周期与企业自动化任务。为降低实时环境中的提示词注入风险,官方对 computer use 做了针对性对抗训练,并发布两套可选的企业级防护系统。目前该事实仅有官方来源,尚无其他独立来源的后续发展。

Prime Intellect发布prime-rl 0.6.

2026年6月22日,Prime Intellect发布prime-rl 0.6.0版本。该版本面向重智能体负载,支持训练万亿参数规模模型,采用异步强化学习,将训练与推理解耦。官方称其能在28个H200节点上以最高131k序列长度训练GLM-5完成SWE任务,步时间低于5分钟,批量256条rollout。版本还包含FP8推理、Wide EP、P/D分离、KV cache分层卸载、router replay以及FSDP、EP、CP三维并行等优化细节,并称这些优化同样适用于Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16等其他大型MoE模型。

xAI 的 Grok 4.3 正式上线 Amazon Bedrock

2026年6月17日,xAI 宣布 Grok 4.3 在 Amazon Bedrock 正式可用,开发者可通过 Bedrock 的推理引擎调用该模型。据 xAI 公布的信息,Grok 4.3 支持 100 万 token 上下文窗口,推理强度可配置为 none、low、medium、high 四档,定价为输入每百万 token 1.25 美元、输出每百万 token 2.50 美元。xAI 还称该模型在 Artificial Analysis Omniscience 基准上取得最低幻觉率,并在 Tau2 Telecom、Vals AI Case Law 与 Corporate Finance 基准上排名第一。目前该事件尚无后续发展事实,状态为正式上线。

Prime Intellect Lab支持Nemotron 3 Ultra后训练

2026年6月4日,Prime Intellect 宣布其托管后训练平台 Lab 对 NVIDIA Nemotron 3 Ultra 提供 day-0 支持,可在 Blackwell B200/B300 上进行托管强化学习训练,配合 vLLM 推理、NCCL 权重广播和 Prime-RL 训练器。平台提供 Environments Hub 中 2,500+ 个开放 RL 环境,并支持 SWE-bench Verified、BrowseComp、τ2-Bench Telecom、Terminal-Bench Hard、IFBench、AA-LCR、GPQA Diamond、RULER-1M 等评测,以及 LoRA 与全权重适配器的一键推理。同日,Prime Intellect 还宣布加入 NVIDIA Nemotron 联盟,贡献 2,500+ 开源 RL 环境、verifiers 框架、Prime Sandbox 及 NeMo Gym 集成,以 Apache-2.0 / CC-BY-4.0 随 Nemotron 模型发布同步开源。此外,NVIDIA Nemotron 3 Ultra 同

Linear推出内置代码审查工具

2026年5月28日,Linear发布代码审查工具Diffs,允许用户直接在Linear内审查拉取请求,并把代码变更与相关issue、项目及客户反馈并列展示。其引导式审查可将大型diff按照推理顺序拆分成多个章节,结构化高亮则用于过滤格式调整等噪声。该功能自发布当天起向所有Linear套餐开放。

Hermes Agent接入Grok订阅

2026年5月15日,xAI宣布即日起可在Nous Research的开源自我改进智能体Hermes Agent中直接使用Grok订阅。接入后,用户可用Grok 4.3进行文本对话与高级推理,用Grok Text-to-Speech生成语音回复,用Grok Imagine生成图像和视频,所有订阅档位均可使用。Hermes Agent可持久运行在任意电脑、沙箱或VPS上,跨会话建立长期记忆,并能连接WhatsApp、Discord、Telegram、Signal等消息平台。用户通过hermes model选择xAI Grok OAuth并浏览器登录即可启用。目前该消息由xAI官方发布,尚无后续发展事实。

Prime Intellect开源renderers库

2026年5月12日,Prime Intellect 开源了 renderers,一个独立的 Python 库,目标是让开发者完全控制强化学习与多轮推理中的对话格式化。该库把聊天模板变成可编程对象,支持将渲染消息暴露为 token id、把补全解析为结构化助手消息、为损失掩码归属 token,以及在不重新渲染模型采样历史的情况下扩展多轮 rollout。据其介绍,renderers 已用于 Prime Intellect 的 Lab 产品、verifiers 和 prime-rl,内置 Qwen3、Qwen3.5、GLM-4.5、GLM-5、MiniMax-M2、DeepSeek-V3、Kimi K2 / K2.5、Nemotron-3 和 GPT-OSS 的渲染器,并已在 PyPI 发布,代码托管于 github.com/PrimeIntellect-ai/renderers。

Prime Intellect推出Lab训练平台

2026年5月7日,Prime Intellect宣布其训练平台Lab结束beta测试并正式开放。该平台面向自我改进智能体,将任务定义、harness、评测、奖励信号训练、rollout检查、adapter部署和推理整合到一处,以环境为基本单元。其中Hosted Training负责大规模强化学习,按token计费而非按集群小时计费。正式版首批支持来自NVIDIA、OpenAI、Meta和Qwen的14个模型,参数规模在1B到70B之间。据披露,beta期间已有数百名用户运行超过10,000次训练任务,训练完成的LoRA adapter可通过Prime Inference以OpenAI兼容API部署。

Diffusers原生支持Nunchaku Lite

Hugging Face Diffusers 原生支持 Nunchaku Lite四比特扩散模型推理

查看事件：Diffusers原生支持Nunchaku Lite

Mistral发布统一智能体Vibe

2026年5月28日,Mistral AI发布统一工作与编码智能体Vibe,将Le Chat升级为覆盖工作与编码场景的统一AI智能体,原有对话、设置和订阅方案全部保留。据Mistral AI介绍,Work Mode支持企业知识搜索、结构化数据分析、文档报告生成、多步骤任务定时执行和可复用技能,每一步推理与工具调用均可展开查看;Code Mode在网页端启动远程编码智能体,可连接GitHub并运行至提交pull request。Vibe同时发布VS Code扩展并更新CLI,支持技能命令、子智能体、会话级权限和/teleport会话迁移。定价为免费、Pro 14.99美元/月、Team 24.99美元/用户/月及Enterprise定制。目前尚无后续发展事实。