xAI 宣布 Grok 4.6 已在 Amazon Bedrock 正式可用，Amazon Bedrock 用户可通过该平台调用这一旗舰模型。Grok 4.6 面向长时间运行的智能体和交互与视觉任务，提供 500k 上下文窗口以及 low、medium、high、xhigh 四档可配置推理强度。定价为输入每 100 万 token 2 美元、缓存输入每 100 万 token 0.50 美元、输出每 100 万 token 6 美元。
匹配字段摘要
NVIDIA 发布在 GB300 NVL72 上部署阿里开源权重模型 Qwen3.8-2.4T-A95B 的方案，该模型总参数 2.4T、每 token 激活 95B，采用细粒度 MoE 与全注意力加线性注意力混合架构，上下文窗口最高 100 万 tokens。在 FP8 精度下 Day 0 即实现单 GPU 超 4K tokens/s、单用户超 350 tokens/s，NVFP4 优化预计带来进一步提升。SGLang、vLLM 和 NVIDIA Dynamo 提供开源推理配方，也可通过 NVIDIA NIM 容器部署，并可用 NeMo AutoModel 做全量 SFT 或 LoRA 微调。
匹配字段摘要
Nvidia 发布 Nemotron 3.5 Lightning 开源模型和 NeMo Switchyard 路由库，前者面向持续运行的智能体任务，官方称在同级中实现 4 倍吞吐、完成智能体任务速度提升 30%，并可在 Jetson、GeForce RTX、DGX Spark 和 DGX Station 上本地运行。Switchyard 让开发者自定义模型池、路由标准和策略，把推理密集型步骤交给前沿模型、把执行类任务交给 Lightning，官方称其以 Anthropic Opus 4.8 约三分之一成本取得更好准确率。Nvidia 同时公开训练数据与方法，并发布用于训练编码智能体的开放数据集 Nemotron-RL-Agentic-Terminal-Pivot。
匹配字段摘要
SGLang 宣布为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持，开发者可通过其 OpenAI 兼容推理栈部署该模型。Nemotron 3.5 Lightning 是从 Nemotron 3 Ultra 蒸馏而来的 30B 混合 MoE 模型，每 token 仅激活 3B 参数，支持 MTP、DFlash、DSpark 三种投机解码，并可通过 enable_thinking 与 thinking_budget 控制推理开关和深度。模型权重已在 Hugging Face 提供 BF16 和 NVFP4 版本，官方称其在相近准确率下完成智能体任务最多快 30%。
SGLang 宣布为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持，开发者可通过其 OpenAI 兼容推理栈部署该模型。Nemotron 3.5 Lightning 是从 Nemotron 3 Ultra 蒸馏而来的 30B 混合 MoE 模型，每 token 仅激活 3B 参数，支持 MTP、DFlash、DSpark 三种投机解码，并可通过 enable thinking 与 thinking budget 控制推理开关和深度。模型权重已在 Hugging Face 提供 BF16 和 NVFP4 版本，官方称其在相近准确率下完成智能体任务最多快 30%。
匹配字段摘要
LMSYS 宣布与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 在 SGLang 上提供 Day-0 支持，并针对本地智能体工作流推理做了专门优化。在 NVIDIA GeForce RTX 5090 上，SGLang 以 NVFP4 加 DFlash 实现最高 1,452 tok/s 总输出吞吐和 236 tok/s 单用户解码速度，DFlash 将 batch-1 交互性提升 1.9 至 4.3 倍。模型可在 RTX 5090、RTX PRO 6000、DGX Spark 的 SM120 后端以及 Apple Silicon 的 MLX 后端部署，提供 BF16、NVFP4+MXFP8、NVFP4 及 GGUF 等多种 checkpoint 格式。
匹配字段摘要
Wan 团队的新 SOTA 角色动画模型 Wan Animate 2 已在 ComfyUI 获得原生支持，驱动视频直接输入重新设计的 Diffusion Transformer，省去中间运动提取器，并支持文本驱动的视角控制。随模型上线两个节点：WanAnimate2ToVideo 负责接收参考角色与驱动视频，可选的 WanAnimate2Cache 缓存姿态分支，将生成时间大约减半。同系列还有面向流式角色动画的 Wan Animate 2 Lite，推理延迟降至实时水平，并支持视频续接与上下文窗口生成。
匹配字段摘要
Sarvam AI 在首届 Sarvam Epoch 上公布全栈更新，包括 Sarvam 105B 面向对话与工作智能体的新变体、Sarvam Vision 2.0、Saaras V4 语音识别模型和 Bulbul V4 语音合成研究预览。Sarvam 105B 在自建印度对话生产基准上四项指标均领先 GPT 5.4 Mini 和 Gemini 3.5 Flash，混合 token 价格为每百万 0.80 美元，并已通过 Sarvam API 提供。公司同时推出印度本地推理层 Sarvam Inference、自服务智能体平台 Indus（含 Voice Agents、Work Agents、Content Studio）、早期测试的 Sarvam Code、安全智能体 Sarvam Cyber 预览，以及 Mac 版语音应用 Kivi。
匹配字段摘要
Hugging Face Inference Providers 现已支持 Baseten，用户可通过网页、huggingface_hub >= 1.26.1、JavaScript SDK 及多种 Agent Harness 调用其托管模型。请求可使用供应商 API key 直连并由供应商计费，也可经 Hugging Face 路由且不加价；PRO 用户每月获 $2 推理额度，登录的免费用户享有少量免费配额。
ing Face Inference Providers 现已支持 Baseten，用户可通过网页、huggingface hub = 1.26.1、JavaScript SDK 及多种 Agent Harness 调用其托管模型。请求可使用供应商 API key 直连并由供应商计费，也可经 Hugging Face 路由且不加价；PRO 用户每月获 $2 推理额度，登录的免费用户享有少量免费配额。 · Hugging Face Inference Providers now supports Baseten, allowing users to access Baseten-hosted models through the website, huggingface hub = 1.26.1, the JavaScript SDK, and multiple Agent Harnesses. Requests can use a provider API key for direct provider billing or be routed through Hugging Face
匹配字段摘要
LMSYS 发布 SpecForge v0.3.0，将目标模型推理与草稿模型训练解耦为生产者与消费者两个资源池，在 8×H20 上以 3 台 SGLang 捕获服务器加 5 个训练 worker 的拓扑，端到端训练吞吐较此前同置实现提升约 10%。新运行时统一支持 EAGLE3、EAGLE3.1、P-EAGLE、DFlash、Domino 和 DSpark 多种推测解码方法，并新增训练与推理一致性校验流程。同时发布 SpecBundle 草稿模型集合，11 个 checkpoint 中有 9 个来自蚂蚁集团 AQ、RadixArk、招商银行、Domino 作者及社区成员，全部仅用开放数据训练。
匹配字段摘要
Sakana AI 发布日语特化 LLM API「Sakana Namazu」，基于 Moonshot AI 的开源模型 Kimi K2.6，用自有数据适配日语与日本业务语境，并内置 Web 搜索和代码执行工具。该 API 兼容 OpenAI 接口，已有代码只需改写 base_url 并设置 API 密钥即可接入。基准方面，它在 JFBench、日英翻译任务和 FairPoliticsQA 上均超过基座模型，其中 FairPoliticsQA 从 34.10% 提升至 56.30%，同时保持 Kimi K2.6 在 AIME26、MMLU-Pro、LiveCodeBench v6 上的推理与编码表现。
Sakana AI 发布日语特化 LLM API「Sakana Namazu」，基于 Moonshot AI 的开源模型 Kimi K2.6，用自有数据适配日语与日本业务语境，并内置 Web 搜索和代码执行工具。该 API 兼容 OpenAI 接口，已有代码只需改写 base url 并设置 API 密钥即可接入。基准方面，它在 JFBench、日英翻译任务和 FairPoliticsQA 上均超过基座模型，其中 FairPoliticsQA 从 34.10% 提升至 56.30%，同时保持 Kimi K2.6 在 AIME26、MMLU-Pro、LiveCodeBench v6 上的推理与编码表现。
匹配字段摘要
NVIDIA 发布开源 GPU 加速的 Medical Physics Simulation 框架，作为 Isaac for Healthcare 的一部分，用于生成解剖数字孪生、模拟器械与解剖结构交互并训练强化学习策略。其中 Endoluminal Simulation Module 已正式可用，用 XPBD 求解器实时模拟柔性导管在患者特异性血管中的导航；Surgical Simulation Module 处于早期访问，可在单张消费级 GPU 上以超过 30 帧每秒模拟软组织变形与触觉反馈。Cosmos-H 系列生成式世界模型可从机器人动作生成手术视频，Cosmos-H-Dreams 经 FlashDreams 推理引擎实现超过 30 帧每秒的交互式仿真。
匹配字段摘要
Kimi.ai 宣布 Fireworks 成为 Kimi K3 的 day0 发布伙伴，开发者可在 Fireworks 上通过几次点击部署并微调 2.8T 参数的 Kimi K3。Fireworks 表示该模型为 3 万亿参数级别的首个前沿开源模型，具备 1M 上下文、原生视觉与推理能力，采用美国托管且零数据留存。
匹配字段摘要
SGLang 与 Miles 宣布在 Kimi K3 发布当天提供 Day-0 支持，前者负责推理、后者负责 RL 训练，与 Moonshot AI、NVIDIA 团队合作完成。K3 是首个 3 万亿参数级别的开源模型，实际为 2.8T 参数、1M token 上下文窗口并具备原生视觉理解，其 69 层 KDA 线性注意力与 24 层 MLA 交织的混合架构打破了常规服务栈的多项假设。文中给出统一显存池、DSpark 投机解码与 ReplaySSM、分阶段并行等方案，并报告在 16 节点 × 4 GB300 上做 DAPO 数学 RL 训练，AIME-2024 贪心评测在 12 小时内从 43.3% 升至 76.7%。
匹配字段摘要
Cognition 推出 Devin Outposts，让 Devin 的执行环节迁入用户自控环境，推理仍留在 Cognition 云端。Modal 作为发布伙伴推出开源集成 modal-devin，使 Devin Outpost 会话运行在 Modal Sandbox 中，具备快速冷启动、自定义镜像、快照和百万级沙箱扩展能力，7 月 21 日起进入 alpha。modal-devin 提供 CLI，一条 uvx modal-devin init 命令即可搭建 outpost，并预装 Devin CLI、FFmpeg 和 Chromium。
匹配字段摘要
Unsloth 发布 AMD 版本，用户现在可以在 AMD 硬件上训练和运行 LLM。该版本与 AMD 合作实现，支持在 AMD GPU 上训练和运行 500+ 模型，覆盖 Windows、WSL、Linux，并可在 3GB VRAM 上训练 Qwen、Gemma。官方称借助自研 Triton kernel 和数学算法，在 Radeon、Instinct、Ryzen 及数据中心 GPU 上最高提速 2 倍、显存占用减少 70% 且无精度损失，同时提供针对 GGUF 与 Safetensors 推理优化的 ROCm 构建。
匹配字段摘要
xAI 将编码智能体与 TUI 工具 Grok Build 开源，源码已发布在 GitHub。公开的代码涵盖智能体循环、工具调用分发、终端 UI 以及 skills、plugins、hooks、MCP servers 和 subagents 等扩展系统。Grok Build 现可完全本地运行，用户可自行编译并指向本地推理，通过 config.toml 驱动。
匹配字段摘要
Hugging Face 更新了 vLLM 的 Transformers 建模后端，使兼容架构无需编写定制推理代码即可达到原生 vLLM 速度。该后端通过 torch.fx 分析模型图，并用 ast 重写操作、应用融合内核，已对 Qwen3 4B、32B 和 235B FP8 MoE 模型进行对比测试。目前尚不支持线性注意力，代码位于 Hub 仓库的自定义模型也可能无法运行。
Hugging Face 更新了 vLLM 的 Transformers 建模后端，使兼容架构无需编写定制推理代码即可达到原生 vLLM 速度。该后端通过 torch.fx 分析模型图，并用 ast 重写操作、应用融合内核，已对 Qwen3 4B、32B 和 235B FP8 MoE 模型进行对比测试。目前尚不支持线性注意力，代码位于 Hub 仓库的自定义模型也可能无法运行。 · Hugging Face updated vLLM’s Transformers modeling backend so compatible architectures can reach native vLLM inference speed without custom inference code. The backend analyzes model graphs with torch.fx and uses ast to rewrite operations and apply fused kernels, with comparisons covering Qwen3 4B, 32B, and
匹配字段摘要
Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。
Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。 · Hugging Face and Cerebras built an open, modular real-time speech-to-speech pipeline using Nvidia Parakeet for speech recognition, Google DeepMind’s Gemma 4 31B running on Cerebras, and Alibaba’s Qwen3TTS for spoken responses. Cerebras is intended to reduce a
匹配字段摘要
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash，此前该能力仅以独立的 Gemini 2.5 computer use 模型形式提供。开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 使用它构建能跨浏览器、移动端和桌面环境感知、推理并执行操作的智能体，面向持续软件测试等长周期与企业自动化任务。为降低实时环境中的提示词注入风险，官方对 computer use 做了针对性对抗训练，并发布两套可选的企业级防护系统。
匹配字段摘要
Prime Intellect 发布 prime-rl 0.6.0，可在重智能体负载下训练万亿参数规模模型，并称能在 28 个 H200 节点上以最高 131k 序列长度训练 GLM-5 完成 SWE 任务，步时间低于 5 分钟、批量 256 条 rollout。该版本采用异步 RL，将训练与推理解耦，并给出 FP8 推理、Wide EP、P/D 分离、KV cache 分层卸载、router replay 以及 FSDP、EP、CP 三维并行等优化细节。这些优化同样适用于 Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 等其他大型 MoE 模型。
匹配字段摘要