Unsloth 发布 Unsloth Desktop，称其为首个可在本地运行和训练模型的桌面应用，已上线官网和 GitHub。该应用开源，支持 Mac、Windows 和 Linux，覆盖 MLX、扩散图像/视频、音频、GGUF，可将 Claude Code 和 Codex 接入本地 LLM，并支持 CPU 与多 GPU 环境（NVIDIA、AMD、Intel、Mac）。官方称训练速度提升 2 倍、显存占用减少 70%，工具调用准确率提高 50% 并支持自愈与沙箱化代码执行，同时提供私有网页搜索、深度研究、RAG、MCP 以及 NVFP4、GGUF 导出。
匹配字段摘要、正文
蚂蚁百灵正式开源 Ling-3.0-tiny，这是一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。官方称其在 Artificial Analysis Intelligence Index 获 25 分，Agentic Index 达 16 分，输出速度超过 160 tokens/s。模型可在单台 NVIDIA DGX Spark 上完成 FP8 推理，权重约 7.85GB，并已完成 Apple Silicon 的 MacBook 与 Mac mini 本地运行适配。
匹配字段摘要、正文
LMSYS 宣布与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 在 SGLang 上提供 Day-0 支持，并针对本地智能体工作流推理做了专门优化。在 NVIDIA GeForce RTX 5090 上，SGLang 以 NVFP4 加 DFlash 实现最高 1,452 tok/s 总输出吞吐和 236 tok/s 单用户解码速度，DFlash 将 batch-1 交互性提升 1.9 至 4.3 倍。模型可在 RTX 5090、RTX PRO 6000、DGX Spark 的 SM120 后端以及 Apple Silicon 的 MLX 后端部署，提供 BF16、NVFP4+MXFP8、NVFP4 及 GGUF 等多种 checkpoint 格式。
匹配字段摘要、正文
蚂蚁百灵开源新一代原生混合推理模型 Ling-3.0-flash，采用 124B 总参数、5.1B 激活参数的 MoE 架构，同步提供基础版本及 FP8、FP4、INT4 等多个精度版本。模型支持三种落地方式：云端 API 调用、在单台 NVIDIA DGX Spark 上以 MXFP4 或 INT4 版本完成端到端本地推理，以及在指定 GPU 测试配置下平均输出速率突破 1100 tokens/s 的高性能部署。在 Artificial Analysis 榜单中其输出速度为 353 tokens/s，AA Intelligence Index 中每项任务加权平均调用成本约 0.04 美元。
匹配字段摘要、正文
腾讯混元开源算子库 HPC-Ops 的 Attention、Router GEMM 和 MoE 三个算子已并入 SGLang 主分支，面向 NVIDIA Hopper（SM90）GPU，并已用 Qwen3、Hy3 和 LongCat 工作负载验证。在 8× H20 上以 Hy3-FP8 同时启用 Attention 与 MoE，batch size 4–64 时 TPOT 降低 15.1–48.8%，batch size 4–16 时 TTFT 降低 3.3–6.0%；LongCat-Flash-Lite-FP8 启用 Router GEMM 后输入吞吐提升 5.5–6.1%。这些算子已在腾讯大规模生产服务中部署，其中 Dynamic Attention 与 Fused MoE 使 Hy3 模型的 TPOT 最多降低 48.8%。
匹配字段摘要、正文
AMD 计划在 2026 年底凭借与 Meta、微软合作打造的 Helios 机架系统追平 Nvidia 的 Oberon 机架系统，其旗舰 Altair MI455X GPU 与 Verano CPU 将支撑数据中心 AI 业务在 2027 年翻倍以上。CEO 苏姿丰称 Epyc CPU 业务 2026 下半年增长超 80%、2027 全年增长超 70%。AMD 预计数据中心 AI GPU/XPU 市场 2026 年增长 75.6% 至 3600 亿美元，2027 年再增 75% 至 6300 亿美元。
匹配字段摘要、正文
Mistral 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载，可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为二分类问答任务，推理时接受自然语言策略并输出校准后的安全分数，无需重新训练即可适配新策略，统一处理文本、图像及文本加图像内容。官方称其在文本安全、拒答检测、策略适应性和多模态基准上匹配或超过最多 7 倍参数量的开源 guard 模型。
匹配字段摘要、正文
腾讯混元 Hy-MT2-30B-A3B 正式推出 GGUF 格式，回应社区最迫切的本地部署需求，让本地推理更简单。自 5 月开源以来，Hy-MT2 累计下载量超 70 万次，Hy-MT2-1.8B 登上 Hugging Face trending 第 1、30B-A3B 位列第 4，并已有 70+ 个产品与项目集成。该系列还获得 Apple MLX-LM、微软 ONNX Runtime、NVIDIA NeMo、LLaMA-Factory 等生态支持，并落地 Bilibili 直播评论实时多语言翻译。
匹配字段摘要、正文
Poolside 发布 Laguna S 2.1，这是一个可在终端或开发环境中自主规划、改文件、跑代码并持续数小时的智能体编码模型，采用 MoE 架构，1180 亿参数、每 token 约 80 亿激活，支持最多 100 万 token 上下文，量化后可跑在单台 NVIDIA DGX Spark 上。在 Poolside 自家 harness 中，开启思考模式的 Laguna S 2.1 在 Terminal-Bench 2.1 上得分 70.2%，权重以 OpenMDW-1.1 许可发布在 Hugging Face，最终评测轨迹（含失败案例）也已公开。公司同时上线 macOS 桌面应用 Poolside Desktop Assistant，基于 Agent Client Protocol，可在同一窗口运行 Claude Code、Codex、Gemini 等智能体，本地模型通过 MLX 离线运行。
匹配字段摘要、正文
Together AI 联合佐治亚理工、UIUC 和 CMU 提出 ThunderAgent，把每个智能体工作流抽象为可调度程序，以程序级调度缓解 KV cache thrashing，在合成数据生成流水线中实现最高 2.5 倍单节点吞吐提升。在单台 8×H100 节点、batch size 192 下，SGLang 吞吐降至 390 token/s、平均延迟 65s，ThunderAgent 达到 803 token/s、平均延迟 10.6s；8 节点集群上相对 SGLang Gateway 加速 2.39 倍，从 16 到 64 GPU 吞吐近线性扩展。该工作已被 ICML 2026 接收为 Spotlight 论文，代码开源，客户端只需增加一个 program_id 字段，并已被 SkyRL 和 NVIDIA Dynamo 采用。
Together AI 联合佐治亚理工、UIUC 和 CMU 提出 ThunderAgent，把每个智能体工作流抽象为可调度程序，以程序级调度缓解 KV cache thrashing，在合成数据生成流水线中实现最高 2.5 倍单节点吞吐提升。在单台 8×H100 节点、batch size 192 下，SGLang 吞吐降至 390 token/s、平均延迟 65s，ThunderAgent 达到 803 token/s、平均延迟 10.6s；8 节点集群上相对 SGLang Gateway 加速 2.39 倍，从 16 到 64 GPU 吞吐近线性扩展。该工作已被 ICML 2026 接收为 Spotlight 论文，代码开源，客户端只需增加一个 program id 字段，并已被 SkyRL 和 NVIDIA Dynamo 采用。
匹配字段摘要、正文
Together AI 的专用模型推理由 endpoint、deployment 和 config 三部分组成，通过容量感知流量拆分将三者绑定，支持灰度发布、A/B 测试、影子实验和零停机变更。路由按 weight × ready_replicas 计算有效容量并按比例分配流量，因此相同权重代表每副本负载相同而非流量份额相同。config 以不可变的 cr_ 修订形式存在，模型目录自带经认证的部署配置，例如 zai-org/GLM-5.2 在 4 张 NVIDIA-B200 上以 FP4 量化、TP4 并行运行。
Together AI 的专用模型推理由 endpoint、deployment 和 config 三部分组成，通过容量感知流量拆分将三者绑定，支持灰度发布、A/B 测试、影子实验和零停机变更。路由按 weight × ready replicas 计算有效容量并按比例分配流量，因此相同权重代表每副本负载相同而非流量份额相同。config 以不可变的 cr 修订形式存在，模型目录自带经认证的部署配置，例如 zai-org/GLM-5.2 在 4 张 NVIDIA-B200 上以 FP4 量化、TP4 并行运行。
匹配字段摘要、正文
@JensenHuang 这步走得好。Nvidia 的公开信写得很好，值得一读。正如我们在 OpenAI-Hugging Face 被黑事件中看到的，我们需要开放模型和工具来防御。 别再相信闭源模型更安全的公关说辞了——那只是监管俘获。
@JensenHuang 这步走得好。Nvidia 的公开信写得很好，值得一读。正如我们在 OpenAI-Hugging Face 被黑事件中看到的，我们需要开放模型和工具来防御。 别再相信闭源模型更安全的公关说辞了——那只是监管俘获。
匹配字段摘要、正文
SGLang 与 Miles 宣布在 Kimi K3 发布当天提供 Day-0 支持，前者负责推理、后者负责 RL 训练，与 Moonshot AI、NVIDIA 团队合作完成。K3 是首个 3 万亿参数级别的开源模型，实际为 2.8T 参数、1M token 上下文窗口并具备原生视觉理解，其 69 层 KDA 线性注意力与 24 层 MLA 交织的混合架构打破了常规服务栈的多项假设。文中给出统一显存池、DSpark 投机解码与 ReplaySSM、分阶段并行等方案，并报告在 16 节点 × 4 GB300 上做 DAPO 数学 RL 训练，AIME-2024 贪心评测在 12 小时内从 43.3% 升至 76.7%。
匹配字段摘要、正文
开源模型正成为 AI 创新的关键驱动力。很高兴看到 NVIDIA 公开支持这一愿景。期待下一代 AI 构建者创造出什么。
匹配字段摘要、正文
微软 AI 公布面向智能体工作负载的 MAI 模型在 GitHub Copilot 和 Excel 中的部署情况。MAI-Code-1-Flash 自 6 月在 GitHub Copilot 上线以来已有数百万开发者使用，在 VS Code 中代码接受率比 GPT 5.4 Mini 和 Claude Haiku 4.5 高约 10%，中位 token 用量低 10%。在 Excel 中，基于该 checkpoint 继续强化学习得到的模型在常见任务上质量与 GPT-5.6 相当，且可运行在 Nvidia H100 和 A100 上，降低部署成本。微软表示正将这一方法扩展到 Copilot Chat、Outlook、PowerPoint 等产品。
匹配字段摘要、正文
Black Forest Labs 发布 FLUX 3 早期版本，并与机器人公司 mimic 合作推出视频-动作模型 FLUX-mimic，已在 Audi 测试和部署。FLUX 3 从训练之初就联合训练图像、视频和音频，视频预测占总算力成本 95% 以上；加入动作预测后，文生视频和图生视频的人类评分一度下降最多 10%，3500 步后恢复原有质量并同时预测动作。FLUX-mimic 在冻结 FLUX 主干的情况下，动作解码器表现超过此前的视觉-语言-动作模型，微调后达到 SOTA 成功率；主干在单张 NVIDIA RTX 5090 上从输入到世界表征耗时不到 80ms，整套机器人系统反应时间为 101ms。
匹配字段摘要、正文
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。 · Hugging Face added native Nunchaku Lite support to Diffusers, allowing SVDQuant-based 4-bit diffusion models to load without a custom pipeline, separate inference engine, or local compilation. On an RTX 5090, the example model generates a 1024x1024 image in abo
匹配字段摘要、正文
LMSYS 在 Miles 中实现了 On-Policy Distillation（OPD），支持纯蒸馏与结合 GRPO/PPO 的 RL 增强蒸馏两种模式，并新增稀疏学生到教师打分流程以避免稠密 logprob 负载。在单台 8×NVIDIA B200 节点上，团队用 Qwen3.5-35B-A3B 做自蒸馏实验：教师经 RLVR 训练后推理更短，学生为 RL 前基座，任务奖励设为零，仅用 top-1 学生-教师 reverse-KL 训练，结果显示 OPD 能在不损失性能的前提下将教师的短推理行为迁移给学生。
匹配字段摘要、正文
xAI 发布 Grok 4.5，称其为最强模型，专为编码、智能体任务和知识工作打造，并与 Cursor 联合训练。在 Datacurve 的 DeepSWE 基准上，Grok 4.5 得分 62.0%，高于 Opus 4.8 的 55.75%，低于 Fable 的 66.1% 和 GPT 5.5 的 64.31%。模型在数万块 NVIDIA GB300 GPU 上训练，推理速度 80 TPS，定价为每百万输入 token 2 美元、每百万输出 token 6 美元，并已成为 Grok Build 的默认模型。
匹配字段摘要、正文
LMSYS 与 Thinking Machines 团队合作，为 975B 参数多模态模型 Inkling 在 SGLang 和 Miles 上提供 Day-0 支持。SGLang 针对其短卷积、相对位置注意力和共享专家 sink 的 MoE 架构做了专门优化，在 Nvidia Blackwell GPU 上实现最高 71.7k tok/s 输入吞吐和 171.0 tok/s 单用户解码速度，并支持投机解码、PD 分离、多 LoRA 服务与 HiCache。Miles 通过定制 Megatron 后端支持全参数与 LoRA 强化学习，覆盖文本和视觉语言任务。
匹配字段摘要、正文