Artificial Analysis 开源 AA-AgentPerf-Local，通过回放真实智能体会话在笔记本和工作站上测试本地模型推理性能，并发布配套榜单。默认负载为 8 个记录任务、168 个模型轮次，上下文增长至约 56K tokens，默认跳过工具执行以隔离推理速度。首批硬件包括 NVIDIA DGX Spark（128 GB）、AMD Ryzen AI Halo（128 GB）、MacBook Pro M5 Pro（64 GB）和 NVIDIA GeForce RTX 5090（32 GB），首批模型为 Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B-A3B 和 Ling 3.0 Flash（124B / 5B active），均采用 4-bit 量化。
匹配字段标题、摘要
GitHub 开源项目 Colibrì 用纯 C 实现分层推理，把 MoE 模型不常用的路由专家放在 NVMe SSD 上按需读取，让 744B 的 GLM-5.2 在最低 16GB、推荐 24GB 左右 RAM 的机器上运行，GPU 不是必需品，项目已获 32k Star。作者最初的开发机只有 12 核 CPU 加 25GB RAM，冷缓存时速度约 0.05～0.1 token/s，靠 LRU 缓存、专家使用频次统计和提前一层预测专家（可预测性 71.6%）把速度提上来，128GB RAM 纯 CPU 桌面机约 1.8 token/s，6 张 RTX 5090 可达 5.8～6.8 token/s。目前它已覆盖 9 个模型家族，从 GLM-5.2/5.3、DeepSeek V4 Flash、Qwen 到 975B 的 Inkling 和 2.8T 参数的 Kimi K3，后者约需 1.6TB 存储、RAM 32GB 起步。
匹配字段标题、摘要、正文
OpenRouter 上线 Batch API，把请求打包提交后由服务商在 24 小时窗口内自行安排完成时间，价格通常为正常每 token 单价的 50%，部分模型更低，目前支持 70 多个模型。两周 beta 期间完成的 23 万多个批次中，中位完成时间为 7 分钟，90% 在一小时内完成；太平洋时间 5 点至中午提交的批次明显更慢。该接口为异步设计，支持 chat completions、responses、messages 和 embeddings 等请求形态，输入与结果保留 30 天。
匹配字段标题
NVIDIA Dynamo-Triton 26.07 启用 TensorRT 后端的多设备推理能力，一个 KIND_MODEL 实例可占用多块 GPU 并通过单个 gRPC 端点对外提供分布式推理服务，TensorRT 11.0 起完整支持该能力。以 Cosmos 3 Nano 视频生成为例，Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU，端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒，transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验，但该基准未测量并发吞吐、单视频成本或 TCO。
匹配字段标题、摘要
Anthropic 在最新 Science Blog 中介绍，Claude 为 30 多个生物领域开源模型优化推理，平均提速 4 倍，部分工作是为 GPU 编写定制软件。这些模型原本用于分子系统结构建模、类药分子设计和基因突变效应预测，但运行成本高，限制了实际影响。Anthropic 表示将开源全部优化代码。
匹配字段标题、摘要
Cohere 发布面向 North Mini Code 的 Megakernel 推理服务引擎，在单张 H100 上以 BF16 运行，端到端平均解码吞吐量比 vLLM 快 1.25× - 1.41×。该引擎支持连续批处理、分页注意力、流式输出、前缀缓存和工具调用，并提供 OpenAI 兼容接口；其代码已在 GitHub 开放。批大小为 1 时，Megakernel 达到 292 tok/s，为 vLLM 的 1.58×，但当前最大批大小为 8，且预填充仍由普通 PyTorch 内核运行并会暂停解码。
匹配字段标题、摘要
Unsloth 宣布 GLM-5.3-Flash 的本地 GGUF 推理速度提升 1.6–3.4 倍，配合优化解码与多 token 预测，整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行，官方同时提供了指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示，GLM-5.3-Flash 为 320B-A18B 模型，采用 MIT 许可，原生多模态并支持 1M token 上下文窗口。
匹配字段标题、摘要
NVIDIA Dynamo 以预览功能形式推出影子引擎恢复，在同一批 GPU 上保留一个已完全初始化的空闲影子引擎，由 GPU Memory Service 共享已有权重而不在 HBM 中额外复制，活跃进程失败后影子引擎可在数秒内接管。在 NVIDIA B200 节点上的双 worker GLM-5.2 部署中，影子引擎恢复用 7.3 秒恢复服务，冷重启需要 283 秒，接近 39 倍差距。该功能要求 Kubernetes 1.34 或更新版本的 Dynamic Resource Allocation 并安装 NVIDIA GPU DRA 驱动，主要支持 vLLM 后端，当前预览版尚不支持将 GMS 用于 KV cache。
匹配字段标题
Liquid AI 发布 LFM2.5-DSpark 系列草稿模型，用于 LFM2.5 的推测解码，在 H100 与 M4 Max MacBook 上最高带来 3.2 倍推理提速。草稿模型约 300M 参数，采用 5 层注意力结构、block size 为 9，在多工具场景下将 LFM2.5-2.6B 的延迟平均降低 57%。模型已以 Safetensors 和 GGUF 格式在 Hugging Face 开放，并支持 llama.cpp 与 SGLang，文中给出了对应的启动命令。
匹配字段标题、摘要
Mistral 宣布 Mistral Regional Endpoints 正式可用，客户可选择推理在欧洲或美国运行，同时 Mistral Priority Tier 进入公开预览，提供自定义速率限制和带 SLA 的可用性承诺。其平台还将支持第三方开源模型，首个接入的是 Z.ai 的 GLM-5.2，这些模型将运行在与 Mistral 自有模型相同的基础设施、区域控制和服务承诺之上。Mistral 同时组建企业联盟，通过 European Compute Units 汇集多年期算力承诺，并计划到 2030 年建成最高 1 GW 的算力容量。
匹配字段标题、摘要
Unsloth 发布 DSpark，使 DeepSeek-V4-Flash-0731 的 GGUF 本地生成速度提升约 1.4–2 倍，且精度不变。该版本在本地可达到 120 tokens/s，Unsloth 同时提供了 GGUF 文件与使用指南。
匹配字段标题
Fireworks 在 Kimi K3 开源当天提供 Day-0 推理与训练支持，称其为全球最强开源模型，并推出仅限美国区域的 Serverless 端点和零数据保留。Kimi K3 是首个达到 2.8 万亿参数的开源模型，采用 Kimi Delta Attention 与 Stable Latent MoE，激活 896 个专家中的 16 个，扩展效率是 Kimi K2 的 2.5 倍。Fireworks 称自托管需 64 个以上加速器超级节点，其 Serverless 推理默认速率限制提升 10 倍以上，Serverless Training 进入私有预览。
匹配字段标题、摘要
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。
匹配字段标题、摘要
Together AI 发布 Dedicated Model Inference 推理平台更新，支持在同一稳定端点后运行多个部署，并提供 canary、蓝绿和滚动更新及按阈值自动回滚、A/B 与影子流量测试、按 inflight 请求或 GPU 利用率等指标自动扩缩容。平台重建了模型缓存与分发层，内部测试中多个前沿模型的冷启动速度约提升 4 倍，同时提供组织级 Prometheus 端点接入自有可观测工具。Together AI 还开启自定义训练内测，涵盖全权重与 LoRA 强化学习及监督微调，checkpoint 可直接部署到推理服务，内测名额有限。
匹配字段标题、摘要
Unsloth 发布 Gemma 4 的 NVFP4 量化版本，称在 GPU 上推理速度提升 1.5 倍。其中 Gemma-4-12B NVFP4 可在 11GB 显存上运行，26B-A4B 在 B200 上达到 13K tok/s。官方称该 NVFP4 方案面向 Blackwell 平台，可实现更快、更准确的 4-bit 推理。
匹配字段标题、摘要
Together AI 推出 Provisioned Throughput，为前沿开放模型提供预留推理容量，采用按 token 计费并附带 99% 可用性 SLA，成本最高比 Claude Opus 4.8 标价低 90%。该产品今日起支持 MiniMax M3 和 GLM-5.2，容量覆盖北美、EMEA 等地区，最短承诺期一个月。用户按 Provisioned Throughput Units（PTU）购买，每个 PTU 每分钟 0.05 美元，在 MiniMax M3 上单个 PTU 每分钟可提供 138,840 输入 token、694,200 缓存输入 token 或 23,140 输出 token。
匹配字段标题、摘要
Modal 发布 Auto Endpoints，提供 OpenAI API 兼容、生产可用的推理服务，底层是用户可见可控的 Modal App，可通过 CLI 或点击部署 GLM 5.2 等开放模型。官方称不隐藏代码与指标，自动提供投机解码接受长度、每副本引擎侧 token 延迟分位数等数据，并同步推出面向超低延迟路由的 Modal Servers，HTTP 请求开销约 5ms。其部署配方基于 SGLang、FlashAttention-4 等开源引擎的补丁与上游贡献，并采用 Z Lab 的 DFlash 块扩散 drafter 架构。
匹配字段标题、摘要
Tensordyne 公布其 Napier AI 推理引擎架构，核心思路是把数据转成对数后用加法替代矩阵乘法，官方称相比 Nvidia 和 AWS 的混合架构性能提升一个数量级以上，价格与功耗更低。Napier 采用 3nm 工艺、1380 亿晶体管，支持 NVFP4、FP8、FP16，FP8 稠密算力 2.1 petaflops，配备 144 GB HBM4 和 256 MB SRAM，单芯片功耗 300 瓦，对比 B300 GPU 的 1200 瓦。公司计划 2026 年底开放云端访问，2027 年第一季度向客户交付 beta 版 TDN Pod 系统，2027 年第二季度末开始出货。
匹配字段标题、摘要
Together AI 与 Pearl Research Labs 推出 Gemma-4-31B-it-pearl 推理端点，利用 Pearl Network 在推理过程中生成 ¶PRL，使价格降低超过 25%。双方计划扩展 Pearl 驱动的产品组合，并探索让客户直接获得部分货币发行收益。
匹配字段标题、摘要
LMSYS 宣布 SGLang 与 Miles 在 DeepSeek-V4 发布当天提供推理与 RL 训练支持，覆盖 1.6T Pro 和 284B Flash 两个版本。针对 DeepSeek-V4 的混合稀疏注意力、mHC 和 FP4 专家权重，团队引入 ShadowRadix 前缀缓存、HiSparse CPU 扩展 KV、MTP 投机解码等机制，并集成 FlashMLA、FlashInfer TRTLLM-Gen MoE、DeepGEMM Mega MoE 等内核。RL 侧 Miles 支持 DP/TP/SP/EP/PP/CP 六种并行策略与 FP8 训练，已在 32 张 GB300 上完成 285B 模型训练，首步 rollout 与训练 log-prob 偏差约 0.023。
匹配字段标题、摘要