vLLM 发布基于 PagedAttention 的开源 LLM 推理与服务库
vLLM 发布开源 LLM 推理与服务库，利用 PagedAttention 管理 KV cache，无需修改模型架构即可实现比 HuggingFace Transformers 最高 24x 的吞吐量。实验中其吞吐量比 TGI 最高提升 3.5x，内存浪费降至 4% 以下；LMSYS 部署后将服务所需 GPU 数量减少 50%。
匹配字段标题、摘要
←搜索结果
搜索“推理”
大型 Transformer 模型推理优化：蒸馏、量化与剪枝
Lil'Log 梳理了大型 Transformer 模型的推理优化方法，涵盖知识蒸馏、量化（PTQ 与 QAT）和剪枝。文章指出推理瓶颈主要来自显存占用与低并行性：batch size 512、上下文长度 2048 时 KV cache 总计 3TB，是模型体积的 3 倍，且注意力机制开销随输入序列长度呈平方增长。DistilBERT 在参数减少 40% 的情况下保留 BERT 97% 的下游任务性能，推理速度提升 71%。
匹配字段标题、摘要
Thinking Machines Lab 发布 Inkling 2 Small，594B 总参数 MoE 模型
Thinking Machines Lab 发布第二代模型 Inkling 2 Small，采用 594B 总参数、17B 激活参数的 MoE 架构，支持图像输入和可变推理强度，在 Artificial Analysis Intelligence Index 上得分 31。模型先在 Tinker 上以闭源权重提供，计划在外部安全测试和红队评估完成后于下周以 Apache 2.0 许可开放完整权重。官方称其在长程智能体编码、视觉和知识工作上较上一代全面提升，训练包含 8.4 万亿 token 预训练和 1075 步、超 1700 万次 rollout 的联合 RL。
匹配字段摘要、正文
Apple 提出 SupportNet 与 KeyNet：用小型神经网络加速 MIPS 检索，提升 RAG 效率
Apple 研究团队在 ICML 2026 论文《Amortizing Maximum Inner Product Search with Learned Support Functions》中提出，针对固定 key 数据库离线训练小型神经网络，把 MIPS 视为凸分析中的支撑函数来学习，从而在推理时更快、更准地路由查询。方法包含 SupportNet（用 ICNN 学习支撑函数，可按簇计算以改进路由）和 KeyNet（直接输出最佳匹配 key 向量，并用基于 Euler 齐次函数定理的一致性损失约束）。两者均基于相关查询分布采样训练，以一次性摊销成本换取推理阶段更高效的 RAG 检索。
匹配字段摘要、正文
BOSS 直聘旗下 Nanbeige 发布 Nanbeige4.3-33B，Intelligence…
BOSS 直聘旗下基础模型团队 Nanbeige 发布开源权重推理模型 Nanbeige4.3-33B，在 Artificial Analysis Intelligence Index v5 上得分 20，与 Qwen3.8 27B（xhigh）持平。该模型为 33B 稠密参数、Apache 2.0 许可、仅文本输入输出、524K token 上下文窗口，小到可在笔记本本地运行。它在 Terminal-Bench 4.0 得 30%、CritPt v2 Hard Subset 得 16%，均高于 Qwen3.8 27B 的 6% 和 4%；但 AA-Briefcase v1.1 为 1162 Elo、FrontierCode 2.0 为 11%、HLE-Diamond 为 7%，低于后者的 1391、15% 和 15%。其幻觉率 18%、拒答率 71%，每个 Intelligence Index 任务消耗 158K 输出 token，比 Qwen3.8 27B 的 110K 多约 44%。目前尚无确认的公开一方或三方 API。
匹配字段摘要、正文
百度开源 ERNIE 5.5 Flash Base：280B MoE 模型，激活参数 14B，支持 1M 上下文
百度开源 ERNIE 5.5 Flash Base，这是一个 280B 参数的 MoE 模型，激活参数仅 14B，预训练使用 33.5T tokens。该模型在推理、编码和长上下文基准上表现较强，支持最长 1M 上下文，后训练已在进行中。百度官方账号转发该发布并表示后续还有更多内容。
匹配字段摘要
Hugging Face 发布端侧语音模型 Phonon，31m 版本以 Apache 2.0 开源
Hugging Face 发布端侧 TTS 模型 Phonon，提供约 65 MB 和 75 MB 两个尺寸，覆盖英语、法语、德语、西班牙语和葡萄牙语，内置 100 多个音色。其中 Phonon 31m 仅支持英语并以 Apache 2.0 开源，可用于商业产品；Phonon 40m 覆盖五种语言但采用非商业许可。官方称其在 Open TTS Leaderboard 的德语和西班牙语可懂度排名第一，并在 CPU 流式首包延迟基准上领先，配套推理框架 ptts 支持 CPU、GPU 和 NPU 等 10 余种后端。
匹配字段摘要、正文
PyTorch Day China 2026 征集演讲提案，11 月 10 日截止
PyTorch Day China 2026 的提案征集将于 11 月 10 日 23:59（中国标准时间）截止，活动于 12 月 12 日在北京举办。征集范围覆盖模型训练与后训练、高效推理与部署、PyTorch 核心与硬件加速、Physical AI、PyTorch 生态与应用五个方向，接受 session 演讲和闪电演讲。CFP 通知定于 11 月 17 日发出，11 月 18 日公布日程。
匹配字段摘要、正文
NVIDIA 发布 AI Factory Operations Agent，用多智能体协同排查 DGX 集群故障
NVIDIA 发布 AI Factory Operations Agent，通过多个领域子智能体协同，在计算、网络、硬件和调度层之间定位根因，并通过聊天界面给出建议，用于自家 DGX SuperPOD 运维。该框架基于 NVIDIA NemoClaw blueprint 和 OpenShell 构建，完全本地部署，推理使用本地 NVIDIA Nemotron 开源模型，运行在 DGX H100、DGX B200 和 DGX GB300 生产集群上。框架包含 Job Recovery、Hardware、Observability、Research、Kubernetes 和 Cluster Management 等子智能体，并集成 web 搜索、代码执行和 Grafana 看板等 MCP 工具，开发者示例与开源代码已开放。
匹配字段摘要、正文
Cognition 发布快速编码模型 SWE-2 Flash
Cognition 发布快速编码模型 SWE-2 Flash，称在主要评测上超过所有美国开源权重模型，包括参数量大 3 倍的模型。该模型基于 thinkymachines 的 Inkling-Small（总参数 276B、激活 12B），配合优化后的推理栈，成本比 SWE-2 低 5 倍、速度快 3 倍。本月内 Pro、Max 和 Teams 用户可在 Devin Desktop 与 Devin CLI 中免费使用，权重将通过合作方与研究者安全共享计划开放。
匹配字段摘要
Cognition 发布 SWE-2 Flash 编码模型，本月在 Devin 中免费开放
Cognition 发布快速高效的编码模型 SWE-2 Flash，本月内对 Devin Desktop 和 Devin CLI 的 Pro、Max、Teams 用户免费。该模型基于 thinkymachines 的 Inkling-Small，总参数 276B、激活参数 12B，配合优化后的推理栈，成本比 SWE-2 低 5 倍、速度快 3 倍。Cognition 称其在主要评测上超过所有美国开源权重模型，并正在筹建安全共享权重的合作计划。
匹配字段摘要
用 Grok Bot 搭配 Vercel 开源 agent-desktop 控制本机应用
作者实测用 Grok Bot 搭配 Vercel 开源的 agent-desktop，通过 CGEvent 注入模拟真实鼠标键盘事件，可操控本机其他 Agent 和剪映完成 AI 剪辑。他对比了 amontlabs 的 LCU 方案：LCU 走 macOS accessibility API，能识别按钮和输入框，但剪映这类 Electron 自绘 UI 的时间线拖拽区域对 accessibility API 几乎不可见；agent-desktop 用 800ms 慢速拖动即可完成。agent-desktop 本身只是 CLI 工具、不做推理，写成脚本回放时零额度消耗，同样剪辑任务第一次 13 分钟、第二次 37 秒，LCU 平均 4 到 5 分钟；缺点是需占用窗口，作者建议配 mac mini。
匹配字段摘要、正文
Hao AI Lab 将 MiniMax H3 Flex 接入 FastVideo，单卡…
Hao AI Lab 把 Pika 开源的 MiniMax H3 Flex 接入 FastVideo，在单张 GB200 上生成 5 秒带音频片段，官方代码耗时 59.7 秒，FastVideo BF16 为 26.6 秒，NVFP4 QAD 为 16.8 秒，FP4 attention 为 15.2 秒。官方代码只支持单 GPU，FastVideo 增加了多 GPU 支持，4 卡生成 15 秒片段快 7 倍。NVFP4 QAD 通过向 BF16 Flex 蒸馏，比普通量化更接近 BF16 14-17%；FP4 attention 把 768p 15 秒片段从 101.8 秒降到 85.3 秒。项目同时支持在 DGX Spark 上运行，5 秒 480p 首尾帧片段耗时 59.5 秒，并支持 Open-H3-Regenerate-2K 的 2K 模型，开放权重、推理代码和完整训练配方。
匹配字段摘要
Hao AI Lab 将 MiniMax H3 Flex 接入 FastVideo，单…
Hao AI Lab 把 Pika Labs 开源的 MiniMax H3 Flex 接入 FastVideo，官方开源推理代码在单 GB200 上生成 5 秒 480p 带音频视频需 59.7 秒，FastVideo BF16 为 26.6 秒、NVFP4 QAD 为 16.8 秒、FP4 attention 为 15.2 秒。团队称其比官方代码快至多 7 倍，并补充了多 GPU 支持，4 卡生成 15 秒片段快 7 倍。NVFP4 QAD 对 BF16 Flex 做蒸馏，比普通量化更接近 BF16 14-17%；FP4 attention 把 768p 15 秒片段从 101.8 秒降到 85.3 秒。该片段在单台 DGX Spark 上耗时 59.5 秒，FastVideo 同时支持 Open-H3-Regenerate-2K 的 2K 模型，权重、推理代码和完整训练配方均已开放。
匹配字段摘要
FastVideo 支持 Open-H3-Regenerate-2K 模型
Hao AI Lab 宣布 FastVideo 已支持来自 HaoZhe65347 与 NVIDIA AI 的 Open-H3-Regenerate-2K 模型，并给出 2K 模型链接。该系列此前介绍 FastVideo 对 Pika Labs 开源的 MiniMax H3 Flex 做了推理优化，单张 GB200 上 5 秒 480p 带音频视频耗时 5.8 秒，比官方开源推理代码快至多 7 倍，并新增多 GPU 支持。
匹配字段摘要
Hao AI Lab 将 MiniMax H3 Flex 接入 FastVideo，单卡…
Hao AI Lab 宣布 Pika Labs 开源的 MiniMax H3 Flex 已接入 FastVideo，官方称其推理速度最高比官方开源推理代码快 7 倍，在单张 NVIDIA GB200 上生成 5 秒 480p 带音频视频耗时 5.8 秒。同一提示词与随机种子下，5 秒带音频片段官方代码耗时 59.7 秒，FastVideo BF16 为 26.6 秒，NVFP4 QAD 为 16.8 秒，FP4 attention 为 15.2 秒；官方代码仅支持单 GPU，FastVideo 增加了多 GPU 支持，15 秒片段在 4 张 GPU 上快 7 倍。NVFP4 QAD 以 BF16 Flex 为蒸馏目标，比普通量化更接近 BF16 14-17%；FP4 attention 将 768p 15 秒片段从 101.8 秒降至 85.3 秒。5 秒 480p 首尾帧片段在单台 DGX Spark 上耗时 59.5 秒，并支持来自 Hao AI Lab 与 NVIDIA 的 Open-H3-Regenerate-2K 模型。权重、推理代码和完整训练配方均已开放。
匹配字段摘要、正文
Cohere Model Vault 上线第三方开源模型，支持 DeepSeek V4.1…
Cohere 在 Model Vault 与 Model Vault Encrypted 中上线第三方开源模型，企业可在全托管加密推理平台上同时运行 Cohere 自家模型和 DeepSeek V4.1 Flash、GLM 5.3 Flash、Gemma 4、GPT-OSS、Phi 等开源模型。Model Vault 默认对提示词和输出实行零数据保留，Encrypted 版本借助机密计算让 Cohere 和云厂商都无法看到数据。Model Vault 已在美国、欧盟和加拿大上线，Encrypted 版本目前仅限美国，欧盟和加拿大即将支持。
匹配字段摘要、正文
Cartesia 如何在 AWS 上构建超低延迟语音 AI 应用
AWS 合作伙伴 Cartesia 基于 State Space Models（SSMs）在 AWS 上提供首字节延迟低于 100ms 的语音模型：Sonic 文本转语音约 90ms 出首音频、支持 44 种以上语言和 10 秒音频样本声音克隆，Ink 语音转文字支持原生轮次检测与流式转写。SSM 以固定大小隐藏状态和逐 token 处理实现原生流式推理，避免 Transformer 处理整段序列带来的延迟。
匹配字段摘要、正文
Google DeepMind 为 Antigravity 推出化学信息学技能
Google DeepMind 为 Google Antigravity 发布一套化学信息学技能（Cheminformatics Skills），基于 RDKit 并接入 ChEMBL 与 PubChem，由语言模型负责任务编排与科学推理、确定性化学工具执行分子计算。以肺癌药物为例，智能体在约一小时内检索数千个化合物、完成匹配分子对分析并训练效力预测模型，还提出带合成路线的新型刚性化大环分子设计。团队同时说明，稀疏数据、实验室间检测噪声和窄动态范围会限制预测精度，计算设计只是可验证的假设，仍需实验合成验证。该技能已在 Antigravity 上线，安装 Science 插件即可使用，并向 1 万名科学家提供 6 个月最高用量档免费名额。
匹配字段摘要、正文
KVCache Meetup Korea 2026 活动回顾：XCENA、SK hynix、FuriosaAI 与…
PyTorchKR 与 XCENA 于 2026 年 9 月 30 日联合举办 KVCache Meetup Korea，来自 XCENA、SK hynix、FuriosaAI 和 LMCache 的讲者分享了 LLM 推理与 KV Cache 优化工作。SK hynix 用 2 张 H100、Llama 3.1 8B 和 vLLM 实测发现 prefill 阶段 GPU 计算占用高、decode 阶段 HBM 带宽占用高；FuriosaAI 则称在 12,370 token 提示词下取回 host cache 生成首 token 约 92 ms，重算约 900 ms。
匹配字段摘要、正文