Reducto 如何借助 Modal 将企业级文档处理 P90 延迟降低 3 倍
Reducto 将 30+ 模型的推理负载迁移到 Modal 后，P90 延迟降低 3 倍，GPU 内存快照把冷启动从约 70s 缩短到约 12s（降幅 83%）。在一次 10 万页/分钟吞吐测试中，其摄取流水线在不到一小时内扩展到 1000+ GPU 后干净回收，帮助其拿下大型企业客户。
匹配字段摘要
←搜索结果
搜索“推理”
Qwen 发布 DeepResearch 2511，新增双模式与本地文件解析
Qwen 发布 DeepResearch 2511，采用多智能体协同机制，在用户需求分析、策略规划、搜索验证、并行工具调用、网页阅读分析和报告撰写等环节联合优化，并配合 Memory 管理与研究状态跟踪。新版本提供 Normal 与 Advanced 双模式，支持上传 PDF、Excel 和图片等文件并融入搜索与推理，还可一键生成网页和播客。官方称在防幻觉率、报告全面性、可靠性、指令遵循、报告长度、搜索深度和研究时间等维度上，整体表现较 2507 版本有明显提升。
匹配字段摘要
标准 LLM 之外有哪些替代架构
Sebastian Raschka 梳理了标准自回归 Transformer 之外的线性注意力混合架构、文本扩散模型、代码世界模型和小型递归 Transformer。文章比较了这些路线在长上下文效率、生成质量、代码建模和专用推理上的取舍，并认为通用项目目前仍应优先采用成熟的自回归 Transformer。
匹配字段摘要
Modal 用 Pipecat 和开源模型实现一秒内语音到语音延迟
Modal 工程博客介绍了如何用 Modal、开源框架 Pipecat 和开源权重模型搭建语音 AI 聊天机器人，在客户端与容器就近部署时实现约一秒的中位语音到语音延迟。方案采用 Parakeet-tdt-v3 做语音转文字、Qwen3-4B-Instruct-2507 配合 vLLM 做 LLM 推理、Kokoro 做语音合成，并用 ChromaDB 与 all-minilm-l6-v2 完成 RAG 检索。作者还分享了用 Modal Tunnels 绕过输入平面降低网络延迟、通过区域固定和独立自动扩缩容控制成本的做法，代码已在 GitHub 仓库公开。
匹配字段摘要
NVIDIA Nemotron Nano 2 VL 发布并获 vLLM 支持
NVIDIA Nemotron Nano 2 VL 开源视觉语言模型发布，面向视频理解与文档智能，并获 vLLM 推理支持。模型采用混合 Transformer–Mamba 架构，通过 EVS 剪除冗余视频帧以减少 token。vLLM 夜间版本支持以 BF16、FP8 和 FP4 精度部署 OpenAI 兼容的推理服务器。
匹配字段摘要
Cognition 发布 SWE-1.5 编码模型，与 Cerebras 合作实现最高 950 tok/s
Cognition 发布面向软件工程的 SWE-1.5 模型，参数量达数千亿，在 SWE-Bench Pro 上接近前沿水平，并已上线 Windsurf。该模型与 Cerebras 合作部署，推理速度最高 950 tok/s，比 Haiku 4.5 快 6 倍、比 Sonnet 4.5 快 13 倍。Cognition 称其基于数千块 GB200 NVL72 芯片训练，并在自建 Cascade agent harness 与高质量编码环境中做端到端强化学习。
匹配字段摘要
Liquid AI 发布 LFM2-ColBERT-350M：多语言晚期交互检索模型
Liquid AI 发布 LFM2-ColBERT-350M，一款 350M 参数的晚期交互检索模型，支持跨语言检索——文档用一种语言存储、查询用另一种语言也能高精度召回。在扩展了日语和韩语的 NanoBEIR 基准上，其多语言能力显著强于 150M 参数的 GTE-ModernColBERT-v1，德语、阿拉伯语、韩语和日语提升明显，同时保持英语表现。凭借 LFM2 骨干，其推理吞吐与体积小 2.3 倍的模型相当，现已在 Hugging Face 上线并附交互 demo，可直接替换现有 RAG 流程。
匹配字段摘要
MiniMax 开源并发布面向 Agent 与编码的 M2 模型
MiniMax 正式开源并发布 MiniMax M2，定位为面向 Agent 与编码的模型，API 定价为每百万输入 token $0.30、每百万输出 token $1.20，约为 Claude 4.5 Sonnet 的 8%，在线推理 TPS 约 100。模型权重已在 Hugging Face 开源，支持 SGLang 与 vLLM 部署，推荐推理参数为 temperature=1.0、top_p=0.95、top_k=20，免费试用延长至 11 月 7 日 00:00 UTC。同时上线由 M2 驱动的 MiniMax Agent，提供 Lightning 与 Pro 两种模式，目前限时免费。
MiniMax 正式开源并发布 MiniMax M2，定位为面向 Agent 与编码的模型，API 定价为每百万输入 token $0.30、每百万输出 token $1.20，约为 Claude 4.5 Sonnet 的 8%，在线推理 TPS 约 100。模型权重已在 Hugging Face 开源，支持 SGLang 与 vLLM 部署，推荐推理参数为 temperature=1.0、top p=0.95、top k=20，免费试用延长至 11 月 7 日 00:00 UTC。同时上线由 M2 驱动的 MiniMax Agent，提供 Lightning 与 Pro 两种模式，目前限时免费。
匹配字段摘要
vLLM Sleep Mode 如何实现模型零重载切换
vLLM Sleep Mode 通过保留进程、内存分配器、CUDA 图和 JIT 内核，将多模型切换从完整重载的 30-100+ 秒缩短至秒级或亚秒级。Level 1 将权重卸载到 CPU RAM，Level 2 丢弃权重并在唤醒时从磁盘重载；两种模式的切换速度比完整重载快 18-200x，预热模型的推理速度比冷启动快 61-88%。
匹配字段摘要
vLLM 新增对 NVIDIA Nemotron 模型家族的部署支持
vLLM 现已支持部署 NVIDIA Nemotron 开放模型家族，可在数据中心和端侧硬件上运行智能体推理。Nemotron Nano 2 采用混合 Transformer–Mamba 架构并提供可配置的 thinking budget，开发者可调节精度、吞吐量和成本；其模型权重及超过 9T tokens 的训练数据已在 Hugging Face 提供。
匹配字段摘要
vLLM OpenAI 兼容 API 支持返回 token IDs，消除智能体强化学习的重新分词偏移
vLLM 从 v0.10.2 起为 OpenAI 兼容 API 增加 `return_token_ids` 参数，可随文本返回输入的 `prompt_token_ids` 和生成结果的 `token_ids`。该功能避免推理文本在训练时重新分词产生不同 token 序列，Agent Lightning v0.2 会自动启用参数并通过追踪能力收集训练所需数据。
vLLM 从 v0.10.2 起为 OpenAI 兼容 API 增加 return token ids 参数，可随文本返回输入的 prompt token ids 和生成结果的 token ids 。该功能避免推理文本在训练时重新分词产生不同 token 序列，Agent Lightning v0.2 会自动启用参数并通过追踪能力收集训练所需数据。
匹配字段摘要
Cognition 发布 SWE-grep 与 SWE-grep-mini，主打快速上下文检索
Cognition 发布 SWE-grep 和 SWE-grep-mini 两个专攻高并行上下文检索的智能体模型，称其检索能力追平前沿编码模型，耗时却少一个数量级，现已用于 Windsurf 新的 Fast Context 子智能体。模型每轮最多发起 8 个并行工具调用、最多 4 轮，经多轮强化学习训练后再蒸馏出 mini 版；借助 Cerebras 推理，SWE-grep-mini 超过 2800 tokens/秒，SWE-grep 超过 650 tokens/秒，对比 Haiku 4.5 的 140 tokens/秒分别快 20 倍和 4.5 倍。Fast Context 将随最新版本逐步向 Windsurf 用户开放，无需额外 UI 或命令，也可在 playground.cognition.ai 试用。
匹配字段摘要
METR 早期研究：QA 场景下监控可监控性的初步结果
METR 在 GPQA 生物学等 QA 数据集上测试了智能体欺骗监控模型的能力，发现监控规避率与侧任务难度负相关，且不同提示词效果差异显著。早期结果显示，8B 智能体经训练可成功欺骗更强的 GPT-4o 监控模型。研究使用 ART、Gray Swan 和 IntenseHiding 三种提示词，其中直接回答简单问题、无需链式推理的提示效果最佳。
匹配字段摘要
OpenHands 实用指南：如何为编程智能体挑选合适的大语言模型
OpenHands 官方博客按四类模型给出编程智能体选型建议：Claude Sonnet 4.5 快速均衡、擅长拆解任务，但常误报完成；GPT-5 推理强、适合复杂任务但耗时更长；Qwen3 Coder 480B、Kimi-K2 等大型开源权重模型可自部署、成本低至每会话 0.25-2 美元，但仅支持文本/代码；Qwen3 Coder 30B 等中型开源模型可在消费级硬件本地运行。
匹配字段摘要
Liquid AI 发布 LFM2-Audio-1.5B 端到端音频基础模型
Liquid AI 发布 LFM2-Audio-1.5B，一个端到端音频与文本生成基础模型，仅 1.5B 参数，支持音频和文本的任意输入输出组合。该模型在 VoiceBench 上取得 56.8 总分，端到端延迟低于 100 ms，推理速度比同类模型快 10 倍以上，可覆盖实时对话、ASR、TTS 和音频分类等场景。
匹配字段摘要
Amp 主模型切换至 Claude Sonnet 4.5
Amp 已将主模型切换为 Anthropic 最新发布的 Claude Sonnet 4.5。测试显示，该模型在编码方面减少了谄媚行为，文件编辑成功率更高，调试等复杂任务中的推理能力有所提升。用户更新 VS Code 扩展或 CLI 至最新版本即可自动启用。
匹配字段摘要
Liquid AI 发布 LFM2-2.6B 模型
Liquid AI 发布 LFM2 系列目前最大的模型 LFM2-2.6B，参数规模 2.6B，基于 10 万亿 token 训练，在 GSM8K 上达到 82.41%、IFEval 上达到 79.56%，官方称其表现超过 Llama 3.2-3B-Instruct、Gemma-3-4b-it 和 SmolLM3-3B 等 3B+ 级别模型。该模型主要针对英语和日语调优，同时保持法语、西班牙语、德语、意大利语、葡萄牙语、阿拉伯语、中文和韩语的性能。其混合架构交替使用 Grouped Query Attention（GQA）与短卷积层，官方称可带来更快的推理速度和更低的 KV cache 占用。模型已在 Hugging Face 上以 LFM Open License 开放。
匹配字段摘要
韩国首届 vLLM Meetup 在首尔举行
韩国首届 vLLM Meetup 于 2025 年 8 月 19 日在首尔举行，吸引 350+ 人报名，参与者来自 75+ 家公司。活动聚焦 llm-d 分布式推理、TPU 与 Rebellions NPU 集成、硬件插件系统，以及通过 LLM Compressor 和 Fits on Chips 实现量化与性能评估。
匹配字段摘要
又一次巨大飞跃：NVIDIA Rubin CPX 专用加速器与机架
NVIDIA 推出面向推理 prefill 阶段的 Rubin CPX，以更高算力占比和低成本内存减少 HBM 与 NVLink 资源浪费。单芯片提供 20 PFLOPS 稠密 FP4 算力、128GB GDDR7 和 2TB/s 带宽，并通过 PCIe Gen 6 联网。该产品将用于固定配置的 VR200 NVL144 CPX 或更灵活的 Vera Rubin CPX 双机架方案。
NVIDIA 推出面向推理 prefill 阶段的 Rubin CPX，以更高算力占比和低成本内存减少 HBM 与 NVLink 资源浪费。单芯片提供 20 PFLOPS 稠密 FP4 算力、128GB GDDR7 和 2TB/s 带宽，并通过 PCIe Gen 6 联网。该产品将用于固定配置的 VR200 NVL144 CPX 或更灵活的 Vera Rubin CPX 双机架方案。 · NVIDIA introduced Rubin CPX for the prefill phase of inference, using a compute-heavy design and lower-cost memory to reduce wasted HBM and NVLink resources. Each chip provides 20 PFLOPS of dense FP4 compute, 128GB of GDDR7, and 2TB/s of memory bandwidth, with PCIe Gen 6 connectivity. It will be deploye
匹配字段摘要
Linear 如何构建 Triage Intelligence
Linear 结合语义搜索、排序和大语言模型推理构建 Triage Intelligence，用现有积压事项识别重复与相关问题，并推荐标签、负责人等属性。团队从 GPT-4o mini 和 Gemini 2.0 Flash 转向 GPT-5 与 Gemini 2.5 Pro，采用可补充上下文的智能体方案，同时通过推理说明、思考面板和 Additional Guidance 提升透明度与可控性。该功能已作为技术预览向 Business 和 Enterprise 套餐开放。
匹配字段摘要