Sarvam AI 开源 Sarvam 30B 和 Sarvam 105B 两款从零训练的推理模型，预训练分别使用 16T 和 12T token，训练全程在印度完成，采用 IndiaAI mission 提供的算力。两款模型均为 MoE 架构，30B 仅 2.4B 激活参数并使用 GQA，105B 采用 MLA，权重可从 AI Kosh 和 Hugging Face 下载，并支持 Transformers、vLLM、SGLang 本地推理。官方称两者在印度语言基准上取得领先结果，30B 已用于对话智能体平台 Samvaad，105B 用于 AI 助手 Indus。
匹配字段标题
Gemini 3.1 Flash-Lite 面向高吞吐量工作负载，在推理、可靠性和扩展性方面优于 2.5 Flash，且成本更低。该模型引入 thinking levels，可按任务复杂度调整计算量，让高吞吐量任务不产生思考开销，同时为复杂边缘情况提供推理能力。
匹配字段标题
SGLang 与 NVIDIA 合作，在 InferenceXv2 基准上于 GB300 NVL72 运行 DeepSeek R1 时相比 H200 实现最高 25 倍性能提升，该对比基于 50 TPS/user 的低延迟场景。借助 NVFP4 GEMM、计算通信重叠和 NVIDIA Dynamo 等优化，SGLang 在 GB200 NVL72 上的性能也在不到 4 个月内提升最高 8 倍。后续将推进 GB300 NVL72 的 MTP 支持及 Qwen 3.5 等模型的调优。
匹配字段标题
LMSYS 分享了在 GB300 NVL72 上优化 DeepSeek R1-NVFP4 长上下文（128K/8K ISL/OSL）推理的进展，SGLang 实现最高 226 TPS/GPU，较 GB200 提升 1.53 倍。在相同吞吐下 MTP 将单用户吞吐提升 1.87 倍，匹配延迟条件下 GB300 较 GB200 提升 1.38X-1.58X TPS/GPU。GB300 的 288GB HBM 支持 1.6 倍有效解码批大小（40 vs 24 req/GPU），128K 预填充 TTFT 为 8.6s。
匹配字段标题
Redwood Research 指出，推理成本上升有两种原因：LLM 承担了人类耗时更长的更大任务，或在同一任务上消耗了相对人类成本更高比例的算力。只有后者才算推理扩展，前者只是更大任务消耗更多 token。作者以 50% 可靠性时间跨度与人类成本占比构成的帕累托前沿分析，并推测 2025 年前沿主要以前者方式移动。
匹配字段标题
Qwen 团队发布旗舰推理模型 Qwen3-Max-Thinking，通过扩大参数规模并投入大量算力做强化学习，在事实知识、复杂推理、指令遵循、人类偏好对齐和智能体能力上均有提升，在 19 项基准上表现与 GPT-5.2-Thinking、Claude-Opus-4.5、Gemini 3 Pro 相当。模型新增自适应工具调用能力，可在对话中自主调用内置的 Search、Memory 和 Code Interpreter，已在 chat.qwen.ai 上线；同时采用经验累积的多轮测试时扩展策略，在 GPQA、HLE、LiveCodeBench v6 等基准上优于标准并行采样。API 模型名为 qwen3-max-2026-01-23，兼容 OpenAI 与 Anthropic 接口协议，可直接配合 Claude Code 使用。
匹配字段标题
Sebastian Raschka 将提升 LLM 答案质量与准确性的推理时扩展方法归纳为多个类别，重点讨论不改变模型权重的训练后技术。内容涵盖 CoT 提示、自洽性、Best-of-N 排序、验证器拒绝采样、自我改进和解题路径搜索；相关实验经超参数调优后进行了数千次运行，使基础模型准确率从约 15% 提升至约 52%。
匹配字段标题
Liquid AI 发布 LFM2.5-1.2B-Thinking，一款完全在设备端运行的推理模型，在手机上内存占用低于 900 MB，已在 Hugging Face、LEAP 和 Playground 上线。该模型为 1.2B 参数，相比 LFM2.5-1.2B-Instruct 在 MATH-500 上从 63 提升到 88、Multi-IF 从 61 提升到 69、BFCLv3 从 49 提升到 57，并在多数推理基准上匹配或超过参数量多 40% 的 Qwen3-1.7B。训练上采用课程式 RL 与模型合并，通过偏好对齐和 n-gram 重复惩罚把 doom loop 比例从 15.74% 降到 0.36%，并获 Qualcomm、Ollama、FastFlowLM、Cactus Compute 等新发布伙伴支持。
匹配字段标题
SGLang-Diffusion 自 2025 年 11 月初发布以来，经两个月优化后（docker 镜像 lmsysorg/sglang:dev-pr-17247）比初版快 2.5 倍，在 NVIDIA GPU 上比其他方案最高快 5 倍。新增对 Flux.2、Qwen-Image-Edit-2511、Z-Image-Turbo、GLM-Image 等模型的 Day-0 支持，并集成 Cache-DiT、支持 LoRA 与 ComfyUI 自定义节点。
匹配字段标题
Gemini 3 Flash 已上线，将 Gemini 3 的 Pro 级推理能力整合进更精简的模型，同时提供 Flash 级的延迟、效率和成本。目前可通过 API、Gemini App 和 Search 使用。
匹配字段标题
Modal 官方工程博客指出，AI 推理中的主机开销表现为 GPU kernel 利用率偏低，即 GPU 因等待 CPU 准备任务而空转。若主机开销达到 50%，推理的 GPU 成本将是原本的 2 倍，而 GPU 成本通常是推理成本的主要来源。文章建议用 PyTorch Profiler 或 Nsight Systems 追踪 CUDA 流中的空隙，并通过在 GPU 上构造张量、减少 CPU 与 GPU 间不必要的数据传输和同步来降低开销。
匹配字段标题
vLLM 与 TorchTitan 开源展示了逐位一致的在线强化学习方案，使 Qwen3 1.7B 的训练与推理数值完全匹配。实验中启用逐位一致性后，模型用更少步骤取得更高总奖励，但当前运行速度比非逐位一致方案慢 2.4x。
匹配字段标题
Ollama 与 OpenAI、ROOST 合作，将 gpt-oss-safeguard 推理模型引入 Ollama，用于安全分类任务，提供 20B 和 120B 两个规模，采用 Apache 2.0 许可。该模型面向 LLM 输入输出过滤、在线内容标注和信任与安全场景，可读取用户自带的书面策略，并开放完整推理过程供调试，推理强度支持 low、medium、high 三档调节。OpenAI 在内部评测和 2022 年论文发布的审核数据集及 ToxicChat 上对其进行了评估。
匹配字段标题
vLLM 与 NVIDIA 针对 Blackwell 优化大语言模型推理，在相近延迟下，gpt-oss 120B 和 Llama 3.3 70B 的吞吐量较上一代 Hopper 最高提升约 4x。双方通过一百多个 pull request 优化注意力、GEMM、MoE 内核、图融合和异步调度，并加入自动量化后端选择与 FlashInfer 自动调优。SemiAnalysis InferenceMAX 每日更新测试结果，以不同输入输出长度和 Pareto 前沿比较吞吐量与响应速度。
匹配字段标题
Browser Use 发布 0.8.0，推出 ChatBrowserUse 网关，称在保持相同性能的前提下把延迟降低 6 倍，智能体可达每分钟 20 步。官方称 BU 1.0 准确率约 65%，与 Claude Sonnet 4、Claude Sonnet 4.5、Gemini 2.5 Computer Use、OpenAI Computer-Using Model 等计算机使用模型相当，但速度快 4 倍，单条轨迹纯 LLM 推理时间约 68 秒，其他模型约 225 至 330 秒。使用时只需配置 BROWSER_USE_API_KEY 一个环境变量即可接入。
匹配字段标题
LG AI Research 发文解读阿里通义实验室的 WebDancer 论文，该方法通过网页搜索工具增强大推理模型（LRM）的长链推理，缓解长推理中的信息缺口与模型幻觉。论文提出 CRAWLQA 与 E2HQA 两种合成数据生成方法：前者基于 arXiv、GitHub、Wikipedia 等多跳网页生成 QA，后者将简单事实问题逐步改写为需多步推理的难题。
匹配字段标题
Jakub Pachocki 团队的推理模型在约 5 小时内解出 2025 ICPC 世界总决赛全部 12 道题，而最佳人类队伍解出 11 道。该模型族此前还在 AtCoder Heuristics World Finals 获得第二名，并在国际数学奥林匹克和国际信息学奥林匹克中获得金牌；团队下一步将研究更开放、时间跨度更长的问题及长期运行模型的安全与对齐。
匹配字段标题
vLLM Semantic Router 为 vLLM 推理引擎提供开源的意图感知路由层，按查询复杂度选择快速路径或 CoT 推理模式。试验中，该设计使准确率提高约 10%、延迟降低约 50%、token 减少约 50%，并支持通过 Kubernetes 和 Envoy 部署。v0.1 路线图包括语义缓存、多因素路由、性能测试和路由策略可视化。
匹配字段标题
文章系统解析 vLLM V1 如何从单 GPU 离线推理扩展到多 GPU、多节点异步服务。内容涵盖调度器、PagedAttention、连续批处理、前缀缓存、引导解码、推测解码、P/D 分离及分布式请求链路，并说明如何用 vllm bench 衡量延迟与吞吐量。分析基于 2025 年 8 月 9 日的 commit 42172ad。
匹配字段标题
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 `--cpu-offload-gb 16`，遇到 flash_infer 问题可暂用 `VLLM_ATTENTION_BACKEND=XFORMERS`。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。
匹配字段标题