搜索“推理”

vLLM深化编译优化推理

2025年8月20日,vLLM 官方介绍了 torch.compile 的工作原理及其与 vLLM 的集成方式。该方案结合编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理,并已在 vLLM V1 的在线与离线推理中默认启用。部分融合优化最高可带来15%的性能提升。后续方向包括缩短启动时间、采用更稳定的 API,以及探索与 MPK、Mirage 编译器的集成。

百川智能推出医疗推理模型

2025年8月11日,百川智能发布医疗增强推理模型Baichuan-M2。百川智能称,该模型在HealthBench评测中超过包括gpt-oss-120b在内的所有开源模型。目前,Baichuan-M2已开放在线试用。

Liquid AI公布小模型数学推理训练方法

2025年6月24日,Liquid AI 公布其小模型数学推理训练方法。该方法基于 1.3B 参数的 LFM 模型,使用约 4.5M 样本进行监督微调,并采用短程强化学习,训练出 LFM-1.3B-Math。据其介绍,该模型在有限响应预算下具备简洁数学推理能力,且无需数学专用预训练,适合内存和生成速度受限的边缘设备部署。目前进展为方法已公开,模型定位面向边缘端部署。

Prime Intellect开源分布式推理代码库

2025年4月28日,Prime Intellect发布分布式推理栈预览,并开源PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个代码库,目标是让消费级GPU通过公网连接运行推理。文章指出,流水线并行通信需求最低,适合分布式环境,但同步流水线会因100ms级跨洲延迟形成吞吐上限,而异步微批调度在内存带宽受限的解码阶段无法带来训练那样的加速。团队称已可用私有硬件通过公网跑推理,正把组件接入自家栈,用于SYNTHETIC-2合成数据运行。

vLLM扩展Llama 4推理支持

2025年4月5日,vLLM宣布从v0.8.3起支持Llama 4 Scout(17B-16E)和Maverick(17B-128E),可部署长上下文原生多模态推理。在8张H100上,Scout支持100万上下文,Maverick约为43万;配置相应参数后,每次请求最多可输入10张图像。A100已支持bf16版本,AMD MI300X可通过源码构建运行;Scout的单张H100 INT4量化版本仍在开发中。

字节跳动开源大模型推理平台AIBrix

2025年2月21日,vLLM宣布在其项目下开源由字节跳动开发的AIBrix。该项目是面向Kubernetes大规模大语言模型推理的控制平面,提供部署、管理和扩展能力。初始版本支持LoRA管理、LLM路由与自动扩缩容、分布式推理和KV cache、异构GPU服务及硬件故障检测。AIBrix已应用于字节跳动多个业务场景。

vLLM解析分布式推理扩展

2025年2月17日,vLLM介绍了在多GPU或多节点环境中部署超出单卡容量大模型的分布式推理方案。该方案结合张量并行与流水线并行:张量并行能够降低延迟,但依赖高带宽互连;流水线并行的通信开销较低,更适合跨节点部署。案例显示,从TP=1扩展至TP=2后,KV cache block增加13.9倍,token吞吐量提升3.9倍。目前输入材料未提供此后的新进展。

Llama Stack接入vLLM推理

2025年1月27日,Llama Stack引入两种vLLM推理Provider:一种通过OpenAI兼容服务器进行远程调用,另一种与Llama Stack服务器并行运行。vLLM官方以Llama-3.2-1B-Instruct为例,演示了本地容器和Kubernetes部署,并使用Llama Stack Client测试推理请求。目前,该故事仍处于活跃状态。

Gemini推理模型获实验更新

2025年1月22日,Gemini 2.0 Flash Thinking 根据用户反馈获得一次实验性更新。相关信息感谢用户提出建议,但未说明此次更新包含哪些功能、带来何种具体变化,也未交代可用范围或上线安排。目前输入材料未提供更多后续进展。

模型增强推理并开放代码执行

2025年1月22日,Noam Shazeer表示,团队提升了一款未具名模型在数学、科学和多模态推理基准上的表现:AIME、GPQA和MMMU成绩分别达到73.3%、74.2%和75.4%。同日披露的新增能力还包括启用100万上下文窗口,以支持更复杂的研究任务,并允许开发者开启代码执行功能。目前输入材料未提供此后进一步更新。

Liquid AI公布小模型推理训练方法

Liquid AI 公布 LFM-1.3B-Math 小模型数学推理训练方法

查看事件：Liquid AI公布小模型数学推理训练方法

Prime Intellect开源分布式推理代码库

Prime Intellect 开源 PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个分布式推理研究代码库

查看事件：Prime Intellect开源分布式推理代码库

Zyphra 推出数学与代码推理模型 ZR1-1.5B

2025年4月10日,Zyphra 推出面向数学与代码的小型推理模型 ZR1-1.5B。据 Zyphra Research 发布的信息,该模型基于 DeepSeek-R1-Distill-Qwen-1.5B,用强化学习在代码与数学题上训练。在 LCB_Generation 上,它与 Claude3-Opus、Gemma2-27B 持平;在竞赛数学上超过 Qwen2.5-72B。其推理 token 比 R1-Distill-1.5B 少 60%,比 DeepScaleR 少 53.5%。截断到 2048 token 时,数学评测平均 pass@1 达 40.39%,高于 Qwen-2.5-Math-7B-Instruct 的 37.01%。目前尚无后续发展事实。

Zyphra 推出数学与代码推理模型 ZR1-1.5B

Zyphra 推出 ZR1-1.5B 推理模型

查看事件：Zyphra 推出数学与代码推理模型 ZR1-1.5B

METR 发文主张 AI 推理应可读且忠实

2025年3月11日,METR 发表文章,主张 AI 系统的推理过程应当既「可读」(人类能读懂)又「忠实」(真实反映模型的决策过程)。文章认为,这样的推理有助于发现 AI 错误、检测隐藏议程、监控欺骗行为和识别能力造假。文章还指出,OpenAI、Anthropic、xAI、Google DeepMind 和 DeepSeek 都在过去四个月里发布了推理模型,其当前产出的推理已具价值、值得保留。截至现有证据,该主张仍为 METR 单方发文,尚无后续发展事实。

METR 发文主张 AI 推理应可读且忠实

METR 发表文章主张 AI 推理应当既可读又忠实

查看事件：METR 发文主张 AI 推理应可读且忠实

vLLM介绍分布式推理方案

vLLM 介绍 张量并行与流水线并行推理方案

查看事件：vLLM解析分布式推理扩展

antirez 称推理模型本质上仍是 LLM

2025年2月10日,antirez 在其原创博客撰文提出判断,认为推理模型本质上仍是大语言模型。他指出,DeepSeek R1 是纯 decoder-only 自回归模型,仍是下一 token 预测,模型内部没有任何显式符号推理或表示。他提到,R1 Zero 无需任何监督微调即可获得类似推理能力,仅靠生成思维链并用强化学习优化奖励函数;S1 论文显示少至 1000 个样本就能让模型构建复杂推理步骤。基于这些观察,antirez 认为曾断言 LLM 是死路的人错了。目前该判断仅有其本人博客这一来源,尚无后续发展事实。

antirez 称推理模型本质上仍是 LLM

antirez 提出判断 推理模型本质上仍是 LLM

查看事件：antirez 称推理模型本质上仍是 LLM

Llama Stack接入vLLM推理

vLLM 为Llama Stack提供 远程与内联推理Provider

查看事件：Llama Stack接入vLLM推理