2025年10月16日,vLLM宣布其TPU支持改由tpu-inference驱动,通过统一的JAX到XLA降低路径兼容PyTorch与JAX,无需修改模型代码时吞吐量提高约20%。新版默认采用SPMD,并引入RPA v3,支持任意模型规格、量化数据类型和张量并行;其在Trillium(v6e)上的吞吐量较RPA v2提高约10%。目前整体性能已接近2025年2月首个TPU原型的5倍,同时支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。
匹配字段标题
2025年10月9日,vLLM与英伟达公布针对Blackwell架构的大语言模型推理优化及基准测试结果。双方通过一百多个拉取请求,改进注意力、GEMM、MoE内核、图融合和异步调度,并加入自动量化后端选择与FlashInfer自动调优。在相近延迟下,gpt-oss 120B和Llama 3.3 70B的吞吐量较上一代Hopper最高提升约4倍。SemiAnalysis InferenceMAX每日更新测试结果,按不同输入输出长度及Pareto前沿比较吞吐量与响应速度。
匹配字段标题
2025年9月18日披露,OpenAI的推理模型参加2025年国际大学生程序设计竞赛世界总决赛,并在约5小时内解出全部12道题,最佳人类队伍解出11道。该模型族此前还在AtCoder Heuristics World Finals获得第二名,并在国际数学奥林匹克和国际信息学奥林匹克中获得金牌。团队下一步将研究更开放、时间跨度更长的问题,以及长期运行模型的安全与对齐。
匹配字段标题
2025年9月11日,vLLM推出开源意图感知推理路由层Semantic Router,可依据查询复杂度选择快速路径或思维链推理模式。官方试验显示,该设计使准确率提高约10%,延迟和token用量均减少约50%,并支持通过Kubernetes和Envoy部署。其v0.1路线图还包括语义缓存、多因素路由、性能测试和路由策略可视化。
匹配字段标题
2025年9月5日,vLLM官方博客发布技术解析,系统介绍vLLM V1从单GPU离线推理扩展至多GPU、多节点异步服务的架构与机制。文章涵盖调度器、PagedAttention、连续批处理、前缀缓存、引导解码、推测解码、预填充与解码分离,以及分布式请求链路,并说明如何使用vllm bench衡量延迟和吞吐量。该分析基于2025年8月9日的commit 42172ad。
匹配字段标题
2025年8月20日,vLLM 官方介绍了 torch.compile 的工作原理及其与 vLLM 的集成方式。该方案结合编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理,并已在 vLLM V1 的在线与离线推理中默认启用。部分融合优化最高可带来15%的性能提升。后续方向包括缩短启动时间、采用更稳定的 API,以及探索与 MPK、Mirage 编译器的集成。
匹配字段标题
2025年8月11日,百川智能发布医疗增强推理模型Baichuan-M2。百川智能称,该模型在HealthBench评测中超过包括gpt-oss-120b在内的所有开源模型。目前,Baichuan-M2已开放在线试用。
匹配字段标题
2025年6月24日,Liquid AI 公布其小模型数学推理训练方法。该方法基于 1.3B 参数的 LFM 模型,使用约 4.5M 样本进行监督微调,并采用短程强化学习,训练出 LFM-1.3B-Math。据其介绍,该模型在有限响应预算下具备简洁数学推理能力,且无需数学专用预训练,适合内存和生成速度受限的边缘设备部署。目前进展为方法已公开,模型定位面向边缘端部署。
匹配字段标题
2025年4月28日,Prime Intellect发布分布式推理栈预览,并开源PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个代码库,目标是让消费级GPU通过公网连接运行推理。文章指出,流水线并行通信需求最低,适合分布式环境,但同步流水线会因100ms级跨洲延迟形成吞吐上限,而异步微批调度在内存带宽受限的解码阶段无法带来训练那样的加速。团队称已可用私有硬件通过公网跑推理,正把组件接入自家栈,用于SYNTHETIC-2合成数据运行。
匹配字段标题
2025年4月5日,vLLM宣布从v0.8.3起支持Llama 4 Scout(17B-16E)和Maverick(17B-128E),可部署长上下文原生多模态推理。在8张H100上,Scout支持100万上下文,Maverick约为43万;配置相应参数后,每次请求最多可输入10张图像。A100已支持bf16版本,AMD MI300X可通过源码构建运行;Scout的单张H100 INT4量化版本仍在开发中。
匹配字段标题
2025年2月21日,vLLM宣布在其项目下开源由字节跳动开发的AIBrix。该项目是面向Kubernetes大规模大语言模型推理的控制平面,提供部署、管理和扩展能力。初始版本支持LoRA管理、LLM路由与自动扩缩容、分布式推理和KV cache、异构GPU服务及硬件故障检测。AIBrix已应用于字节跳动多个业务场景。
匹配字段标题
vLLM与NVIDIA 联合优化并完成基准测试 Blackwell架构上的大模型推理性能
English translation is being prepared.
匹配字段标题
OpenAI推理模型 解决 2025年ICPC全部12道题目
English translation is being prepared.
匹配字段标题
vLLM 发布技术解析 高吞吐LLM推理系统的核心架构与扩展机制
English translation is being prepared.
匹配字段标题
Liquid AI 公布 LFM-1.3B-Math 小模型数学推理训练方法
English translation is being prepared.
匹配字段标题
Prime Intellect 开源 PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个分布式推理研究代码库
English translation is being prepared.
匹配字段标题
2025年4月10日,Zyphra 推出面向数学与代码的小型推理模型 ZR1-1.5B。据 Zyphra Research 发布的信息,该模型基于 DeepSeek-R1-Distill-Qwen-1.5B,用强化学习在代码与数学题上训练。在 LCB_Generation 上,它与 Claude3-Opus、Gemma2-27B 持平;在竞赛数学上超过 Qwen2.5-72B。其推理 token 比 R1-Distill-1.5B 少 60%,比 DeepScaleR 少 53.5%。截断到 2048 token 时,数学评测平均 pass@1 达 40.39%,高于 Qwen-2.5-Math-7B-Instruct 的 37.01%。目前尚无后续发展事实。
匹配字段标题
Zyphra 推出 ZR1-1.5B 推理模型
English translation is being prepared.
匹配字段标题
2025年3月11日,METR 发表文章,主张 AI 系统的推理过程应当既「可读」(人类能读懂)又「忠实」(真实反映模型的决策过程)。文章认为,这样的推理有助于发现 AI 错误、检测隐藏议程、监控欺骗行为和识别能力造假。文章还指出,OpenAI、Anthropic、xAI、Google DeepMind 和 DeepSeek 都在过去四个月里发布了推理模型,其当前产出的推理已具价值、值得保留。截至现有证据,该主张仍为 METR 单方发文,尚无后续发展事实。
匹配字段标题
METR 发表文章主张 AI 推理应当既可读又忠实
English translation is being prepared.
匹配字段标题