搜索“推理”

Together AI推出Pearl推理端点

vLLM统一TPU推理后端

2025年10月16日,vLLM宣布其TPU支持改由tpu-inference驱动,通过统一的JAX到XLA降低路径兼容PyTorch与JAX,无需修改模型代码时吞吐量提高约20%。新版默认采用SPMD,并引入RPA v3,支持任意模型规格、量化数据类型和张量并行;其在Trillium(v6e)上的吞吐量较RPA v2提高约10%。目前整体性能已接近2025年2月首个TPU原型的5倍,同时支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。

vLLM发布语义推理路由层

2025年9月11日,vLLM推出开源意图感知推理路由层Semantic Router,可依据查询复杂度选择快速路径或思维链推理模式。官方试验显示,该设计使准确率提高约10%,延迟和token用量均减少约50%,并支持通过Kubernetes和Envoy部署。其v0.1路线图还包括语义缓存、多因素路由、性能测试和路由策略可视化。

Prime Intellect开源分布式推理代码库

2025年4月28日,Prime Intellect发布分布式推理栈预览,并开源PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个代码库,目标是让消费级GPU通过公网连接运行推理。文章指出,流水线并行通信需求最低,适合分布式环境,但同步流水线会因100ms级跨洲延迟形成吞吐上限,而异步微批调度在内存带宽受限的解码阶段无法带来训练那样的加速。团队称已可用私有硬件通过公网跑推理,正把组件接入自家栈,用于SYNTHETIC-2合成数据运行。

vLLM扩展Llama 4推理支持

2025年4月5日,vLLM宣布从v0.8.3起支持Llama 4 Scout(17B-16E)和Maverick(17B-128E),可部署长上下文原生多模态推理。在8张H100上,Scout支持100万上下文,Maverick约为43万;配置相应参数后,每次请求最多可输入10张图像。A100已支持bf16版本,AMD MI300X可通过源码构建运行;Scout的单张H100 INT4量化版本仍在开发中。

字节跳动开源大模型推理平台AIBrix

2025年2月21日,vLLM宣布在其项目下开源由字节跳动开发的AIBrix。该项目是面向Kubernetes大规模大语言模型推理的控制平面,提供部署、管理和扩展能力。初始版本支持LoRA管理、LLM路由与自动扩缩容、分布式推理和KV cache、异构GPU服务及硬件故障检测。AIBrix已应用于字节跳动多个业务场景。

vLLM推出集群级推理服务方案

2025年1月21日,vLLM团队与LMCache团队发布开源参考实现vLLM Production Stack,将单节点vLLM扩展为可在GPU集群运行的完整推理服务。该项目支持KV cache共享与存储、前缀感知路由、TTFT和TBT等指标观测以及自动扩缩容,并可通过Helm chart部署到Kubernetes。多轮问答基准结果显示,其首个token延迟和token间延迟优于vLLM与KServe组合及一个商业端点服务。

vLLM 0.6.0提升推理性能

2024年9月5日,vLLM发布v0.6.0。与v0.5.3相比,该版本吞吐量提升1.8至2.7倍:Llama 8B吞吐量提升2.7倍、每输出令牌时间加快5倍;Llama 70B吞吐量提升1.8倍、每输出令牌时间减少2倍。优化包括拆分API服务器与推理引擎、多步批量调度、异步输出处理、对象缓存及非阻塞数据传输。目前,多步调度仍可能导致令牌间延迟波动,并在请求率较低时增加首令牌延迟。

伯克利开源高效推理库vLLM

2023年6月20日,UC Berkeley发布开源大语言模型推理与服务库vLLM。该库通过PagedAttention管理KV cache,无需修改模型架构。官方实验显示,其吞吐量最高可达HuggingFace Transformers的24倍、TGI的3.5倍,并将内存浪费降至4%以下。LMSYS部署后,提供服务所需的GPU数量减少了50%。

Together AI推出Pearl推理端点

Together AI与Pearl Research Labs 合作推出 折价的Gemma-4-31B-it-pearl推理端点

查看事件：Together AI推出Pearl推理端点

goose 发布内置本地推理

2026年4月24日,goose 发布内置本地推理能力,该能力基于 llama.cpp,集成于 goose 桌面应用中。用户在应用内选择 Local provider 后,可直接从 Hugging Face 下载量化 GGUF 模型并在本机运行,无需 Ollama、Docker 或外部服务器,也无需 API key,可离线使用。官方说明指出,本地模型首次请求需 30–120 秒加载,上下文多为 4K–8K token,工具调用是最大短板,Gemma 4 表现较好,而模拟模式仅限 shell 命令;官方建议从小模型起步并使用 Code Mode。目前该事实尚无后续发展。

goose 发布内置本地推理

goose 发布 内置本地推理（基于 llama.cpp）

查看事件：goose 发布内置本地推理

Prime Intellect开源分布式推理代码库

Prime Intellect 开源 PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个分布式推理研究代码库

查看事件：Prime Intellect开源分布式推理代码库

vLLM发布生产级推理栈

vLLM团队与LMCache团队 发布 开源项目vLLM Production Stack

查看事件：vLLM推出集群级推理服务方案

Hao AI Lab将MiniMax H3 Flex接入FastVideo

2026年11月4日,Hao AI Lab宣布将Pika Labs开源的MiniMax H3 Flex接入FastVideo,官方称其推理速度最高达到官方开源推理代码的7倍。在单张GB200上,同一提示词和随机种子生成5秒480p带音频视频,官方代码耗时59.7秒,FastVideo BF16为26.6秒,NVFP4 QAD为16.8秒,FP4 attention为15.2秒。官方代码仅支持单GPU,FastVideo增加多GPU支持后,4卡生成15秒视频提速7倍;单台DGX Spark生成5秒480p首尾帧视频耗时59.5秒。项目同时开放权重、推理代码和完整训练配方,并支持Open-H3-Regenerate-2K的2K模型。

Hao AI Lab在FastVideo中支持MiniMax H3 Flex

2026年11月4日,UCSD Hao AI Lab宣布将Pika Labs开源的MiniMax H3 Flex接入FastVideo。据其发布的信息,官方开源推理代码在单GB200上生成5秒480p带音频视频需59.7秒,而FastVideo BF16为26.6秒、NVFP4 QAD为16.8秒、FP4 attention为15.2秒。Hao AI Lab称其比官方代码快至多7倍,并补充了多GPU支持,4卡生成15秒片段快7倍。NVFP4 QAD对BF16 Flex做蒸馏,比普通量化更接近BF16 14-17%;FP4 attention把768p 15秒片段从101.8秒降到85.3秒。该片段在单台DGX Spark上耗时59.5秒。FastVideo同时支持Open-H3-Regenerate-2K的2K模型,权重、推理代码和完整训练配方均已开放。

Hao AI Lab宣布FastVideo支持Open-H3-Regenerate-2K

2026年11月4日,UCSD Hao AI Lab 宣布,FastVideo 已支持来自 HaoZhe65347 与 NVIDIA AI 的 Open-H3-Regenerate-2K 模型,并给出该 2K 模型的链接。同一来源还回顾了该系列此前的工作:FastVideo 对 Pika Labs 开源的 MiniMax H3 Flex 做了推理优化,在单张 GB200 上生成 5 秒 480p 带音频视频耗时 5.8 秒,比官方开源推理代码快至多 7 倍,并新增多 GPU 支持。目前尚无后续发展事实。

Google DeepMind为Antigravity推出化学信息学技能

2026年11月3日,Google DeepMind为Google Antigravity发布一套化学信息学技能(Cheminformatics Skills)。该技能基于RDKit,接入ChEMBL与PubChem,由语言模型负责任务编排与科学推理,确定性化学工具执行分子计算。以肺癌药物为例,智能体在约一小时内检索数千个化合物、完成匹配分子对分析并训练效力预测模型,还提出带合成路线的新型刚性化大环分子设计。Google DeepMind同时说明,稀疏数据、实验室间检测噪声和窄动态范围会限制预测精度,计算设计只是可验证的假设,仍需实验合成验证。该技能已在Antigravity上线,安装Science插件即可使用,并向1万名科学家提供6个月最高用量档免费名额。

NVIDIA扩展Cosmos平台训练工具与数据蓝图

2026年10月22日,NVIDIA宣布扩展Cosmos平台,新增训练工具、仿真检查点和Cosmos Data Factory蓝图,以帮助开发者构建世界模型。据NVIDIA Newsroom发布的信息,Cosmos Data Factory提供五个云原生蓝图,已通过GitHub、Microsoft Azure、Nebius和CoreWeave提供;保时捷用其构建共享自动驾驶数据飞轮,预计减少最多90%的重复实车测试、缩短最多85%的开发周期。Cosmos Framework的训练、优化与部署工具以agent skills形式扩展到GR00T、Alpamayo、QWEN、Pi0.5等开源模型,Cosmos 3 NIM微服务在验证配置下推理速度提升最多2倍。目前尚无后续发展。

Karpathy用Claude Opus 5.5两小时做出HackerTube

Andrej Karpathy 在周末用 Claude Code 配合 Opus 5.5,约两小时做出视频站 HackerTube。据阿易 AI Notes 报道,他把 Hacker News 二十年间约 4300 万条评论筛成 6454 个常被推荐的长视频,网站无需登录,封面取视频中间帧,浏览状态保存在本地浏览器会话。他本人只手动申请 Google Cloud 的 YouTube API 密钥、租 VPS 和买域名,随后把 IP 交给 Claude,由它完成部署、安全加固和代码优化。36氪 · AI 后续报道补充,他使用的是 Claude Code 桌面版与 Opus 5.5 的 Medium 推理强度,页面布局复刻 YouTube,并可将底层数据导出交给自己的 AI 代理重做一版。目前该事件无进一步公开进展。