搜索“推理”

Ant Ling与NVIDIA优化Ling-3.0-flash单卡推理

2026年10月29日,蚂蚁百灵(Ant Ling)与NVIDIA AI团队合作,在单台NVIDIA DGX Spark上对开放权重模型Ling-3.0-flash的推理进行优化,采用三种技术。在1,319道GSM8K题目上,解码吞吐从37.81 tok/s提升至53.89 tok/s(+42.5%),平均延迟从15.21s降至11.49s(-24.5%),准确率无统计上可检测的变化。目前尚无后续进展。

查看事件：Ant Ling与NVIDIA优化Ling-3.0-flash单卡推理

Baseten成为Postman企业Agent推荐推理合作伙伴

Baseten于2026年10月30日成为Postman面向企业智能体的推荐推理合作伙伴,负责为通过Postman Agent Stack构建的智能体提供生产环境推理与后训练支持。Baseten在工程博客中称,其2026年发布的七款模型API在Artificial Analysis的吞吐与延迟排名中均进入前二,其中Beam 1.0、DeepSeek V4.1 Flash等位列第一。该博客还提到,Harvey使用Baseten后训练27B开源模型,在法律智能体基准上追平闭源前沿模型,而后者每任务成本约50美元。目前尚无后续发展事实。

Baseten成为Postman企业Agent推荐推理合作伙伴

Baseten于2026年10月30日成为Postman面向企业智能体的推荐推理合作伙伴,负责为通过Postman Agent Stack构建的智能体提供生产环境推理与后训练支持。Baseten在工程博客中称,其2026年发布的七款模型API在Artificial Analysis的吞吐与延迟排名中均进入前二,其中Beam 1.0、DeepSeek V4.1 Flash等位列第一。该博客还提到,Harvey使用Baseten后训练27B开源模型,在法律智能体基准上追平闭源前沿模型,而后者每任务成本约50美元。目前尚无后续发展事实。

查看事件：Baseten成为Postman企业Agent推荐推理合作伙伴

DeepSeek在GitHub开源推理引擎DeepInfer

2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。

查看事件：DeepSeek在GitHub开源推理引擎DeepInfer

Google升级Play services中LiteRT GPU推理

Google Developers Blog 于2026年10月28日发布消息,Google Play services 中的 LiteRT 迎来最大升级:基于 ML Drift 的 GPU 推理比旧版 GPU delegate 快约 1.4 倍,并通过新的 CompiledModel API 提供。切换到该运行时后,应用体积约缩小 8 MB,因为运行时随 Play services 统一分发而不再打包进 APK。目前已有超过 10 万个 Android 应用自带 LiteRT 或 TensorFlow Lite。该方案支持 Android 7 及以上、Wear OS 4+ 和 Android Automotive OS(Android 11+),NPU 支持仍在开发中。

OpenRouter宣布对所有推理请求进行CSAM筛查

OpenRouter于2026年10月27日宣布,将在请求处理过程中对所有推理请求进行儿童性虐待材料(CSAM)筛查。根据其公告,筛查包括将内容与已知CSAM的哈希值比对,也会保留未命中哈希但被分类器标记的疑似内容;被标记为疑似CSAM的内容可能被保留以供人工审核,并依法报告和保存。公告还说明,该筛查同样适用于OpenRouter零数据保留(ZDR)政策覆盖的请求,ZDR不豁免依法报告和保存的义务。目前尚无后续发展事实。

Google为A2UI推出可替换推理格式A2UI Express

Google于2026年10月27日为A2UI推出可替换推理格式,其中A2UI Express成为新的默认格式。据Google Developers Blog介绍,Express可将延迟降低至多3倍,生成同类UI所需token减少至多3倍;配合Jev等决策模型做布局决策时,延迟降幅可达80倍。该格式已登陆Python agent SDK(a2ui-agent-sdk 0.9.0)、TypeScript SDK(@a2ui/agent)和Dart SDK(a2ui_agent 0.0.1-wip004),开发者创建generator时用一个参数即可切换格式。目前尚无后续发展报道。

Google Play services中的LiteRT获GPU推理升级

Google Developers Blog 于2026年10月28日发布消息,Google Play services 中的 LiteRT 迎来最大升级:基于 ML Drift 的 GPU 推理比旧版 GPU delegate 快约 1.4 倍,并通过新的 CompiledModel API 提供。切换到该运行时后,应用体积约缩小 8 MB,因为运行时随 Play services 统一分发而不再打包进 APK。目前已有超过 10 万个 Android 应用自带 LiteRT 或 TensorFlow Lite。该方案支持 Android 7 及以上、Wear OS 4+ 和 Android Automotive OS(Android 11+),NPU 支持仍在开发中。

查看事件：Google升级Play services中LiteRT GPU推理

OpenRouter宣布对所有推理请求进行CSAM筛查

OpenRouter于2026年10月27日宣布,将在请求处理过程中对所有推理请求进行儿童性虐待材料(CSAM)筛查。根据其公告,筛查包括将内容与已知CSAM的哈希值比对,也会保留未命中哈希但被分类器标记的疑似内容;被标记为疑似CSAM的内容可能被保留以供人工审核,并依法报告和保存。公告还说明,该筛查同样适用于OpenRouter零数据保留(ZDR)政策覆盖的请求,ZDR不豁免依法报告和保存的义务。目前尚无后续发展事实。

查看事件：OpenRouter宣布对所有推理请求进行CSAM筛查

Google为A2UI推出可替换推理格式A2UI Express

Google于2026年10月27日为A2UI推出可替换推理格式,其中A2UI Express成为新的默认格式。据Google Developers Blog介绍,Express可将延迟降低至多3倍,生成同类UI所需token减少至多3倍;配合Jev等决策模型做布局决策时,延迟降幅可达80倍。该格式已登陆Python agent SDK(a2ui-agent-sdk 0.9.0)、TypeScript SDK(@a2ui/agent)和Dart SDK(a2ui_agent 0.0.1-wip004),开发者创建generator时用一个参数即可切换格式。目前尚无后续发展报道。

查看事件：Google为A2UI推出可替换推理格式A2UI Express

Redwood Research提出应加速AI概念推理能力

Redwood Research于2026年10月27日在其博客发文,主张应差异化加速AI的概念推理能力,即类似哲学、缺乏可验证标准、依赖先验论证的任务。该机构认为,这类能力对对齐等安全工作至关重要,却因对AI研发和商业应用价值低而被AI公司忽视,目前投入不足。其初步工作显示,few-shot prompting等基础引导手段和小规模训练可让模型在主概念推理基准上提升相当于3到12个月前沿进展的分数。

查看事件：Redwood Research提出应加速AI概念推理能力

Redwood Research提出应加速AI概念推理能力

Redwood Research于2026年10月27日在其博客发文,主张应差异化加速AI的概念推理能力,即类似哲学、缺乏可验证标准、依赖先验论证的任务。该机构认为,这类能力对对齐等安全工作至关重要,却因对AI研发和商业应用价值低而被AI公司忽视,目前投入不足。其初步工作显示,few-shot prompting等基础引导手段和小规模训练可让模型在主概念推理基准上提升相当于3到12个月前沿进展的分数。

DeepSeek开源推理框架DeepInfer

2026年10月20日,DeepSeek开源内部推理框架DeepInfer。据Yuchen Jin引用DeepSeek披露的数据,单个集群每天处理155万亿token,每GPU小时产生38美元收入(非高峰定价),DeepInfer同时支持NVIDIA Blackwell和华为昇腾;36氪后续报道称其配套开源deepseek-recipe,支持英伟达SM100 GPU与华为昇腾Ascend 950 NPU。10月21日,swyx引用Latent.Space数据称单集群日处理155T tokens、输入缓存命中率96%,认为每块已售GPU生命周期价值上涨约30%。10月24日,Nathan Lambert称DeepSeek单集群日处理150T tokens,超过OpenRouter、Fireworks、Together和BaseTen开源模型推理量之和,并指出实际集群数量不明;同日LMSYS公布同硬件基准对比,称SGLang在DeepInfer自有基准上达到或超过DeepInfer,prefill吞吐最高1.04x,64x GB300上decode步长缩短1.1%–7.4%。

Raschka分享八段推理模型从零实现视频课程

2026年10月25日,Dongxi 东锡 NLP 推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》,称其为地球上唯三最好的构建推理模型课程。被引帖中,Raschka 表示完整的从零构建推理模型视频系列已上线并附上链接,他本人将短暂休息,11 月回归更新 LLM 模型与研究动态。此前在10月24日,Raschka 已发布该配套视频课,共八讲、11 小时,从预训练的 Qwen3 0.6B 出发,用 Python/PyTorch 实现数学答案验证器、推理时扩展、简化 GRPO 版 RLVR 和蒸馏,并在 MATH-500 上评估;早期生成与评测可在 CPU 上完成,后续训练建议使用 GPU。目前课程已开放,东锡的推荐帖构成最新公开动态。

查看事件：Dongxi 东锡 NLP 推荐 Raschka 推理模型课程

Dongxi 东锡 NLP 推荐 Raschka 推理模型课程

2026年10月25日,Dongxi 东锡 NLP 推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》,称其为地球上唯三最好的构建推理模型课程。被引帖中,Raschka 表示完整的从零构建推理模型视频系列已上线并附上链接,他本人将短暂休息,11 月回归更新 LLM 模型与研究动态。此前在10月24日,Raschka 已发布该配套视频课,共八讲、11 小时,从预训练的 Qwen3 0.6B 出发,用 Python/PyTorch 实现数学答案验证器、推理时扩展、简化 GRPO 版 RLVR 和蒸馏,并在 MATH-500 上评估;早期生成与评测可在 CPU 上完成,后续训练建议使用 GPU。目前课程已开放,东锡的推荐帖构成最新公开动态。

联想团队测试存算融合池化系统推理性能

联想团队测试了存算融合池化系统的推理性能。联想集团首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统,针对KV Cache容量不足和GPU访存开销大两大痛点。测试显示,内存池卸载使首Token延迟降低3.5倍,KV跨实例共享相比完全重算最高加速12~28倍,注意力计算下沉后解码延迟降低2.5倍,端到端吞吐随上下文变长提升6~20倍。团队下一步计划借助超节点scale-up互连从G2.5向G1.5演进。

联想团队测试存算融合池化系统推理性能

联想团队测试了存算融合池化系统的推理性能。联想集团首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统,针对KV Cache容量不足和GPU访存开销大两大痛点。测试显示,内存池卸载使首Token延迟降低3.5倍,KV跨实例共享相比完全重算最高加速12~28倍,注意力计算下沉后解码延迟降低2.5倍,端到端吞吐随上下文变长提升6~20倍。团队下一步计划借助超节点scale-up互连从G2.5向G1.5演进。

查看事件：联想团队测试存算融合池化系统推理性能

MiniMax与Inferact合作推进模型生产推理

2026年10月23日,MiniMax宣布与Inferact建立合作,共同推进MiniMax模型的生产推理。MiniMax表示,相关工程改进已回馈至vLLM项目,并感谢Inferact团队从第一天起就在生产环境中支持M3.1 Flash。目前该合作由MiniMax官方发布,尚无后续进展披露。

MiniMax与Inferact合作推进模型生产推理

2026年10月23日,MiniMax宣布与Inferact建立合作,共同推进MiniMax模型的生产推理。MiniMax表示,相关工程改进已回馈至vLLM项目,并感谢Inferact团队从第一天起就在生产环境中支持M3.1 Flash。目前该合作由MiniMax官方发布,尚无后续进展披露。

查看事件：MiniMax与Inferact合作推进模型生产推理

MiniMax感谢将H3带到TPU并期待高效视频推理开源工作

MiniMax就SGLang将MiniMax H3纳入SGLang-TorchTPU的TPU支持列表作出回应,发表感谢,并表示期待更多围绕高效视频推理的开源工作。SGLang称,SGLang-TorchTPU由SGLang与Google TPU团队、Meta PyTorch团队共同打造,已用于Meta的生产推理,支持模型包括Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash和MiniMax H3。目前尚无后续发展事实。