搜索“推理”

伯克利开源高效推理库vLLM

2023年6月20日,UC Berkeley发布开源大语言模型推理与服务库vLLM。该库通过PagedAttention管理KV cache,无需修改模型架构。官方实验显示,其吞吐量最高可达HuggingFace Transformers的24倍、TGI的3.5倍,并将内存浪费降至4%以下。LMSYS部署后,提供服务所需的GPU数量减少了50%。

Google DeepMind为Antigravity推出化学信息学技能

2026年11月3日,Google DeepMind为Google Antigravity发布一套化学信息学技能(Cheminformatics Skills)。该技能基于RDKit,接入ChEMBL与PubChem,由语言模型负责任务编排与科学推理,确定性化学工具执行分子计算。以肺癌药物为例,智能体在约一小时内检索数千个化合物、完成匹配分子对分析并训练效力预测模型,还提出带合成路线的新型刚性化大环分子设计。Google DeepMind同时说明,稀疏数据、实验室间检测噪声和窄动态范围会限制预测精度,计算设计只是可验证的假设,仍需实验合成验证。该技能已在Antigravity上线,安装Science插件即可使用,并向1万名科学家提供6个月最高用量档免费名额。

OpenClaw上线Particle-1

2026年11月3日,OpenClaw上线Particle-1,该模型已在OpenClaw中可用。据@particle_api称,与DeepSeek V4.1 Flash相比,Particle-1输出token减少约45%,基准准确率相当,且标准推理不保留任何数据。用户升级到OpenClaw v2026.10.10即可试用。目前尚无后续发展。

LG AI Research提出DistPFN缓解表格模型标签偏移

LG AI Research在ICML 2026博客中指出,TabPFN等表格基础模型存在标签偏移问题:在OpenML的253个数据集中约85%(214个)类别不平衡,极端情况下98.3%的测试样本被预测为多数类,少数类召回几乎崩溃。为此,LG AI Research提出DistPFN,在推理阶段用预测概率乘以相对训练类比例的校正因子,无需改架构、重训练或估计测试标签分布。目前该工作以官方博客形式发布,尚无后续进展披露。

消息称DeepSeek V5计划基于昇腾芯片预训练

2026年11月3日,据《科创板日报》报道,多名产业链人士称,DeepSeek下一代大模型DeepSeek V5计划基于华为昇腾芯片进行预训练。东方财富同日报道提到,此前昇腾芯片主要用于DeepSeek模型的推理任务;2026年4月DeepSeek-V4发布后,华为称昇腾超节点全系列产品已可全面支持V4系列模型;9月30日DeepSeek开源了面向昇腾算力平台的TileLang编译工具、DeepGEMM、FlashMLA、DeepEP等基础设施组件。报道还称,目前国产算力落地仍集中在推理侧,此前昇腾910C集群完成的DeepSeek-V4-Pro全参数后训练不涉及基础预训练。

ARC Prize公布DeepSeek V4.1 Flash 1017评测结果

ARC Prize于2026年11月3日公布DeepSeek V4.1 Flash 1017在ARC-AGI上的验证成绩:ARC-AGI-2为78.1%、每任务0.16美元,ARC-AGI-1为94.5%、每任务0.06美元;ARC-AGI-3在provider adapter harness下为5.8%、成本1.2K美元,标准harness下为0.2%、1.0K美元。ARC Prize称该模型在ARC-AGI-3和ARC-AGI-2上领先开源权重模型,在ARC-AGI-1上追平开源权重模型最好成绩。与2026年9月10日的原版V4.1 Flash相比,1017的ARC-AGI-3半私有集分数从2.68%升至5.81%,公开集从11.05%降至8.97%;在最大推理强度下,其首个动作消耗的推理token在25个公开游戏上平均减少36%,在55个半私有游戏上减少48.6%。

AWS发布在SageMaker AI上用SeqKD蒸馏购物Agent教程

2026年11月3日,AWS Machine Learning官方博客发布教程,介绍如何在Amazon SageMaker AI上用序列级知识蒸馏(SeqKD)构建高效购物智能体。教程以Amazon Bedrock上的GLM-5.3为教师模型生成轨迹,用ShoppingBench评分器只保留解出任务的轨迹,再对Qwen3.5-4B学生模型做服务端无服务器SFT。在324道留出测试题上,蒸馏后4B学生平均绝对成功率从0.297提升到0.541,与教师模型和中等规模前沿模型基本持平;去掉教师推理过程只学工具调用时,平均成功率降至0.415。目前该教程已随官方博客公开。

NVIDIA扩展Cosmos平台训练工具与数据蓝图

2026年10月22日,NVIDIA宣布扩展Cosmos平台,新增训练工具、仿真检查点和Cosmos Data Factory蓝图,以帮助开发者构建世界模型。据NVIDIA Newsroom发布的信息,Cosmos Data Factory提供五个云原生蓝图,已通过GitHub、Microsoft Azure、Nebius和CoreWeave提供;保时捷用其构建共享自动驾驶数据飞轮,预计减少最多90%的重复实车测试、缩短最多85%的开发周期。Cosmos Framework的训练、优化与部署工具以agent skills形式扩展到GR00T、Alpamayo、QWEN、Pi0.5等开源模型,Cosmos 3 NIM微服务在验证配置下推理速度提升最多2倍。目前尚无后续发展。

Karpathy用Claude Opus 5.5两小时做出HackerTube

Andrej Karpathy 在周末用 Claude Code 配合 Opus 5.5,约两小时做出视频站 HackerTube。据阿易 AI Notes 报道,他把 Hacker News 二十年间约 4300 万条评论筛成 6454 个常被推荐的长视频,网站无需登录,封面取视频中间帧,浏览状态保存在本地浏览器会话。他本人只手动申请 Google Cloud 的 YouTube API 密钥、租 VPS 和买域名,随后把 IP 交给 Claude,由它完成部署、安全加固和代码优化。36氪 · AI 后续报道补充,他使用的是 Claude Code 桌面版与 Opus 5.5 的 Medium 推理强度,页面布局复刻 YouTube,并可将底层数据导出交给自己的 AI 代理重做一版。目前该事件无进一步公开进展。

Browser Use向所有美国云计划开放BU Ultrafast

Browser Use于2026年10月31日将最快的浏览器智能体BU Ultrafast从等待名单开放至美国所有Cloud套餐,免费版也包含在内。官方数据显示,BU Ultrafast任务中位耗时22秒、单次成本0.0064美元;作为对比,默认智能体在GPT-6 Luna上为79秒、0.0098美元。使用时只需把model设为bu-ultrafast;需要更多逐步推理可改用同一智能体的bu-fast,后者按标准费率计费。目前尚无后续发展。

Krea研究负责人@sleenyre将在SGLang Summit演讲

Krea宣布,其研究负责人@sleenyre将在SGLang Summit上发表演讲,内容涉及如何为Krea 3扩展强化学习与推理。该峰会定于11月12日至13日在旧金山Fort Mason举行。Krea于2026年10月31日发布这一消息,目前尚无关于演讲内容或筹备进展的进一步披露。

Krea研究负责人将在SGLang Summit演讲

Krea宣布,其研究负责人@sleenyre将在SGLang Summit上发表演讲,内容涉及如何为Krea 3扩展强化学习与推理。该峰会定于11月12日至13日在旧金山Fort Mason举行。Krea于2026年10月31日发布这一消息,目前尚无关于演讲内容或筹备进展的进一步披露。

查看事件：Krea研究负责人@sleenyre将在SGLang Summit演讲

OpenAI发布GPT-Rosalind-6系统卡附录

2026年10月31日,OpenAI发布GPT-Rosalind-6系统卡附录。该模型与GPT-6 Astra使用同一套权重,未新增训练数据或后训练,仅通过可信访问提供给经过审核的科研机构、企业和政府合作方。在最高推理预算下,MedChemBench v7平均评分49.6%(GPT-Rosalind-5.5为28.9%),GeneBench Pro v13单次尝试成功率37.7%(前代为16.7%),LifeSciBench Gold平均分61.3%(前代为44.0%)。按Preparedness Framework,该发布在生物与化学领域定为High能力、未达Critical阈值,网络安全领域定为Critical,AI自我改进低于High。目前尚无后续发展。

X.PIN公布天数智芯天垓300基准测试结果

X.PIN于2026年10月30日转述并公布天数智芯天垓300的基准测试数据。其报道称,在标准推理测试中,天垓300的吞吐量为Nvidia H200的1.05倍;在MoE负载下性能提升15%、首token延迟降低30%;微调Qwen3-32B时速度是H100的1.33倍。目前尚无后续发展或官方回应。

Ibiden决定投资1.28万亿韩元扩产CPU封装基板

日本半导体封装基板厂商Ibiden决定投资1.28万亿韩元,扩大AI服务器所用高性能CPU封装基板产能,新设备将从2029财年起分阶段投产。Ibiden预计,随着AI推理负载增长和agentic AI普及,CPU基板需求将持续上升。另一报道称,Ibiden计划投入1510亿日元(约合64亿元人民币),在岐阜县伽马工厂6号厂房扩建CPU用高性能IC封装载板产能,同样从2029财年起分阶段投产,但未披露新增产能规模。Ibiden 2026财年上半年营收2625.46亿日元、营业利润601.16亿日元,分别同比增长34.3%和84.6%。

Mistral在Hugging Face发布Large 4权重

2026年10月29日,Mistral发布Mistral Large 4(Le Chonk)的开放权重,这是一个1万亿参数的原生多模态模型,在预览版基础上继续强化学习,编码与防御性网络安全能力提升。据Mistral AI公布的数据,该模型在FrontierCode 2.0上得分19.7%,在Artificial Analysis Coding Agent Index上得48%,与GLM-5.3基本持平,但每任务平均少用47% token;Terminal-Bench 4.0提升13个百分点至41%。模型支持三种推理模式,采用修改版MIT的Mistral Ecosystem Open-Weight许可,API定价为每百万输入token $0.70、缓存输入$0.07、输出$2.10。同日,Unsloth发布该模型的1-bit GGUF量化版本,称可在Mac Studio上本地运行,量化后仍保留91% top-1准确率,并提供下载链接和使用指南。

海南算力与腾讯云签署战略合作协议

2026年10月30日,海南省算力科技有限公司与腾讯云签署战略合作协议,共同打造面向海南政企市场的“AI+算力”一体化解决方案。据第一财经、证券时报当日报道,腾讯云将为海南算力及其客户提供高性能计算、智能算力、存储及网络等资源,支撑省级人工智能公共服务平台的大规模训练与推理需求。双方还将围绕大模型调用Token开展商务合作,并结合自贸港数据跨境流动制度优势,探索Token出海、跨境算力输出等商业化路径。目前尚无后续进展披露。

ARC Prize称ARC-AGI三项基准分数呈强相关

ARC Prize于2026年10月29日提出判断,认为ARC-AGI三项基准的模型得分之间存在强相关关系。该机构绘制ARC-AGI模型得分后发现,幂曲线 v2 = v1^4.53 可解释约98%的ARC-AGI-2得分变化;在ARC-AGI-1上持平的模型,在ARC-AGI-2上仍可能相差超过20个百分点。ARC-AGI-3上也呈现类似趋势,但Gemini 4 Argon低推理档是明显例外:其ARC-AGI-2仅42.1%,ARC-AGI-3却达97.5%。目前尚无后续发展。

ARC Prize称ARC-AGI-2高分模型在ARC-AGI-3也倾向高分

ARC Prize提出一项判断:在ARC-AGI-2上得分更高的模型,往往在ARC-AGI-3上也得分更高。ARC Prize同时指出一个明显例外——低推理档的Gemini 4 Argon在ARC-AGI-2上仅得42.1%,但在provider adapter harness下于ARC-AGI-3上达到97.5%。目前该判断由ARC Prize一方发布,尚无其他发展事实。

甲骨文宣布在云服务中引入Cerebras AI芯片

甲骨文宣布将在其云基础设施中引入Cerebras Systems的AI芯片,为客户在英伟达GPU之外提供更多算力选择。据Data Center Knowledge报道,甲骨文同时计划在OCI上部署Google TPU以及来自OpenAI、Cerebras、SambaNova和Positron AI的推理芯片,其中TPU与Cerebras晶圆级引擎计划于2027年上线,Positron Atlas已可用。CNBC Technology同日报道称,Alphabet宣布甲骨文将提供Google的TPU,这是客户首次能在Google基础设施之外使用TPU。目前尚无后续进展披露。