搜索“推理”

vLLM-Omni团队发布技术报告

vLLM-Omni团队发布了vLLM-Omni技术报告。相关证据显示,蚂蚁inclusionAI在GitHub发布vLLM-Omni仓库,该框架在vLLM基础上扩展全模态模型推理与服务,支持文本、图像、音频、视频和动作数据处理,并支持DiT等非自回归架构。README显示其已迭代至0.30.0,对齐vLLM 0.30.0,新增MiniCPM-o 4.5与AURA的全双工会话服务、Mooncake AR-to-DiT跨阶段KV与多模态传输,以及在NVIDIA Blackwell和昇腾950上的MiniMax H3 Turbo实时推理。框架提供OpenAI兼容API服务、流式输出和分布式并行推理,并列出Qwen3-Omni、MiniMax H3、Wan2.2、π0.5等已支持模型。目前尚无后续发展事实。

Google发布LiteRT Tensor API

2026年10月19日,Google发布LiteRT Tensor API,允许开发者在C++中逐算子构建端侧模型计算图。据Google Developers Blog介绍,同一份代码可经LiteRT运行在CPU、GPU(ML Drift)和NPU上,也可不经模型文件直接通过XNNPACK在CPU运行。官方用该API手写SAM 2并部署到浏览器WebGPU,称在MacBook Pro上比Apple MLX快约1.5倍,输出掩码与Meta PyTorch参考逐像素一致。该API还支持从.safetensors直接加载权重,并让预处理、推理与后处理通过共享加速器缓冲区串联,避免数据回传CPU。目前尚无后续发展事实。

Conway Research推出本地AI助手Underdog并获投资

Conway Research推出首款个人AI助手Underdog,该助手完全运行在用户设备上,可离线使用,目前已有Mac和Windows测试版。据智东西2026年10月19日报道,成立8个月的Conway Research同时获得a16z、Anthropic投资联合体等投资。其模型包括基于Qwen3.8 27B打造的Saluki 27B和Woof 4B,其中Saluki 27B已开源,权重体积为全精度版本的1/7、保留96%性能;配套推理引擎Husky在MacBook上让Woof 4B每秒最多处理730个token,比MLX快4.5倍。产品还上线基于Qwen-Image Flash、Qwen-Image-2.1-Turbo的本地图像生成与编辑,以及与Stripe合作的设备端智能体支付。目前尚无后续发展事实。

Fireworks推出Free Weights Club,免费开放Muse Glimmer 30B的SFT训练

Fireworks AI 推出 Free Weights Club,并免费开放 Muse Glimmer 30B 的 SFT 训练。据其发布的信息,该 SFT 训练在 11 月 30 日前免费,无需信用卡,推理与评估调用另行计费。同一来源还称,用 Kalshi 市场数据训练出的 tuned Glimmer 在未见主题上预测准确率为 58.3%,比 Jev 的 47.1% 高 11.2 个百分点;历史回测中,假设的 1000 美元在计入模拟手续费后变为 1071 美元,base Glimmer 和 Jev 均为亏损。System One 服务栈在另一项合成基准中,中位服务端处理速度比标准 BF16 chat completions 快 2-3 倍。目前没有后续发展事实。

doubleAI发布首个代码执行模型Maxwell

2026年10月19日,Amnon Shashua 的新公司 doubleAI 发布首个产品 Maxwell,称其属于名为 Code Execution Models(CEM)的新类别,在代码与芯片之间优化软件执行效率,且不修改源代码。据 CTech 报道,doubleAI 称 Maxwell 会持续分析运行中的程序、硬件与数据并优化底层机器指令,同时用形式化数学验证每次优化不改变程序原有行为,支持 CPU 和 GPU。公司称 Maxwell 在真实负载上让数据管道提速超过 38 倍、AI 推理 kernel 提速超过 4.5 倍,这些数字未经独立验证。Maxwell 现已通过官网开放早期访问,doubleAI 计划按节省的算力成本向客户收费。目前尚无后续发展事实。

Elorian发布首个AI模型Glimpse

2026年10月17日,Elorian发布其首个AI模型Glimpse。据Testing Catalog报道,Glimpse能在思考过程中回到视频的特定时间点、放大细节,或以更高帧率重放半秒视频后再作答。Elorian自测显示,Glimpse在科学图表阅读和短视频描述上优于GPT-6 Astra;在规划机械臂将奶油奶酪放入碗中的模拟任务时,Glimpse成本为0.035美元,GPT-6 Astra为0.249美元;演示中Glimpse解出5个难度递增的迷宫,Gemini 3.8 Flash解出1/5。同日另一篇报道称,Elorian将Glimpse定位为首个视觉推理模型,用于比较视频中不同时间点的场景变化,并将这种基于帧的推理称为visual thinking,其推理过程中可回到源视频、裁剪区域、抽取指定帧或运行代码来测量和比较所见内容,该机制被称为visual scratch space;联合创始人Andrew M. Dai称其在关键公开视觉推理基准上具备与Astra竞争的前沿性能。目前该模型发布后尚无进一步有证据支持的发展。

Google 面向开发者开放 Gemini 4 Argon

2026年10月13日,Google 宣布开发者即日起可用 Gemini 4 Argon 构建应用,该前沿模型面向真实软件工程、企业知识工作和网络安全防御等复杂工作流,针对需要深度推理与结构精度的长周期任务设计,官方同时给出 Gemini API 开发者指南、Google Antigravity 与 Android Studio 的使用入口。同日,Google 披露一次无人值守实验:让 Argon 在 11 小时内优化约 20.5 万行代码的开源框架 google/adk-python,模型提出 6 项优化,经人工评审后 2 项合入主干,长会话的内存会话准备时间减少约 40%,冷启动导入提速 21%。10月14日,Sundar Pichai 称这是对 Argon 4 安全与对齐工作的良好总结;Ethan Mollick 评价 Gemini 4 相比此前 Gemini 模型是大幅跃升,但在复杂多智能体任务上仍落后。10月15日,Google 开始向 AI 编程工具 Antigravity 推送 Gemini 4 Argon 支持。

千问发布AI眼镜N1、N1 Pro及AI耳夹式耳机

2026年10月,千问发布AI眼镜N1、N1 Pro及AI耳夹式耳机。据智东西报道,三款产品同步发售,N1售价2218元起,N1 Pro售价2600元起,耳机售价1099元起;N1系列均搭载5000万像素传感器,支持4K超清录像、实况照片和全天候环境感知,N1 Pro额外整合高精度眼动追踪、虹膜核身、健康监测与热插拔换电,官方公布综合续航8小时。另有报道称,该系列起售价为2999元,Pro版3499元,耳机1299元,并称眼镜通过骨传导麦克风与Qwen助手交互,单次充电待机最长25小时或播放音乐9小时。10月14日,Himax宣布其WiseEye HX6538超低功耗AI处理器已集成进千问AI眼镜N1系列,以5毫瓦功耗实现始终在线的设备端视觉AI推理,检测到人或事件时才唤醒主系统。

Physical Intelligence 的 Pi API 进入 beta

2026年10月14日,Physical Intelligence 宣布 Pi API 进入测试版,向更多团队开放。据官方说明,该 API 支持上传机器人数据、微调其能力最强的模型,并把机器人接入云端推理,基础设施由官方负责。官方同时表示,此前该公司已与多个行业的企业合作,将模型适配到从采摘草莓到组装服务器的各类机器人上。目前该 API 处于测试版阶段,官方邀请团队通过链接加入测试版。

Gemini 4 Argon 在 Gemini 应用中上线

2026年10月13日,Gemini 4 Argon 在 Gemini 应用中上线。据 Google Blog 介绍,该模型主打前沿推理和复杂任务性能提升,回答更直接、少重复、少套话,长任务中会更频繁地同步进度;编码能力也有明显改进,Google Antigravity 的智能体编码界面已直接进入 Gemini macOS 应用,主聊天窗口新增 chat 到 tasks 的切换开关,任务模式下 Gemini 可在用户离开电脑时继续工作。Gemini 目前接入超过 40 个应用,包括 Instacart、OpenTable、Adobe 和 Shopify。10月14日,Gemini 宣布 Gemini 4 Argon 能把视频或摄像头画面重新想象成可演奏的合成器,用户可在 Canvas 中快速搭建交互式音频应用,设定氛围后把摄像头当作乐器来演奏。

Meta 推出 Muse Wonder 与 Muse Wonder Full 模型

Meta 于 2026 年 10 月 13 日发布 Muse Wonder 系列,包含 Muse Wonder 和 Muse Wonder Full 两款模型,称其为目前能力最强的模型,在个人与专业智能体任务上达到 SOTA,覆盖法律、金融、健康等专业领域及前沿编码能力。两款模型具备 Active Memory 与 Active Focus,按 Meta Superintelligence Scaling Framework 训练、评估和发布。Artificial Analysis 数据显示,两款模型在 Intelligence Index v4.3 最高推理强度下分别得 52 和 56,高于 Muse Spark 1.3(max)的 48;Muse Wonder 已在 Meta 一方 API 和 Muse Code 上线,Muse Wonder Full 仅面向 Muse Code 用户。同日,Arena 将两款模型纳入 Agent Arena 测试,Simon Willison 发布 llm-meta-ai 0.2 插件支持新模型。10 月 14 日,Arena 公布 Muse W

Nadella宣布将Maia家族扩展至多吉瓦部署

2026年10月12日,Satya Nadella宣布微软将把自研Maia芯片家族扩展至多吉瓦级部署,使其成为自家产品与服务的主要推理系统,并发布第三代加速器Maia 300。据同一事实的报道,微软计划从2027年起以多吉瓦规模部署Azure Maia AI芯片;Maia 300于2027年出货,面向长输入、快速对话和智能体任务,微软称其每兆瓦token数比领先GPU系统高40%,96芯片机架的token产出最高可达Maia 200机架的7倍。现有部署方面,Maia 200已在美国、欧洲和澳大利亚运行Microsoft Copilot,GitHub Copilot和Foundry将在年底前跟进;微软称其在Teams中每瓦token数最高可达领先GPU的1.7倍。目前尚无该宣布之后的进一步有证据发展。

InternLM 发布 Intern-Decision 多模态决策模型仓库

2026年10月14日,InternLM 发布 Intern-Decision 多模态决策模型仓库。据同一来源的报道,该模型将状态、可选图像和多个带类型的问题转化为带概率的决策,支持 choice、score 和 noul(是/否)三类问题;训练时微调 Qwen3.5 的语言主干,并冻结视觉塔和投影器。Intern-Decision-4B 在七套基准上平均准确率 90.02%,在 RTX 4090 上本地平均请求延迟 44.16 ms,在 96 例校准基准上 Brier 为 0.550、ECE 为 0.089。该版本包含训练、两种推理后端、基准评分、温度校准和浏览器 demo,但训练数据、校准与验证记录、图像及模型权重未包含在内。目前尚无后续有证据的发展。

World Labs 签署最终协议加入 AMD

World Labs 已签署最终协议加入 AMD,该交易预计在 2026 年底前完成,尚待监管批准及其他惯例交割条件。据 World Labs Blog 发布的信息,双方自去年起在 AMD GPU 上进行模型训练与推理优化,并由此决定把软件与硬件、基础模型和应用整合到一起。李飞飞将出任 AMD 执行副总裁兼首席科学家,直接与 CEO 苏姿丰合作;Justin Johnson 和 Ben Mildenhall 将继续带领 World Labs 团队,共同构建覆盖硬件、软件、平台和开放模型的全栈开放 AI 生态。目前该事项仍处于待监管批准及交割条件满足的阶段。

World Labs 分享 R2S2R 引擎早期结果

World Labs 分享了其 real-to-sim-to-real(R2S2R)引擎的早期结果。该引擎由 7 月 21 日加入的 SceniX 团队开发,把真实机器人任务重建为对齐的仿真世界。官方称,策略可完全在仿真中训练、零真实训练数据,并直接迁移到多种真实机器人平台,覆盖可变形线缆、铰接盒、刚性物体和杂乱抓取等任务;仿真还能预测策略在硬件上的相对表现与失败区域,用于筛选 checkpoint、降低真机评测成本。World Labs 同时宣布机器人公司 SceniX 加入,以推进能感知、生成、推理并交互虚拟与物理世界的空间智能,并称 SceniX 已构建的早期技术细节将在后续公布。

Physical Intelligence 开源机器人模型仓库 openpi

2026年10月16日,Physical Intelligence 团队开源了机器人模型仓库 openpi,其中包含两类视觉语言动作(VLA)模型:基于流式扩散的 π0 和基于 FAST 动作分词器的自回归模型 π0-FAST,两者均提供在 10k+ 小时机器人数据上预训练的 base checkpoint。仓库同时给出 DROID、ALOHA 等平台的微调与推理示例。资源需求方面,推理需 8GB 以上显存,LoRA 微调需 22.5GB 以上,全量微调需 70GB 以上;目前仅测试过 Ubuntu 22.04,训练脚本尚不支持多节点训练。截至现有证据,该仓库发布后暂无进一步有证据支持的发展。

Nvidia发布面向智能体AI的Vera CPU机架规格

Nvidia于10月12日发布Vera CPU Rack规格,首次推出以CPU为核心的服务器机架设计,面向智能体AI(agentic AI)负载。按其架构,GPU版Vera Rubin NVL72机架负责传统LLM训练与推理,Vera CPU Rack则处理智能体AI负载。该机架基于第三代MGX架构,并将Vera Rubin机架及MGX 1.2的抽屉式计算托盘设计提交至Open Compute Project的Open DC Initiative。MGX 1.2兼容19英寸机架设备,单机架支持最高250kW,并引入机架级液冷。目前尚无后续发展事实。

Intel公布Crescent Island规格并命名GPU D-Series

2026年10月13日,Intel公布原代号Crescent Island的AI推理GPU详细规格,并将其命名为Intel GPU D-Series。据The Elec报道,该系列是首个采用Intel最新Xe3P GPU架构的产品线,首款型号D270采用风冷设计和PCIe 5.0接口,无需专用机架或液冷即可装入数据中心,配备32个Xe3P核心和256个矩阵引擎,FP8算力1.3 petaFLOPS,功耗350瓦,支持160GB至480GB LPDDR5X内存,单卡可运行最高3000亿参数模型,八卡系统可支持最高1万亿参数模型,目前正向客户提供验证样品。SiliconANGLE报道称,Intel在OCP全球峰会上主张推理而非训练将定义企业AI经济,并给出1.5 TB/s内存带宽等规格。Intel同时推出面向智能体AI、符合OCP ORV3标准的机架设计,基于Xeon 6+的配置功耗为133.45 kW。

Intel公布Crescent Island规格并命名GPU D-Series

Intel 公布规格并命名 Crescent Island AI推理GPU，品牌名Intel GPU D-Series

查看事件：Intel公布Crescent Island规格并命名GPU D-Series

平头哥发布训推一体AI芯片真武V900

平头哥发布新一代训推一体AI芯片真武V900。据集微网报道,该芯片在9月22日杭州云栖大会上发布,单芯片性能达到真武M890的三倍,可满足万亿级参数大模型训练和推理需求,计划2027年第一季度量产售卖。报道称,真武V900搭载216GB显存、片间互联带宽1200GB/s,原生支持FP8、FP4低精度计算,并可与自研ICN Switch互联芯片组成千卡全带宽高速互联超节点。平头哥同时首次公布倚天服务器CPU规划,2027年将推出倚天720和倚天730。目前尚无后续发展事实。