搜索“多模态”

Unsloth称可在笔记本本地运行训练120B+模型

2026年10月17日,Unsloth宣布适配NVIDIA RTX Spark,可在笔记本上本地运行和训练120B+参数模型。据其发布的信息,借助针对ARM平台CUDA优化的kernel和二进制文件,训练扩散模型、决策模型和多模态模型的速度提升约2.7倍,全部在本地完成,统一内存最高128GB。目前该消息仅有Unsloth一方发布,尚无其他来源的独立证据,也没有后续发展事实。

OpenRouter上线RespanAI决策模型Span-02

OpenRouter 宣布上线 RespanAI 的开放权重决策模型 Span-02。该模型可输入文本和图像,按自定义问题返回选项、是/否/未知或带概率的分数;定价为每百万输入 token 0.01 美元、输出免费,上下文长度 131K。OpenRouter 后续说明,Span-02 运行在 OpenRouter Decisions API 上,与其他决策模型请求格式相同,切换只需改一行模型名;图片与文本放在同一 state 中,每次请求最多 4 张。Respan 此前介绍称,Span-02 支持随时推理,给定截止时间即返回当前最优决策,可配置推理时长,并支持多模态看图与屏幕。目前该模型已在 OpenRouter 上线。

Apertus 1.5 支持原生图像与音频输入

2026年10月15日,Swiss AI 发布 Apertus 1.5,在 1.0 基础上加入原生图像与音频理解能力。该模型以早期融合方式把图像和音频转成离散 token,与文本在同一序列输入,架构不变,只理解多模态、仅输出文本。官方同时说明,Apertus 1.5 还加入思考模式和 262,144 tokens 上下文窗口,较 1.0 扩大 4 倍。官方称 8B 版本在指令遵循和多语言任务上优于同规模开源模型,多模态表现接近 Gemma 4 12B,并同步公开训练数据混合、偏好数据和各阶段中间检查点。目前尚无后续发展事实。

TypeSafe AI 发布 Jev 1.14 及预览功能

TypeSafe AI 发布 Jev 1.14,为现有 Jev 模型加入多模态能力,图像可出现在此前只能放文本的位置,并新增用于定位的边界框原语。官方称上下文长度提升到原来的 4 倍,`jev-preview` 现指向 `jev-1.14.0`,最大改进可能来自多语言支持。图像与边界框均属预览功能,官方提醒生产环境需谨慎使用。另一篇官方说明称该版本于 10 月 14 日下午 1:14 PT 发布,整体有小幅改进、多语言支持提升最明显,团队同时公开了自研的内部评测思路,并邀请开发者反馈 Jev 仍显笨拙之处。目前没有后续有证据的发展。

inclusionAI 开源 TorchTurbo 后训练引擎

2026年10月16日,蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo,一个 SuperNode 原生的后训练引擎,用于快速适配和训练 LLM 与 VLM。据官方仓库说明,该引擎基于 PyTorch FSDP2 和 Hugging Face Transformers,结合 FSDP、专家并行(EP)与 Ulysses 序列并行(SP),支持 MoE、多模态和稀疏注意力架构。目前仅支持训练,已提供 fsdp2 后端及 LlamaFactory、ms-swift 适配器,不支持评估、预测与生成。截至现有证据,尚无后续发展事实。

NAVER Cloud 在 NAACL 2025 提出 KoNET 基准

NAVER Cloud 在 2025 NAACL 论文中提出 KoNET 基准,将韩国小学至高中 GED(KoEGED、KoMGED、KoHGED)与高考 KoCSAT 题目转为图像,用于评测纯文本与多模态大语言模型。据该论文,GPT-4o、Claude 3.5 Sonnet 等商业 API 模型平均分超过 80%;EXAONE-3.0-7.8B 超过同参数量全球模型并追平 Qwen2-72B;开源多模态模型在韩语 OCR 上明显偏弱。目前尚无后续发展事实。

破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub

2026年10月14日,破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub。据量子位当日报道,该系统由四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,通过视觉与运动信号融合恢复全身姿态并采集手部接触压力;头环重量不超过220克,单个腕部手环不超过75克,头环内相机、IMU和UWB同步精度不超过0.5毫秒。雷锋网10月15日报道进一步称,该系统可同步采集第一视角视觉、手部全模态数据与全身运动信息,头环与腕部手环均支持连续24小时采集,配套自研平台可将人类数据转化为面向机器人学习的多模态训练数据。目前尚无后续发展事实。

MiniCPM-V 4.7 在 Apple Silicon 上实现端侧推理

2026年10月13日,面壁智能宣布 MiniCPM-V 4.7 在 Apple Silicon 上获得 Day 0 全端侧推理支持。据当日报道,该模型(1B 与 35B-A3B)通过与 Nativ 合作在 Mac 上实现全本地推理,支持图像与视频理解;在 Apple Silicon 搭配 Nativ v0.4.x 实测中,1B 版 prefill 超 24K tokens/s、decode 315 tok/s,35B-A3B 版 prefill 超 4K tokens/s、decode 90 tok/s。10月13日至14日的后续报道称,面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,为 35B-A3B 的 MoE 模型,可在手机上以仅 3GB 内存运行,能识别现实路牌、按约束做规划、解析复杂文档并对视觉数据推理,同时提供轻量 1B 版本,覆盖 iOS 与 Android。

InternLM 发布 ETCHR 训练与评测代码

2026年5月24日,InternLM 发布 ETCHR(Editing To Clarify and Harness Reasoning)的训练与评测代码。据其原创项目介绍,ETCHR 是一个以问题为条件、具备推理感知能力的图像编辑器,作为多模态大语言模型(MLLM)的解耦式视觉推理助手,可即插即用地辅助 Qwen3-VL-8B、Gemini-3.1-Flash-Lite、Kimi K2.5 等下游模型而无需微调。其 Edit-Verify-Reason 推理机制在验证失败时回退原图,在细粒度感知、图表理解、逻辑推理、拼图还原和 3D 理解五类任务上均提升 Pass@1 准确率。项目已开源 ETCHR-FLUX.2-klein-9B 模型、SFT-400K 与 GRPO-10K 数据集及 DL3DV-2K 基准,基于 FLUX.2-klein-base-9B,遵循 FLUX 非商用许可。目前尚无后续发展事实。

InternLM 发布流式空间智能基准 OVO-S-Bench

2026年10月14日,InternLM 发布面向多模态 LLM 流式空间智能的基准 OVO-S-Bench。据其官方项目介绍,该基准为全人工标注,包含 348 个源视频上的 1,680 道题,按瞬时自我中心感知、时空上下文追踪、空间模拟推理、异我中心建图四个层级划分。在 38 个闭源与开源 MLLM 上的评测显示,Gemini-3.1-Pro 以 59.2 分落后人类专家 86.6 分 27 分,异我中心建图被指为主要瓶颈;流式与空间微调模型反而不及自身基座,无流依据的思维链推理会放大空间错误。目前尚无后续发展事实。

InternLM 发布 RNG-Bench 代码与论文

2026 年 6 月 18 日,InternLM 发布 RNG-Bench 的代码与论文。据同一来源的报道,该基准用于评测多模态大模型在可控非马尔可夫游戏中的表现,采用 Matching Pairs 和 3D Maze 两款游戏,在闭环中考察模型“记住再行动”的能力。报道称,最难的配置每回合可达约 128K tokens 和约 350 张图像输入;在 10×10 图像 Matching Pairs 中最佳得分为 64.6%(Seed-2.1-Pro),在 13×13 迷宫中最佳成功率为 50%(Gemini-3.1-Pro)。目前尚无后续发展事实。

InternLM 发布 ARM-Thinker 代码仓库

2025年12月5日,InternLM 发布 ARM-Thinker 代码仓库。据同一来源的报道,ARM-Thinker 是一个以 Qwen2.5-VL-7B 为基座的多模态奖励模型,采用“Think–Act–Verify”智能体循环,可自主调用图像裁剪、多页文档检索等工具为判断提供可验证证据。该模型通过 SFT 冷启动加两阶段 GRPO 训练,报道称其在奖励建模上提升 16.2%、工具使用任务上提升 9.6%,可与 Qwen3-VL-8B、GPT-4o 等更大模型竞争。团队同时推出首个面向多步、证据支撑奖励模型的基准 ARMBench-VL,代码已开源。目前尚无后续独立发展事实。

World Labs 正式开放 Marble 世界模型

World Labs 于 2026 年 10 月 14 日宣布,其多模态世界模型 Marble 即日起向所有人开放,此前仅面向少量 beta 用户。据官方说明,Marble 支持从文本、图像、视频或粗略 3D 布局生成 3D 世界,并可交互式编辑、扩展和组合,生成结果可导出为 Gaussian splats、网格或视频;同时推出 Marble Labs 创作社区,提供案例研究、教程和文档。同一时间点的另一条官方信息显示,World Labs 曾推出 Marble 的有限访问 beta 预览,用户可在 marble.worldlabs.ai 查看和创建 3D 世界,给定图像或文本提示可生成可无限探索、无变形、无不一致的 3D 世界,相比此前结果更大、风格更多样、3D 几何更干净,并可将生成世界导出为 Gaussian splats,借助开源渲染库 Spark 集成到 Three.js 中,在桌面、笔记本、移动设备和 VR 头显上渲染。目前状态为正式开放。

World Labs 正式开放 Marble 世界模型

World Labs 正式开放 Marble 多模态世界模型

查看事件：World Labs 正式开放 Marble 世界模型

World Labs 发布 World API

World Labs 发布 World API,开发者可通过该公开接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。世界生成以异步方式运行,无需专有工具,生成结果可在浏览器渲染、导出到其他工具或接入交互系统与仿真管线。该 API 已用于游戏与沉浸式媒体、机器人仿真(可接入 NVIDIA Isaac Sim、MuJoCo、RoboSuite)以及建筑设计等场景,并通过 World Labs Platform 提供 API key 管理、用量计费和文档。目前尚无后续发展事实。

World Labs 推出全能世界模型 Atlas

2026年10月,World Labs 推出下一代世界模型 Atlas。据官方发布信息,Atlas 是一个从零预训练的多模态自回归扩散 Transformer,原生处理文本、图像、视频和 3D,所有输入被组合进共享的空间上下文。它支持像素级相机控制的图像与视频生成,可输出最长 1 分钟、1440p 的视频,并能从 1 到上百张输入图像重建真实场景,生成点云或 3D Gaussian splats。官方称其在相机控制生成和稀疏视图 3D 重建两项任务上优于专用模型。目前 Atlas 面向部分合作伙伴开放早期访问,并将用于 Marble 等后续产品。

FireRedTeam 发布 ReMatch 代码、ReMatch-3B 检查点与评测脚本

2026年10月13日,FireRedTeam 发布 ReMatch 官方实现,并同步放出代码、基于 Qwen2.5-VL-3B 的 ReMatch-3B 检查点与评测脚本。据该原创项目说明,ReMatch 在训练时加入聊天式生成匹配目标,让多模态大语言模型同时从原始多模态输入和投影嵌入判断查询-文档相关性,并融合多个可学习表示 token 为单向量嵌入。同一来源还称,相关论文已被 CVPR 2026 接收。目前没有后续发展事实,事件状态停留在上述发布。

Apple 研究者提出首个三模态掩码扩散模型

2026年10月15日,Apple 研究者提出首个三模态掩码扩散模型(MDM)。据 Apple Machine Learning Research 发布的信息,该模型由 Apple 联合剑桥、MIT 等机构提出,是首个从头预训练的三模态掩码扩散模型,覆盖文本、图文和音频-文本数据。研究系统分析了多模态缩放规律、模态混合比例、噪声调度与批大小影响,并通过基于 SDE 的重参数化将物理批大小与逻辑批大小解耦,免去最优批大小调参。初步模型在 3B 规模、6.4T token 下于文本生成、T2I 和 T2S 任务均取得强劲结果。目前尚无后续发展事实。

vLLM Semantic Router 发布 Decision 3.0 决策模型

2026年10月12日,vLLM 社区孵化的 vLLM Semantic Router 发布并开源 Decision 3.0 多模态决策模型系列。据智东西报道,该系列共 d3、d3-flash、d3-mini、d3-nano、d3-lite、d3-edge 六款,参数规模覆盖 0.6B 至 27B,权重已在 Hugging Face 开源;旗舰 d3 基于 Qwen3.8-27B 打造,支持输入多张图片和视频,其余 5 款基于不同参数规模的 Qwen3.5。在 Jev Decision Index 0.3.1 榜单中,d3 文本决策指数 64.7 分、公开集 65.5 分位列文本榜第一,视觉榜得分 71.6 分同样第一。团队数据显示,单张 AMD Instinct MI325X GPU 上 d3 处理文本请求延迟中位数 55 毫秒,含图片请求 273 毫秒,10 秒视频请求 553 毫秒。早先 MarkTechPost 报道称该系列为 5 个尺寸(0.85B 到 26.09B),全部采用 Apache-2.0 许可,可读取文本、JSON 和图像并直接返回概率而非生成文本;27B 的 d

vLLM Semantic Router 发布 Decision 3.0 决策模型

vLLM Semantic Router 发布 Decision 3.0 多模态决策模型系列

查看事件：vLLM Semantic Router 发布 Decision 3.0 决策模型