vLLM 新增 IO Processor 插件框架，使非文本模型能在同一服务实例内完成输入预处理和输出后处理，并接入 TerraTorch 地理空间模型。插件目前用于 pooling 模型，每个 vLLM 实例可加载一个插件；Prithvi 示例可接收卫星图像 URL，并返回 base64 编码的 GeoTIFF 洪水区域预测图。相关改动尚未进入当时最新的 v0.10.1.1，复现实例需安装最新代码。
匹配字段标题
The Gradient 刊文指出，多模态大模型将各模态拼接成“拼凑式 AGI”的路线在短期内注定失败，无法实现人类水平的感知运动推理、运动规划与社会协作。文章认为 LLM 更可能学到的是预测 token 的启发式规则集合而非真正的世界模型，主张把具身与环境交互作为智能研究的第一性，模态处理应视为涌现现象。
匹配字段标题
Ollama 发布新的多模态引擎，开始支持 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等视觉模型，可进行多图理解、文档扫描与字符识别。此前 Ollama 依赖 ggml-org/llama.cpp 提供模型支持，新引擎让每个模型自包含并暴露自己的投影层，同时加入图像缓存、显存估算与 KV cache 优化，例如针对 Gemma 3 的滑动窗口注意力和 Llama 4 Scout 的分块注意力。后续计划支持更长上下文、思考/推理、流式工具调用和 computer use。
匹配字段标题
Mistral AI 的 Mistral OCR 可解析图像和 PDF 中的文本、图片、表格及公式，但该模型现已停止维护，并由更强的新款 OCR 模型取代。其 API 曾以 mistral-ocr-latest 提供，价格为每美元 1000 页，单节点处理速度最高可达每分钟 2000 页，并支持结构化输出及选择性自托管。
匹配字段标题
Noam Shazeer 表示，团队将 AIME、GPQA 和 MMMU 的评测成绩分别提升至 73.3%、74.2% 和 75.4%。团队还启用了 1M 上下文窗口以支持更复杂的研究任务，并允许开发者开启代码执行功能。
匹配字段标题
2026年10月30日,亿信华辰发布全新一代睿治OPT多模态数据治理平台。该平台采用AI原生架构,内置30余个数据治理专家智能体、50余项治理技能与100余个知识库,并将元数据、数据标准、数据质量等治理能力封装为CLI。平台采用四层架构,提供全自动执行、人机协同、人工修订三种工作模式,多模态治理覆盖从采集汇聚到场景化交付六个环节。亿信华辰总经理毛大群在20周年客户大会上提出“AI与数据双螺旋”观点,并发布睿治OPT智能体工作架构,称该架构下原本需团队半年到一年的治理工作可由一人完成。
匹配字段标题
2026年10月30日,亿信华辰发布全新一代睿治OPT多模态数据治理平台。该平台采用AI原生架构,内置30余个数据治理专家智能体、50余项治理技能与100余个知识库,并将元数据、数据标准、数据质量等治理能力封装为CLI。平台采用四层架构,提供全自动执行、人机协同、人工修订三种工作模式,多模态治理覆盖从采集汇聚到场景化交付六个环节。亿信华辰总经理毛大群在20周年客户大会上提出“AI与数据双螺旋”观点,并发布睿治OPT智能体工作架构,称该架构下原本需团队半年到一年的治理工作可由一人完成。
匹配字段标题
Rohan Paul 于2026年10月29日转述称,Sunra 发布 Sunra API,用户通过一个密钥即可调用各主流图像、视频、音频和 3D 模型,并按各模型厂商自己的 API 价格计费,采用按量付费,没有订阅费,也不加价。Rohan Paul 还称,Seedance 2.5 在 Sunra 上的价格是另外两家网关的一半,这种统一入口也便于对 Google、OpenAI、ByteDance 和 Kling 的模型做 A/B 测试。目前该说法仅见于 Rohan Paul 的转述,尚无 Sunra 官方或其他来源的独立证据。
匹配字段标题
Rohan Paul 于2026年10月29日转述称,Sunra 发布 Sunra API,用户通过一个密钥即可调用各主流图像、视频、音频和 3D 模型,并按各模型厂商自己的 API 价格计费,采用按量付费,没有订阅费,也不加价。Rohan Paul 还称,Seedance 2.5 在 Sunra 上的价格是另外两家网关的一半,这种统一入口也便于对 Google、OpenAI、ByteDance 和 Kling 的模型做 A/B 测试。目前该说法仅见于 Rohan Paul 的转述,尚无 Sunra 官方或其他来源的独立证据。
匹配字段标题
2026年10月28日,Miles总结了一套美妆企业FDE落地项目的多模态数据清洗八步方案。该方案针对从小红书、抖音、视频号、微博采集的文字、图片、音频和视频数据,按定数据规范、保留原始内容、梳理数据关系、多模态归一、冲突和质量清洗、生成结构化数据、执行验收、按规则和版本入库八步处理。原文强调清洗结果不能覆盖原文,OCR、ASR和模型标签只作新增结果;当ASR与OCR数值冲突时回溯原始证据,无法确认则进入待核队列。这套链路也被整理为可复用于消费品洞察、汽车口碑、餐饮选址和品牌舆情等场景的通用方案。
匹配字段标题
2026年10月21日,天津大学张长青在CNCC 2026作报告《广义多模态融合技术》,介绍团队在多模态表征、动态可信融合与通用预测基座Fusion Anything Model(FAM)上的研究。据雷锋网10月28日报道,其TMC方法用证据理论估计不确定性,使晶体结构识别准确率从约58%—59%提升至93.9%左右;FAM在18个真实数据集、12种模态和11类预测任务上测试,平均准确率较专用融合基线提高约6.9个百分点。目前该报告内容经单一来源披露,尚无后续进展。
匹配字段标题
2026年10月28日,Miles总结了一套美妆企业FDE落地项目的多模态数据清洗八步方案。该方案针对从小红书、抖音、视频号、微博采集的文字、图片、音频和视频数据,按定数据规范、保留原始内容、梳理数据关系、多模态归一、冲突和质量清洗、生成结构化数据、执行验收、按规则和版本入库八步处理。原文强调清洗结果不能覆盖原文,OCR、ASR和模型标签只作新增结果;当ASR与OCR数值冲突时回溯原始证据,无法确认则进入待核队列。这套链路也被整理为可复用于消费品洞察、汽车口碑、餐饮选址和品牌舆情等场景的通用方案。
匹配字段标题
2026年10月21日,天津大学张长青在CNCC 2026作报告《广义多模态融合技术》,介绍团队在多模态表征、动态可信融合与通用预测基座Fusion Anything Model(FAM)上的研究。据雷锋网10月28日报道,其TMC方法用证据理论估计不确定性,使晶体结构识别准确率从约58%—59%提升至93.9%左右;FAM在18个真实数据集、12种模态和11类预测任务上测试,平均准确率较专用融合基线提高约6.9个百分点。目前该报告内容经单一来源披露,尚无后续进展。
匹配字段标题
Flatkey 以统一 API 网关形式,支持在 Codex 和 Claude Code 中通过 CLI 调用多模态模型。据 2026 年 10 月 21 日的报道,该网关可调用 GPT、Claude、DeepSeek、GLM、Kimi 等文本模型,以及 GPT Image、Seedance 等图片视频模型;用户用一个 Key 即可接入 100+ 官方模型和 1,000+ 工具 API,费用合并为一份账单。报道还称,其日常价格比官方定价至少低 20%;10 月 19–23 日活动期间,GPT、GLM 5.2、Kimi K3、DeepSeek 打 6 折,Claude 8 折,Seedance 2.0 85 折。目前尚无后续发展事实。
匹配字段标题
Flatkey 以统一 API 网关形式,支持在 Codex 和 Claude Code 中通过 CLI 调用多模态模型。据 2026 年 10 月 21 日的报道,该网关可调用 GPT、Claude、DeepSeek、GLM、Kimi 等文本模型,以及 GPT Image、Seedance 等图片视频模型;用户用一个 Key 即可接入 100+ 官方模型和 1,000+ 工具 API,费用合并为一份账单。报道还称,其日常价格比官方定价至少低 20%;10 月 19–23 日活动期间,GPT、GLM 5.2、Kimi K3、DeepSeek 打 6 折,Claude 8 折,Seedance 2.0 85 折。目前尚无后续发展事实。
匹配字段标题
Luma提出一种面向打包多模态掩码的精确序列并行方法。该方法在每一层于ring attention、稀疏all-to-all或Ulysses之间进行选择,数值结果与单GPU一致。在最多128张H100上,该方法于48个案例中的47个优于FlashMask + Ulysses混合方案。目前尚无后续发展事实。
匹配字段标题
Nace AI 发布多模态决策模型 Drex Max。据 Testing Catalog 2026 年 10 月 19 日报道,该模型可读取文本、图像和视频,单次决策耗时 34 ms,262K token 下响应低于 1 秒,输入价格为每 1M tokens 0.06 美元;它不生成文本,只从给定选项中返回一个答案并附概率分数,可用于 Computer Use 智能体逐步选择操作、Web 智能体按屏幕内容定位页面元素。Nace AI 称其在 Computer Use 场景下每 token 成本最高比 Claude、GPT 和 Gemini 背后的模型低 167 倍。次日 MarkTechPost 报道称,这是 Nace AI 首个多模态决策模型,可读取文本和图像并返回校准后的概率,在公开 Decision Index 0.3.2 上得分 67.59,比 TypeSafe 的 Jev 1.14 高 6.9 分;单次截图决策中位延迟 174 ms,输出不计费,仅通过 Nace Console API 提供,参数规模未披露、权重闭源,上述分数均为 Nace 自报。
匹配字段标题
面壁智能(OpenBMB)提出多模态检索方法 Trident。该方法用 Multi-Positive View InfoNCE 联合训练 Text、Image、Fused 三视图,针对多模态检索中无关文本得分高于含答案图像的“Chaos in the Text”现象。在 6 个视觉文档检索基准上,Trident-Qwen3VL-2B 将 Mix Avg NDCG@10 从 40.12 提升至 73.90。相关分析显示,多模态检索器在纯文本或纯图像语料上表现良好,但图文混合时性能明显下降,原因是文本常获得比语义对齐图像更高的相似度分数。目前该工作以面壁智能发布的信息为准,尚无更多独立来源交叉印证。
匹配字段标题
Nace AI 发布 Drex Max
English translation is being prepared.
匹配字段标题
OpenBMB 提出 Trident
English translation is being prepared.
匹配字段标题