搜索“多模态”

谷歌发布Gemma 4 12B

Google DeepMind 发布 Gemma 4 12B多模态模型

查看事件：谷歌发布Gemma 4 12B

Google重构AI搜索入口

2026年5月20日,Google在I/O开发者大会上宣布重新设计沿用25年的搜索框,将其从关键词输入框改为可接受文本、图片、PDF、视频和Chrome标签页的多模态对话入口,并立即在支持AI Mode的所有国家和地区上线。Google同时把AI Overviews与AI Mode合并为一条连续搜索流程,用户可在传统结果页直接追问,无需切换界面。新体验由Gemini 3.5 Flash驱动。Google称AI Mode上线一年月活已超10亿,AI Overviews月活超25亿。目前尚无后续有证据的发展。

谷歌推出Gemini Omni Flash

2026年5月19日,Google DeepMind推出多模态视频生成与编辑模型Gemini Omni Flash。据Google DeepMind介绍,该模型可接收图像、音频、视频和文本输入,生成高质量视频,并支持通过多轮自然语言对话进行编辑。该模型正向Gemini app、Google Flow和YouTube Shorts推出,未来数周将通过API面向开发者和企业客户开放;初期音频输入仅支持语音参考,生成视频均含SynthID数字水印。另有报道称,Gemini Omni将Gemini的智能与Veo、Nano Banana的能力结合,支持跨场景角色一致性、文生视频编辑以及动态物理与环境表现,当天开始推送。目前该故事尚无后续发展事实。

SpaceXAI与Anthropic达成算力合作

2026年5月6日,SpaceXAI与Anthropic签署算力合作协议,SpaceXAI将向Anthropic提供Colossus 1超级计算机的算力访问。据xAI News报道,Colossus 1配备超过220,000块NVIDIA GPU,包含H100、H200和下一代GB200加速器的密集部署,面向大语言模型、多模态系统和生成式AI的训练、微调与推理。Anthropic还表示有兴趣合作开发数吉瓦级的轨道AI算力容量。目前该合作暂无后续发展事实,状态停留在协议签署及意向表达阶段。

Chelsea Finn宣布ICLR三场研讨会演讲

2026年4月26日,Chelsea Finn宣布将于次日(周日)在ICLR做三场研讨会演讲。据其介绍,第一场主题为“无奖励瓶颈的自我改进”,涉及meta-harness,上午10:30在RSI研讨会进行;第二场主题为“涌现式物理泛化”,涉及π0.7,上午11:40在多模态研讨会进行;第三场主题为“用于鲁棒性的强化学习”,下午1:45在CAO研讨会进行。目前该消息为演讲者本人公布的活动安排,尚无更多后续进展。

Physical Intelligence发布π0.7机器人

2026年4月16日,Physical Intelligence发布最新机器人模型π0.7。据该发布信息,π0.7展现出多项涌现能力:能够控制此前没有衣物折叠数据的新机器人UR5e折叠T恤;可通过语言指导学会使用家电;并在单一模型中完成多种灵巧任务。该模型还具备组合泛化能力,可根据提示词以新方式组合已学技能,例如用空气炸锅烤红薯。此外,π0.7可处理包含丰富语言和多模态信息(如视觉子目标图像)的提示,这些图像在测试时可由轻量级世界模型生成。目前该模型已发布,相关能力描述来自发布方。

多机构推出酶设计模型DISCO

2026年4月8日,Caltech、Mila、FutureHouse 等机构提出多模态生成模型 DISCO(Diffusion for Sequence-structure CO-design),可围绕分子目标同时生成蛋白质序列与三维结构,无需预先指定 theozyme。据该机构发布的信息,DISCO 在 178/179 个靶点的计算基准上取得最优表现;在 4 类卡宾转移反应中测试 90 个设计,其中 B–H 插入达 98% 产物和 5,170 总转化数,活性超过此前定向进化实验的两倍。这些酶的活性位点几何在 AlphaFold 数据库的 2 亿多个结构中找不到近缘天然同源物。目前尚无后续发展事实。

Mistral AI推出企业专属AI模型构建系统Forge

2026年3月18日,Mistral AI推出Forge,一套让企业基于自有专有知识构建前沿级AI模型的系统。据Mistral AI介绍,Forge支持预训练、后训练和强化学习等阶段,兼容dense与MoE两种架构,并可处理多模态输入,模型可在企业内部基础设施中训练和运行。Forge以智能体优先设计,Mistral Vibe等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。Mistral AI表示,已与ASML、DSO National Laboratories Singapore、Ericsson、欧洲空间局、HTX Singapore和Reply等机构合作,用其专有数据训练模型。目前尚无后续发展事实。

Mistral AI与英伟达共建开放模型

2026年3月17日,Mistral AI宣布作为创始成员加入NVIDIA Nemotron Coalition,与英伟达联合开发开放前沿基础模型。据Mistral AI发布的信息,双方将结合Mistral AI的模型架构与全栈平台,以及英伟达的算力、模型开发工具和合成数据生成管线。联盟首个项目是一个在NVIDIA DGX Cloud上训练的基础模型,将支撑即将推出的NVIDIA Nemotron 4系列并开源。Mistral AI将贡献专有训练技术、多模态能力和企业级微调工具。此前双方曾合作开发Mistral Nemo模型。目前该合作尚无进一步有证据的发展。

Google重构AI搜索入口

Google 重新设计并升级 支持多模态输入且融合AI Overviews与AI Mode的搜索框

查看事件：Google重构AI搜索入口

谷歌推出Gemini Omni Flash

Google DeepMind 推出 多模态视频生成与编辑模型Gemini Omni Flash

查看事件：谷歌推出Gemini Omni Flash

Qwen 发布 Qwen3.6-Plus,后续推出 Max-Preview

2026年4月2日,Qwen 发布 Qwen3.6-Plus,通过阿里云百炼 API 提供,默认 1M 上下文窗口,重点提升智能体编码与多模态感知推理能力。官方基准显示其在 SWE-bench Verified 得 78.8、Terminal-Bench 2.0 得 61.6、QwenClawBench 得 57.2,均高于 Qwen3.5-397B-A17B;API 新增 preserve_thinking 参数用于保留多轮思考内容,默认关闭,可接入 Claude Code、Qwen Code、Cline、OpenCode 等编码工具。2026年4月18日,阿里云千问团队发布专有模型 Qwen3.6-Max-Preview 的早期预览版,相比 Qwen3.6-Plus 在世界知识、指令遵循和智能体编码上均有提升,其中 SkillsBench +9.9、SciCode +6.3、NL2Repo +5.0、Terminal-Bench 2.0 +3.8。该模型通过阿里云 Model Studio 提供,API 名称为 qwen3.6-max-preview,支持 preserve_thi

Qwen 开源 Qwen3.6-35B-A3B MoE 模型

2026 年 4 月 15 日,Qwen 团队开源 Qwen3.6-35B-A3B,这是一个 35B 总参数、仅 3B 激活参数的 MoE 模型,主打智能体编码能力,同时支持多模态思考与非思考模式。官方称其在 SWE-bench Verified 上得分 73.4,超过前代 Qwen3.5-35B-A3B 的 70.0,并在多数视觉语言基准上接近 Claude Sonnet 4.5。模型已在 Qwen Studio 上线,可通过阿里云百炼 API 以 qwen3.6-flash 调用,权重发布于 Hugging Face 和 ModelScope,并支持 OpenClaw、Claude Code、Qwen Code 等第三方编码助手。目前尚无后续发展事实。

LG AI Research 推出首个开源权重视觉语言模型 EXAONE 4.5

2026年4月9日,LG AI Research 推出 EXAONE 4.5,这是 LG 首个以开源权重方式发布的视觉语言模型(VLM)。据官方博客介绍,该模型在 EXAONE 4.0 基础上集成自研 Visual Encoder,采用原生多模态预训练同时学习文本与图像;引入 Multi-Token Prediction(MTP)模块,推理速度较此前方法提升 1.5 倍以上,并采用自研 AGAPO 强化学习算法提升逻辑推理能力。官方称其在 MMMU-Pro、MathVision、CharXiv、OCRBench_v2 等基准上优于或接近 Qwen 3 VL 32B、GPT-5-mini、Claude Sonnet 4.5,在韩语视觉基准 k-viscuit 和 KRETA 上表现领先。模型已在 Hugging Face 发布并附技术报告。目前尚无后续发展事实。

Sakana AI与日本防卫创新科研所签订委托研究合同

2026年3月12日,Sakana AI株式会社宣布与日本防卫装备厅防卫创新科学技术研究所签订委托研究合同,研究主题为“通过组合多种AI技术加速观测、报告、信息整合与资源分配”。据Sakana AI官方博客同日发布的信息,该委托研究为为期多年的大规模基础技术开发,将开发面向陆海空全领域海量多模态数据的综合分析系统,并推进可在无人机和移动终端等边缘设备上高速运行的小规模视觉语言模型(SVLM),以提升指挥控制系统(C2系统)能力。该研究被定位为防卫装备厅的实证型突破研究。Sakana AI表示将防务与情报列为继金融之后的重点领域,并已组建国内专门团队。目前尚无进一步有证据支持的发展。

Qwen团队发布Qwen3.5系列首个开源权重模型

2026年2月14日,Qwen团队发布Qwen3.5系列首个开源权重模型Qwen3.5-397B-A17B。据Qwen Blog介绍,该模型为原生视觉语言模型,在推理、编码、智能体和多模态理解等基准上给出完整评测结果;采用线性注意力(Gated Delta Networks)与稀疏MoE混合架构,总参数397B、每次前向仅激活17B,语言与方言支持从119种扩展到201种。托管版本Qwen3.5-Plus通过阿里云百炼提供,默认1M上下文窗口,并内置官方工具与自适应工具调用。目前尚无该发布之后的进一步有证据发展。

Saining Xie 判断自动驾驶将最快产生现实影响

2026年2月7日,Saining Xie(谢赛宁)提出判断,认为自动驾驶将比任何其他领域更快产生现实影响。他在相关发言中还表示,世界模型不只是关于视频,而是关于对各类连续、高维、含噪信号的建模,这才是“多模态”的真正含义,并向 Waymo 团队相关成员表示祝贺。目前该判断仅有其本人发言作为证据,尚无后续发展事实。

Qwen发布Qwen3-VL-Embedding与Qwen3-VL-Reranker系列

2026年1月7日,Qwen发布Qwen3-VL-Embedding与Qwen3-VL-Reranker系列模型。据Qwen Blog介绍,该系列基于Qwen3-VL底座,面向多模态信息检索与跨模态理解,支持文本、图像、截图和视频输入,覆盖30多种语言。其中Embedding采用双塔架构做高效初筛,Reranker采用单塔Cross-Attention对(Query, Document)对联合编码输出相关性分数,两者串联构成两阶段检索流程。官方称Qwen3-VL-Embedding-8B在MMEB-v2上取得SOTA,Reranker-8B在多数任务上表现最佳。模型提供2B与8B两种规格、32K序列长度,并支持量化与自定义向量维度。目前尚无后续发展事实。

多机构推出酶设计模型DISCO

Caltech、Mila、FutureHouse等机构 推出 可联合生成蛋白质序列与三维结构的多模态模型DISCO

查看事件：多机构推出酶设计模型DISCO

Mistral发布Small 4模型

Mistral AI 发布 Mistral Small 4开源多模态推理模型

查看事件：Mistral AI发布Mistral Small 4开源多模态推理模型