搜索“多模态”

Cohere推出企业文档解析模型

2026年8月27日,Cohere发布视觉语言模型Parse,用于将多模态企业文档转换为结构化数据。该模型可识别表格和嵌入图片、输出Markdown,并支持九种主要语言;其在ParseBench三个评测维度中的得分为79.2。Parse现已通过Cohere API、Model Vault、Microsoft Foundry和AWS SageMaker提供。Cohere API定价为每1000页1.50美元,使用8个H100 GPU节点时处理速度为每秒36页。

阿里发布Qwen3.8模型权重

2026年8月26日至27日,阿里发布Qwen3.8-Flash-Next模型权重。据Qwen Blog,该模型为多模态MoE架构,主模型125B参数、额外51B N-gram嵌入参数,每token激活6B,训练成本约为Qwen3.7-Plus的1/9,原生支持262,144 tokens上下文并可通过YaRN扩展至1,000,000 tokens。该模型是Qwen4架构的早期预览,在注意力、残差、嵌入和优化四方面升级,采用GDN+QSA混合注意力、Gated Residual、N-gram Embedding与Muon优化器,权重已在Hugging Face和ModelScope开放;生产版本以qwen3.8-flash名称在QwenCloud提供服务,默认1M上下文并内置官方工具,定价为每百万输入tokens 0.15美元、每百万输出tokens 0.47美元。NVIDIA方面称,其提供SGLang、vLLM和TensorRT LLM的Day 0功能支持,并在GB300 NVL72上验证推理,单GPU吞吐超过16K token/秒、单用户超过200 token/秒;开发者可用NVI

Unsloth发布Qwen3.8-Flash本地GGUF版本

2026年8月26日,Unsloth发布Qwen3.8-Flash的GGUF量化版本,使这一125B MoE模型可在75GB内存的本地环境运行,并称其表现超过Claude-Opus-4.6(Max)。同时发布的Qwen3.8-Flash-Next支持CPU内存与统一内存方案,速度接近显存运行。Unsloth提供了使用指南和GGUF下载链接。被引用的Qwen官方介绍显示,Qwen3.8-Flash为多模态MoE,采用GDN加QSA混合注意力等新架构,每token激活6B参数,原生上下文262K,可经YaRN扩展至1M。

V4视觉模型拓展智能体应用

2026年8月21日,DeepSeek介绍V4-Flash-Vision-Exp的多模态智能体能力。该模型可在多种智能体框架中顺畅运行,把视觉理解与广泛的工具调用结合起来,从而支持更多实用的多模态智能体工作流。目前输入材料仅提供了此次能力介绍,未说明具体上线范围、应用案例或后续进展。

Meta发布Muse Glimmer 30B开放权重模型

2026年8月10日,Meta发布Muse Glimmer 30B开放权重稠密模型,面向本地AI智能体工作负载。据Hugging Face介绍,该模型由2B视觉编码器和28B文本解码器组成,支持图像、无音频视频、多模态工具调用和目标检测,并获得Transformers、llama.cpp及vLLM支持。NVIDIA方面称其上下文窗口120K+,可完整放入单卡显存,覆盖GeForce RTX 5090、DGX Spark、DGX Station和Jetson平台,权重已上线Hugging Face。同日,LMSYS宣布与Meta Superintelligence Labs合作,为Muse Glimmer在SGLang上提供Day-0支持,并针对本地智能体工作流推理优化。8月13日,Unsloth宣布可免费微调该模型,其notebook同时支持GRPO RL训练。

微软推出空间推理基准MindTopo

2026年8月13日,微软研究院推出多模态模型拓扑空间推理基准MindTopo。该基准从连通性、包围、顺序、打结等五类拓扑属性评估多模态大语言模型的空间理解能力,每类又分为静态推理与交互规划两个认知层级。测试显示,模型在静态推理上普遍强于交互规划,两者均远低于人类水平;规划错误多发生在场景已被理解之后,模型无法在连续动作中维持拓扑关系。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列时经常改变拓扑或违反任务动态。目前尚无后续发展。

Moonshot AI发布旗舰模型Kimi K3

2026年7月16日,Moonshot AI(月之暗面)发布旗舰模型Kimi K3,这是一个2.8万亿参数的多模态模型,具备1M token上下文窗口和原生视觉能力,采用MoE架构,每token激活896个专家中的16个。据Recode China AI报道,K3在Frontend Code Arena获得1,679分,定价为每百万输入token 3美元、每百万输出token 15美元,开放权重计划于7月27日提供。7月27日,Kimi.ai宣布Modal与Baseten成为K3的Day 0发布合作伙伴,Modal为K3架构训练了定制DFlash推测器,将交互速度从100提升到460 tokens/s;同日SGLang与Miles宣布提供Day-0支持,前者负责推理、后者负责RL训练。7月28日,Kimi.ai宣布K3在DigitalOcean Serverless Inference上线。7月29日,Unsloth发布Kimi K3的1-bit量化版GGUF,体积从1.56TB压缩到594GB,缩减62%,精度保留约78.9%,可在配备128GB内存的Mac Studio上运行。

Step 3.7 Flash上线Baseten平台

2026年7月16日,阶跃星辰(StepFun)宣布其模型 Step 3.7 Flash 已在 Baseten 平台上线。据阶跃星辰发布的信息,该模型面向真实世界的智能体工作流打造,具备原生多模态理解、可靠的工具调用以及生产所需的效率。阶跃星辰同时对 Baseten 团队的合作表示感谢。目前该事件处于持续进展状态,后续是否会有更多平台接入或功能更新,尚待进一步消息。

Google Research发布可穿戴健康基础模型SensorFM

2026年7月9日,Google Research发布可穿戴健康基础模型SensorFM。据Google Research介绍,该模型在超一万亿分钟、来自500万人的多模态传感器数据上预训练,通过缺失感知的掩码重建学习通用生理表征,可迁移到35项健康预测任务。其中最大模型SensorFM-B相比最小版本重建损失降低31%,分类任务平均提升9% AUC,回归任务提升21% Pearson系数。研究还用LLM智能体自动构建预测头,并将其接入Personal Health Agent,临床医生盲评显示加入SensorFM预测后各维度评分显著提升。目前尚无后续发展事实。

Google Cloud 将原生 TPU 支持集成进 vLLM

Google Cloud 将原生 TPU 支持集成进 vLLM,并以 Qwen3 Embedding 系列为目标模型完成多项优化。据官方 2026 年 8 月 26 日发布的信息,该集成使嵌入推理可处理 4K+ token 文本和 15K+ token 多模态输入。精度方面,TPU 输出与 XPU 参考基线的余弦相似度达到文本 ≥0.999、多模态 ≥0.995。官方还表示已在 AI-Hypercomputer 公共仓库开源 Qwen3-Embedding-8B 的部署与评测 recipe。目前尚无后续发展事实。

Meta预览内部评测框架WildArtifactBench

Meta 预览了内部评测框架 WildArtifactBench,用于评估智能体在多种交付格式下的复杂真实任务,并开放其中 10 个任务。该框架采用人类与智能体偏好评判给出的胜率和 Elo 分数,而非严格的标准答案评分标准,从而扩大对实际多模态工作流的任务覆盖。同一批发布还展示了 Muse Spark 1.1 和 1.2 在 Cat Mesh、Plywood Whale 任务上生成的产物,其中 Plywood Whale 的产物以链接形式给出。目前该框架仍处于预览阶段,尚无后续发展事实。

LG AI Research 在 CVPR 2026 展示 VinQA 论文

LG AI Research 在 CVPR 2026 展示 VinQA 论文,提出面向真实文档的多模态问答数据集与评测框架。该工作让长文本回答在对应句子前直接放置图表、表格等视觉引用,而非仅在文末附图。据官方博客介绍,数据集训练集约 13 万页、42,700 条 QA,测试集 9,373 页、1,605 条 QA,覆盖七个领域。配套评测器 M-GroSE 在 GPT-4.1、Claude 3.5 Sonnet 等前沿模型上得分最高;Qwen2.5-VL-7B 经 VinQA 微调后 M-GroSE 从约 2 提升至约 3.3,接近约 3.5-3.6 的峰值。目前尚无后续发展事实。

Mira Murati回顾Thinking Machines Lab一年进展

2026年7月11日,Mira Murati发文回顾Thinking Machines Lab成立一年来在多模态AI、自定义模型和开放科学方面的进展。她表示,一年前团队以多模态AI、定制模型和开放科学为重点,立志赋能人类。回顾中提到,团队预览了能像人一样协作的交互模型,Tinker让任何人都能训练自己的开放权重模型,并发表了关于Connectionism的研究。目前没有更多后续发展事实。

Mira Murati回顾Thinking Machines Lab一年进展

Mira Murati 回顾 一年来在多模态AI、自定义模型和开放科学方面的进展

查看事件：Mira Murati回顾Thinking Machines Lab一年进展

Sakana AI 在 ICML 2026 展示球形黑盒优化研究

2026年7月3日,Sakana AI 在 ICML 2026 展示研究“Bridging Spherical Black-Box Optimizers”。据其官方博客,该研究证明参数化方法(如 ES)与非参数化方法(如 CBO)实为同一更新方程的变体,从而可定制混合优化器。团队据此开发 AdaPol 与 SchedPol,将 LLM 合并视为多模态问题,在小数据集上找到多个不同最优解,以更低算力获得泛化性更好的合并模型。目前该研究仍处于展示阶段,尚无后续发展事实。

小米 MiMo 发布并开源 MiMo Code V0.1

小米 MiMo 发布并开源终端编码助手 MiMo Code V0.1,采用 MIT 许可。据 2026 年 6 月 10 日的发布信息,该工具基于 OpenCode 构建,面向数十甚至上百步的长程自动化编程任务,围绕计算、记忆、进化三个主题设计:Max Mode 每轮并行采样 5 个候选方案并由模型评判择优,在 SWE-Bench Pro 上比单次采样提升 10–20%,代价是约 4–5 倍 token 消耗;Goal 机制在智能体尝试终止时用独立模型校验停止条件,死循环概率低于 0.5%;记忆层面通过检查点与重建让逻辑会话可无限延长,并维护会话、项目、全局、历史四层记忆。内部双盲 A/B 测试覆盖 576 名开发者、474 个私有仓库,产生 1213 组对比,执行步数超过 200 时 MiMo Code 胜率升至 65% 以上。6 月 11 日的发布信息称,该工具附带限时免费的 MiMo V2.5 多模态模型,支持百万 token 上下文窗口,提供无限上下文、Agent 与模型协同、Compose Mode、自进化系统以及基于 MiMo-V2.5-ASR 的语音输入,并兼容 Clau

V4视觉模型拓展智能体场景

V4-Flash-Vision-Exp 结合视觉理解与工具调用 多模态智能体工作流

查看事件：V4视觉模型拓展智能体应用

微软推出空间推理基准MindTopo

Microsoft Research 推出 多模态模型拓扑空间推理基准MindTopo

查看事件：微软推出空间推理基准MindTopo

Thinking Machines Lab发布Inkling

Thinking Machines Lab 发布 Inkling多模态混合专家模型

查看事件：Thinking Machines Lab发布Inkling多模态MoE模型

Amazon Science 发布 Rust 代理 Turnstile

2026年7月9日,Amazon Science 发布用 Rust 编写的代理 Turnstile。该代理位于智能体 harness 与模型后端之间,在生成时刻记录模型采样的精确 token ID、逐 token 对数概率和 loss mask,并导出与框架无关的轨迹,供现有强化学习训练栈使用。Turnstile 兼容 OpenAI Chat Completions API,harness 无需改动,后端目前为 SGLang,并计划支持 vLLM。在验证中,一个纯文本编码智能体和一个多模态计算机使用智能体在强化学习训练中持续提升。目前尚无后续发展事实。