搜索“多模态”

Saining Xie 提出 pose 是视频多模态模型所需的最小充分 3D 信号

Saining Xie 提出判断 pose 是稳健视频多模态模型所需的最小充分 3D 信号

查看事件：Saining Xie 提出 pose 是视频多模态模型所需的最小充分 3D 信号

Modal 优化 SGLang 多模态推理调度器

2026年5月4日,Modal 发布工程博客称,其优化了 SGLang 调度器的多模态推理性能。Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时,发现 SGLang 调度器在 hash_feature 中反复调用 torch.UntypedStorage._new_shared_cuda,造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache,避免重复打开共享内存句柄,使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。目前没有后续发展事实。

Qwen 开源 27B 稠密多模态模型 Qwen3.6-27B

2026年4月22日,Qwen Team 开源了 27B 参数的稠密多模态模型 Qwen3.6-27B。据官方博客,该模型支持思考与非思考两种模式,权重已在 Hugging Face 和 ModelScope 发布,并上线 Qwen Studio 与 API。官方称其在全部主要编码基准上超过上一代开源旗舰 Qwen3.5-397B-A17B,包括 SWE-bench Verified 77.2 对 76.2、Terminal-Bench 2.0 59.3 对 52.5、SkillsBench 48.2 对 30.0,GPQA Diamond 为 87.8。该模型可接入 OpenClaw、Claude Code 和 Qwen Code 等第三方编码助手,API 支持 preserve_thinking 以保留多轮思考内容。目前尚无后续发展事实。

Answer.AI 发布 ReadBench 多模态读文评测基准

2025年6月5日,Answer.AI 发布 ReadBench,用于评测视觉语言模型(VLM)从文本图像中读取并推理信息的能力。该基准将 MMLU-Redux、MMLU-Pro、GPQA-Diamond、BABILong 和 LongBench 等文本基准的上下文转为图片,问题保留为文本。结果显示,几乎所有 VLM 在多模态输入下都出现性能下降:短于 1 页的输入下降较小,长输入下降非常显著,说明多页文档直接送入 Visual RAG 管线尚不可行。相关数据已发布于 HuggingFace,代码在 GitHub,论文在 arXiv。目前尚无后续发展事实。

Modal 优化 SGLang 多模态推理调度器

Modal 优化 SGLang 调度器多模态推理性能

查看事件：Modal 优化 SGLang 多模态推理调度器

Qwen 开源 27B 稠密多模态模型 Qwen3.6-27B

Qwen Team 开源 Qwen3.6-27B

查看事件：Qwen 开源 27B 稠密多模态模型 Qwen3.6-27B

Mistral AI发布Mistral Small 4开源多模态推理模型

2026年3月17日,Mistral AI发布Mistral Small 4,这是Mistral Small系列的下一个主要版本,也是Mistral首个把Magistral的推理、Pixtral的多模态和Devstral的智能体编码能力统一到单一模型中的版本,采用Apache 2.0许可。该模型为MoE架构,128个专家、每token激活4个,总参数119B、每token激活6B(含嵌入和输出层为8B),上下文窗口256k,支持文本与图像输入,并可通过reasoning_effort参数在快速响应与深度推理之间切换。官方称相比Mistral Small 3,端到端完成时间减少40%,每秒请求数提升3倍;推理模式下在三项基准上匹配或超过GPT-OSS 120B,且输出更短。目前尚无后续发展事实。

英伟达开放Nemotron多模态模型

2025年10月31日,英伟达发布开源视觉语言模型Nemotron Nano 2 VL,面向视频理解与文档智能。该模型采用混合Transformer–Mamba架构,并通过EVS剪除冗余视频帧,以减少需要处理的token。vLLM同时为其提供推理支持,夜间版本可用BF16、FP8和FP4精度部署兼容OpenAI接口的推理服务器。

vLLM扩展多模态输出处理

2025年9月5日,vLLM宣布新增IO Processor插件框架,使非文本模型能在同一服务实例内完成输入预处理和输出后处理,并已接入TerraTorch地理空间模型。该插件当时用于pooling模型,每个vLLM实例可加载一个插件。Prithvi示例能够接收卫星图像URL,返回以base64编码的GeoTIFF洪水区域预测图。相关改动尚未进入当时最新的v0.10.1.1版本,复现实例需安装最新代码。

OpenAI推出多模态模型GPT-4o

2024年5月14日,OpenAI发布GPT-4o,并将其免费提供给ChatGPT用户。该模型配套推出新的语音和视频模式,强调接近人类的响应速度与表现力。Sam Altman称,这类交互快速、自然且实用;未来还计划加入可选的个性化、信息访问以及代用户执行操作等能力。

vLLM支持多模态输出处理

vLLM 新增支持 非文本模型与IO Processor插件框架

查看事件：vLLM扩展多模态输出处理

Answer.AI 发布 ReadBench 多模态读文评测基准

Answer.AI 发布 ReadBench

查看事件：Answer.AI 发布 ReadBench 多模态读文评测基准

作者提出多模态路线无法通向人类级AGI

作者提出多模态路线无法通向人类级AGI

文章作者 提出判断 多模态路线无法在近期通向人类级AGI

查看事件：作者提出多模态路线无法通向人类级AGI