←搜索结果

搜索“多模态”

按匹配度 · 共 801 条结果 清除搜索

星期日

  1. 事件1 条新闻 · 1 个事实

    NVIDIA FLARE推进联邦多模态训练

    2026年8月19日,NVIDIA介绍了基于FLARE构建联邦多模态AI工作流的方法:通过大对象外置、张量流式传输和磁盘支持的聚合,协调分布式站点训练视觉语言及统一多模态模型,降低数据传输与服务端聚合的内存压力。其FedUMM方案冻结BLIP3o主干,仅对LoRA适配器进行联邦训练,使每个客户端每轮通信量从28.6 GB降至0.094 GB,并在VQA v2和GenEval上保持约97%的集中式训练性能。相关实验基于模拟站点和公开基准,未证明正式隐私保证。

    匹配字段标题

  2. 事件4 条新闻 · 2 个事实

    Black Forest Labs发布FLUX 3多模态模型

    2026年7月20日,Black Forest Labs发布多模态基础模型FLUX 3并开启早期访问。该模型基于Self-Flow在统一架构中同时学习图像、视频和音频,可单次生成最长20秒带原生音频的视频,支持文生视频、图生视频、视频生视频、关键帧过渡和多语言对话等能力。官方称早期评测结果仍属初步,后续将陆续开放FLUX 3 Video、FLUX 3 Image的API与私有权重,以及FLUX 3 Dev的开源权重。2026年8月4日,Black Forest Labs宣布FLUX 3 Video的初版文生视频与图生视频能力即日起通过BFL API和部分合作方开放,可生成最长20秒的HD视频,支持Full HD放大输出与原生音频,并提供Draft Mode。官方称后续将推出FLUX 3 Image与开放权重版本FLUX 3 Dev。

    匹配字段标题

  3. 事件6 条新闻 · 2 个事实

    Thinking Machines Lab发布Inkling多模态MoE模型

    2026年7月15日,Thinking Machines Lab发布原生多模态开放权重模型Inkling。据Hugging Face介绍,Inkling原生接收文本、图像和音频,为MoE架构,拥有975B总参数、41B激活参数和1M上下文窗口,bf16与NVFP4检查点分别需要2TB和600GB显存,已获Transformers、SGLang、vLLM和llama.cpp支持。同日,Modal官方工程博客称Inkling以Day 0合作上线Modal按token计费的托管端点,并为其定制DFlash推测解码器,在8x B200智能体负载上实现每用户250 tokens/s、每GPU 2.5M TPM,交互性比模型内置推测路径快67%。同日,LMSYS Blog称LMSYS与Thinking Machines团队合作,为Inkling在SGLang和Miles上提供Day-0支持,SGLang针对其MoE架构优化,在Nvidia Blackwell GPU上实现最高71.7k tok/s输入吞吐和171.0 tok/s单用户解码速度,Miles通过定制Megatron后端支持全参数与Lo

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Mistral AI发布Mistral Small 4开源多模态推理模型

    2026年3月17日,Mistral AI发布Mistral Small 4,这是Mistral Small系列的下一个主要版本,也是Mistral首个把Magistral的推理、Pixtral的多模态和Devstral的智能体编码能力统一到单一模型中的版本,采用Apache 2.0许可。该模型为MoE架构,128个专家、每token激活4个,总参数119B、每token激活6B(含嵌入和输出层为8B),上下文窗口256k,支持文本与图像输入,并可通过reasoning_effort参数在快速响应与深度推理之间切换。官方称相比Mistral Small 3,端到端完成时间减少40%,每秒请求数提升3倍;推理模式下在三项基准上匹配或超过GPT-OSS 120B,且输出更短。目前尚无后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    英伟达开放Nemotron多模态模型

    2025年10月31日,英伟达发布开源视觉语言模型Nemotron Nano 2 VL,面向视频理解与文档智能。该模型采用混合Transformer–Mamba架构,并通过EVS剪除冗余视频帧,以减少需要处理的token。vLLM同时为其提供推理支持,夜间版本可用BF16、FP8和FP4精度部署兼容OpenAI接口的推理服务器。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    vLLM扩展多模态输出处理

    2025年9月5日,vLLM宣布新增IO Processor插件框架,使非文本模型能在同一服务实例内完成输入预处理和输出后处理,并已接入TerraTorch地理空间模型。该插件当时用于pooling模型,每个vLLM实例可加载一个插件。Prithvi示例能够接收卫星图像URL,返回以base64编码的GeoTIFF洪水区域预测图。相关改动尚未进入当时最新的v0.10.1.1版本,复现实例需安装最新代码。

    匹配字段标题

星期三

星期三

  1. 事件1 条新闻 · 1 个事实

    MiniMax 发布通用多模态生成模型 H3

    2026年7月31日,MiniMax 发布通用多模态生成模型 H3。据官方信息,H3 可理解由文本、图像、视频和音频组成的统一上下文,生成带原生立体声的视频,最长 15 秒、2K 分辨率。官方称 2K 下每秒价格不到主流模型的三分之一,768p 价格不到主流模型 720p 的一半,并计划在近日开放模型权重。H3 采用 Contextual Omni Representation、H3-VAE、H3-Omni Transformer 和 In-Context Regeneration 等技术,官方表示完整技术报告即将发布。目前尚无后续有证据支持的发展。

    匹配字段标题

  2. 事件2 条新闻 · 1 个事实

    Qwen 团队发布多模态智能体模型 Qwen3.7-Plus

    2026年5月20日,阿里 Qwen 团队发布面向智能体时代的专有模型 Qwen3.7-Max,可通过阿里云百炼(Model Studio)调用 API。官方称其在编码智能体、通用智能体与推理基准上取得领先或接近 Opus-4.6 Max 的成绩,支持 Claude Code、OpenClaw、Qwen Code 等框架,并展示了一次约 35 小时、1158 次工具调用的自主内核优化,相对 SGLang Triton 参考实现取得 10.0x 几何平均加速。2026年6月1日,Qwen 团队发布 Qwen3.7-Plus,一款把视觉与语言统一到单一智能体底座的多模态模型,已在阿里云百炼上线,可在同一智能体循环中混合执行 GUI 与 CLI 操作,支持屏幕读取、视觉参考写代码、移动应用端到端操作,并适配 Claude Code、OpenClaw、Qwen Code 等框架。官方基准显示其在 Terminal Bench 2.0-Terminus 得 70.3、ScreenSpot Pro 得 79.0、AndroidWorld 得 81.0,同时支持 preserve_thinking

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Saining Xie 提出 pose 是视频多模态模型所需的最小充分 3D 信号

    2026年5月27日,Saining Xie 提出一项判断:pose 很可能是稳健视频多模态模型所需的最小充分 3D 信号,并强调它容易获取。他同时发布 cambrian 系列最新成果 cambrian-p,其中 p 代表 pose。据其表述,联合建模帧与 pose 能把图像序列转化为全局有根基的结构。目前该判断与成果均来自其本人发布,尚无其他独立来源的后续发展或验证。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Modal 优化 SGLang 多模态推理调度器

    2026年5月4日,Modal 发布工程博客称,其优化了 SGLang 调度器的多模态推理性能。Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时,发现 SGLang 调度器在 hash_feature 中反复调用 torch.UntypedStorage._new_shared_cuda,造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache,避免重复打开共享内存句柄,使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。目前没有后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Qwen 开源 27B 稠密多模态模型 Qwen3.6-27B

    2026年4月22日,Qwen Team 开源了 27B 参数的稠密多模态模型 Qwen3.6-27B。据官方博客,该模型支持思考与非思考两种模式,权重已在 Hugging Face 和 ModelScope 发布,并上线 Qwen Studio 与 API。官方称其在全部主要编码基准上超过上一代开源旗舰 Qwen3.5-397B-A17B,包括 SWE-bench Verified 77.2 对 76.2、Terminal-Bench 2.0 59.3 对 52.5、SkillsBench 48.2 对 30.0,GPQA Diamond 为 87.8。该模型可接入 OpenClaw、Claude Code 和 Qwen Code 等第三方编码助手,API 支持 preserve_thinking 以保留多轮思考内容。目前尚无后续发展事实。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Answer.AI 发布 ReadBench 多模态读文评测基准

    2025年6月5日,Answer.AI 发布 ReadBench,用于评测视觉语言模型(VLM)从文本图像中读取并推理信息的能力。该基准将 MMLU-Redux、MMLU-Pro、GPQA-Diamond、BABILong 和 LongBench 等文本基准的上下文转为图片,问题保留为文本。结果显示,几乎所有 VLM 在多模态输入下都出现性能下降:短于 1 页的输入下降较小,长输入下降非常显著,说明多页文档直接送入 Visual RAG 管线尚不可行。相关数据已发布于 HuggingFace,代码在 GitHub,论文在 arXiv。目前尚无后续发展事实。

    匹配字段标题

星期五

星期一

星期四

星期三

星期一

星期三

星期五