Zyphra 发布视觉语言模型 ZAYA1-VL-8B
Zyphra 发布其首个视觉语言模型 ZAYA1-VL-8B,基于 ZAYA1-8B 构建,采用 MoE 架构,700M 激活参数、8B 总参数,以 Apache 2.0 许可开源权重。该模型在视觉理解、定位和 OCR 类任务上表现突出,官方称其性能超过 Deepseek-VL2、Qwen3-VL 和 MolmoE 等同类模型,而训练仅用约 140B 视觉语言 token。架构上引入仅对视觉 token 激活的视觉专用 LoRA 参数,并对图像 token 采用双向注意力。

#模型发布#多模态#开源生态



