蚂蚁百灵开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base
蚂蚁百灵正式开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base 两个 Base Model,并同步开放预训练、中期训练和 WSM 合并三个阶段的权重,共 6 个 checkpoints。Ling-3.0-tiny-base 总参数 7.9B、激活参数 1.3B,Ling-3.0-flash-base 总参数 124B、激活参数 5.1B,可用于持续预训练、监督微调、偏好优化、强化学习后训练与蒸馏。官方说明 Base Model 未完成指令对齐,不建议未经后训练直接部署为面向终端用户的聊天服务。
一个可继续训练、拓展并适配真实场景的开放底座。 在下表的评测中,模型在代码、复杂推理和长上下文方向表现突出。相比总参数量约为其 2–3 倍的 base model,模型的整体表现仍具优势。 这使 flash-base 适合用于以下方向的继续训练与探索: 面向软件研发和大型代码库的代码模型; 需要多步分析与复杂推理的专业模型; 面向长文档、长流程和长程任务的 Agent 基础模型; 金融、医疗、科研、工业等专业领域的持续预训练与后训练。 Benchmark 描述的是特定设置下的 Base Model 能力,并不等同于聊天体验、Agent 执行效果或生产系统性能。Tiny 和 Flash 在知识、数学等部分评测上也各有能力边界,我们希望社区以此作为选择训练底座的参考。 03 为什么要开放 Base Model? 真实世界不只有一种任务,也不只有一种正确答案。 真实世界任务往往具有长期目标、专业知识、复杂环境、工具调用和责任边界。医疗、金融、科研、工业和个人助手需要不同的数据、反馈机制和安全约束。一个官方后训练模型可以提供通用能力,却无法替代每个领域基于真实任务进行的训练、对齐和验证。 Ba
匹配字段正文





