NVIDIA 发布 2.8 万亿 token 的 Indic 预训练语料与开放数据生成流水线
NVIDIA 公开了一套 Indic 预训练语料与数据生成流水线,语料含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token,覆盖 22 种语言。流水线基于 NeMo Data Designer 和 Gemma-4-31B-it,对 12 种语言做翻译、质量评估与修复,仅保留 75 分以上输出,共挽回 438.4 亿 token。Nemotron 3.5 Super VL 在 Indic 持续预训练后,MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K 五项基准提升 4.98 至 9.82 个百分点。
匹配字段标题



