Randall Balestriero 与 Yann LeCun 用 JEPA 证明并改进柏拉图表示假说

Randall Balestriero 与 Yann LeCun 提出柏拉图表示定理：只要正样本对是同一场景的两次观测（good views），分别在任何数量模态上训练的 JEPA 会学到仅相差一个旋转的相同表示。他们指出 next-token prediction 是使用 bad views 的 JEPA，这解释了语言模型只能靠规模与视觉对齐；在相同语料上达到同等对齐，good views 所需训练样本比 next-token prediction 少 42 倍，109M 参数的文本 JEPA 对齐 DINOv2 和 CLIP 图像编码器的效果优于所评估的、最高 72B 参数的所有语言模型。