LeCun Team Paper: 109M-Parameter Text JEPA Outperforms 72B-Parameter Qwen2.5 in Cross-Modal Alignment

660倍的参数差距，结果小模型赢了？！

好家伙，LeCun这回是真给Scaling Law上强度了。

一个只有1.09亿参数的小模型，居然在跨模态表征对齐任务上，把720亿参数的Qwen2.5甩在了身后。

更让人坐不住的是，论文还发现：

给模型换一套训练方法，达到同样效果所需的训练样本量，直接暴降到原来的1/42。

这下天天卷参数、卷数据的大模型厂商，多少有点尴尬了。。。

alphaXiv在论文解读中，直接点出了最扎心的结论：

模型怎么训练，可能比单纯把模型做大更重要。

这下，LeCun念叨多年的那套观点，终于有了新的理论和实验撑腰：

LLM当然厉害，但它们主要在积累知识；模型真想理解世界，光靠一路往上堆参数，路可能走偏了。

连Google DeepMind前研究员Shruti Mishra看完都感慨：

Yann LeCun是对的，只是这个行业一直不愿承认。

仔细一看论文，这场较量其实比的是一项很特殊的能力——跨模态表征对齐。

举个例子，假设眼前有一只橘猫，视觉模型看到的是猫咪照片，语言模型读到的是“一只橘猫趴在沙发上”。

虽然输入完全不是一回事（一个处理像素，一个处理文字），可它们说的分明是同一只猫。

所以问题来了：

如果两个模型真的理解了这只猫，它们脑子里形成的内部表征，是不是也应该有相通之处？

这就是论文讨论的核心——柏拉图表征假说（Platonic Representation Hypothesis，PRH）。

2024年，MIT等机构的研究人员提出了这一假说：

此前的研究也确实观察到了这种趋势。

可问题是，难道非得把模型堆得足够大，才能做到这一点？

LeCun和合作者Randall Balestriero这次偏偏发现：

这次LeCun团队用到的，正是他这些年一直力推的JEPA（联合嵌入预测架构）。

先别被名字吓到，理解这篇论文，只需要搞清楚两种训练方式的区别：

Good Views（好的视图）和Bad Views（坏的视图）。

名字听着挺随意，效果却差了老远。

简单来说就是，Good Views让模型抓住不同观察背后的共同信息，Bad Views则可能让模型在光照、措辞这些细节上花太多功夫。

而两种训练方式的区别，也成了这篇论文数学证明的突破口。

研究团队证明，在特定理想化条件下，如果不同模态的JEPA都使用Good Views训练，那么即使各自独立学习，最终形成的表征也可以通过一个旋转变换对应起来。

这里的“旋转”，指的是高维空间中的坐标变换。

说的更直白点：

视觉模型和语言模型，可能只是用了两套不同的坐标系来描述同一个世界，只要找到坐标系之间的关系，就能把两边的表征对齐。

至此，原本主要依赖实验观察的“柏拉图表征假说”，在特定JEPA框架下有了数学证明（指路论文2.1）。

但LeCun团队还没完，他们甚至把当前大语言模型最主流的“下一个token预测”（Next-Token Prediction），也归入了Bad-View JEPA。

好好好，以前还只是打打嘴炮，这回来真的了~

论文另一位作者Randall Balestriero（目前是布朗大学计算机科学助理教授、AMI Labs研究员），也在论文发布后表示：

我们证明了JEPA的柏拉图表征假说：只要使用Good Views，不同模态的编码器即使独立训练，学到的表征也能通过一次旋转对齐。而下一Token预测使用的是Bad Views。我们1.09亿参数的文本JEPA，跨模态对齐表现超过了720亿参数的Qwen2.5，达到相同效果所需的训练样本也降到了原来的1/42。

他们的理由在于，“预测下一个token”本质上就是让模型根据前面的文字，猜后面会出现什么。

这么训练当然能学到大量知识，但也难免花不少精力琢磨措辞、语法、上下文这些语言本身的规律，可这些东西未必能帮模型更好地理解文字背后的世界。

Good Views就直接多了，让模型学习同一个场景的不同观察，从中抓住共同的信息。

一对比，一个得从海量文字里慢慢摸索，一个直接奔着共同的场景信息去。

如果比的是跨模态对齐，差距可能就这么拉开了。

模型学得不够好，很可能是因为我们一开始就没教对

至于具体能拉开多大差距，他们先在Flickr30k数据集上验证思路，随后把实验扩大到约9.4亿张网页图片对应的文本数据。

每张图片都有不同的文字描述，包括网页Alt-text，以及视觉语言模型生成的描述。

这样，同一个场景就有了多种文字表达，正好可以构造Good Views。

结果相当扎眼。

在相同的109M参数编码器和训练语料条件下：

Good-View JEPA只用了2160万个训练样本，就达到了“预测下一个token”模型使用9亿个样本才达到的跨模态对齐水平。

足足差了42倍之多。

而且即便按Token数量计算，Good Views训练所需的Token也降到了原来的1/14。

接着，研究团队又把这个109M文本JEPA，拿去和一众大语言模型正面比较。

在WIT-1024基准上，与视觉模型DINOv2的表征对齐分数如下：

好家伙，参数量相差约660倍，小模型反而拿到了更高的分数。

而且，研究团队还尝试把独立训练的视觉模型和文本模型，通过一个简单的线性映射连接起来。

结果在COCO图像描述任务上，取得了0.838的CIDEr分数。

进一步尝试不使用图文配对数据来拟合映射时，模型还在ImageNet-100相关零样本分类实验中取得64%的Top-5准确率。

这意味着，不同模态的模型即使各自训练，只要学到的表征足够接近，后续也有机会通过相对简单的方法建立联系。

当然，先别急着宣布小模型全面胜利。

109M超过72B，比的是特定的跨模态表征对齐指标，并不意味着它在推理、代码等通用任务上也更强。

另外，论文的数学证明依赖有限世界、可逆观测等理想化条件，现实实验还没有完全满足全部假设。

但至少，LeCun这次拿出了一套值得重视的新思路。

如果训练方式选得对，小模型也可能学到比大模型更高效的跨模态表征。

过去大家忙着研究，模型还要做多大，才能更好地理解世界。

如今LeCun反过来问：

有没有可能，模型学得不够好，是因为我们一开始就没教对？

论文地址：

参考链接：

本文来自微信公众号“量子位”，作者：一水 ，36氪经授权发布。