先了解这件事
2026年10月29日,Randall Balestriero与Yann LeCun发表37页论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》,用JEPA框架为柏拉图表征假说给出数学证明。论文提出,在符合特定条件的正样本关系下,不同模态的JEPA模型能学到只差一个旋转变换的表征空间。实验显示,1.09亿参数的文本JEPA在跨模态表征对齐指标上得0.184,高于Qwen2.5-72B的0.154和Llama-3-70B的0.151;Good Views训练用约2160万个样本达到下一Token预测用9亿个样本的对齐水平。作者同时指出,该指标衡量的是表征结构接近程度,并非通用能力,数学证明依赖有限世界、可逆观测等理想化条件。
AI 根据公开报道生成
最新进展 · 正式报道
LeCun团队论文：1.09亿参数文本JEPA跨模态对齐超过720亿参数Qwen2.5事件进展
1 个已确认进展
- 来源：36氪 · AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月2日
36氪 · AI
LeCun团队论文：1.09亿参数文本JEPA跨模态对齐超过720亿参数Qwen2.5
LeCun与Randall Balestriero的论文用JEPA框架为柏拉图表征假说给出数学证明，并称在跨模态表征对齐任务上，1.09亿参数的文本JEPA表现超过720亿参数的Qwen2.5。研究显示，Good Views训练只需2160万个样本即可达到下一token预测模型用9亿样本的对齐水平，样本量降至1/42，按Token计降至1/14。作者同时指出，这一比较仅限特定对齐指标，数学证明依赖有限世界、可逆观测等理想化条件。
36氪 · AI
LeCun 与 Balestriero 发布 JEPA 论文，1.09 亿参数模型跨模态表征对齐超过…
Yann LeCun 与布朗大学助理教授 Randall Balestriero 发布 37 页论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》，提出在符合特定条件的正样本关系下，不同模态的 JEPA 模型能学到只差一个旋转变换的表征空间。实验中 1.09 亿参数的文本 JEPA 在跨模态表征对齐指标上得 0.184，高于 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151，但该指标衡量的是表征结构接近程度，并非通用能力。研究还称 Good Views 训练用约 2160 万个样本达到下一 Token 预测用 9 亿个样本的对齐水平，按 Token 数计算差距约 14 倍。
11月1日
Hacker News 热门
Randall Balestriero 与 Yann LeCun 用 JEPA 证明并改进柏拉图表示假说
Randall Balestriero 与 Yann LeCun 提出柏拉图表示定理：只要正样本对是同一场景的两次观测（good views），分别在任何数量模态上训练的 JEPA 会学到仅相差一个旋转的相同表示。他们指出 next-token prediction 是使用 bad views 的 JEPA，这解释了语言模型只能靠规模与视觉对齐；在相同语料上达到同等对齐，good views 所需训练样本比 next-token prediction 少 42 倍，109M 参数的文本 JEPA 对齐 DINOv2 和 CLIP 图像编码器的效果优于所评估的、最高 72B 参数的所有语言模型。
本事件热度走势
- 当前
- 15
- 区间峰值
- 16 11月2日 15:00
- 近 24 小时变化
- —
移动指针或点击图表可查看每小时热度；键盘可用左右方向键切换。