先了解这件事
AI 综述
Open Athena作者David Hall提出,后训练数据不存在类似预训练的公共池。他指出,预训练有Common Crawl这类现成公共语料,而后训练消耗的是任务而非文档,因此没有对应的数据公地。他以SWE-bench为例说明任务制造成本:12个Python仓库的9万多条PR中仅2294条成为原始任务,OpenAI人工复核1699条后只留下500条Verified任务。David Hall认为,开源社区需要系统性把人类活动转写为RL任务,否则训练前沿模型的能力将集中在少数公司手中。
AI 根据公开报道生成
最新进展 · 正式报道
Open Athena 作者 David Hall 分析后训练数据为何没有公共池事件进展
1 个已确认进展
- 来源：Hacker News 热门
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月15日
Hacker News 热门
Open Athena 作者 David Hall 分析后训练数据为何没有公共池
Open Athena 作者 David Hall 指出，预训练有 Common Crawl 这类现成公共语料，后训练消耗的是任务而非文档，因此不存在对应的数据公共池。他以 SWE-bench 为例说明任务制造成本：12 个 Python 仓库的 9 万多条 PR 中仅 2294 条成为原始任务，OpenAI 人工复核 1699 条后只留下 500 条 Verified 任务。他认为开源社区需要系统性把人类活动转写为 RL 任务，否则训练前沿模型的能力将集中在少数公司手中。