Anthropic 更新招股书:承认曾未及时识别 AI 研发加速,并禁止 Claude 全自动设计下一代模型
Anthropic突然更新,AI自进化已突破红线,人类根本来不及反应
Anthropic 向美国 SEC 递交更新版招股书(S-1/A),把首版中「可能无法在研发显著加速前识别」改为「过去就曾未能识别」,承认 AI 研发加速已在内部真实发生过。文件披露到今年 9 月内部代码库超九成代码由 Claude 生成,每位工程师日均提交代码量从 2024 年均值的 35 倍升至 45 倍以上,内部调用 Claude 的开销从 1 月到 9 月按公开标价涨超 250 倍。第 188 页明确不会脱离人类监督让 Claude 全自动设计、构建下一代前沿模型,并考虑要求关键决策由人类审查签字。
推荐理由
AI 评分 57
Anthropic 在更新版招股书中承认过去曾未及时识别研发加速,并划出禁止全自动造模型的红线,读者可据此理解其安全与算力扩张之间的张力。
主题
正文
就在刚刚,正冲刺纳斯达克IPO的Anthropic,向美国SEC递交了一份更新版招股书(S-1/A)。
距离首版招股书公开才过去一周,Anthropic管理层却连夜在文件里补上了让人心头一紧的「交底」——
AI自我加速的红线近在咫尺。内部测算显示,未来的Claude很快就会触发「AI显著加速研发」阈值,短短1年干完过去整整2年的研发进度!
连造AI的人都在看后视镜。受困于「滞后指标」,Anthropic首次承认,过去就曾没能及时察觉研发加速,未来也可能要等加速发生后才后知后觉!
明确禁止「全自动造AI」。哪怕内部超90%代码已由Claude接手,公司在第188页依然划出底线,绝不脱离人类监督,去让Claude全自动设计下一代前沿模型!
六个词改写招股书
把前后两版招股书放在一起逐行比对,最关键的一处改动在第29页。
一周前的首版S-1里,Anthropic说话还留着余地,只说公司「可能无法」在研发显著加速发生前识别出它。
到了这次的修订版,法务和管理层专门往这句话里塞进了六个英文单词,「have in the past not identified(过去就曾未能识别)」。
短短六个词,直接把「未来可能会发生」的预警,变成了「过去已经发生过」的坦白。
在Anthropic自己的实验室里,AI研发速度突然加快、人类团队却事后才反应过来的情况,已经真实发生过了!
根据内部估算,未来的模型很快就会撞上《负责任扩展政策》里的「自我加速红线」。
按照这条红线的定义,一旦越线,就意味着在AI加持下,短短1年之内就能跑完2018至2024年基线速度下整整2年的研发进度。
之所以连亲手写算法、盯数据的顶尖研究员都会「后知后觉」,原因在于大模型的能力提升很难实时测准。
新模型在预训练和Agent协同里到底变强了多少,光看训练曲线是读不出来的。
研究员必须等模型训完、跑完评测,再拉进内部工程线实打实用上几个月,最后统计代码产量和实验周期,才能倒推出真实的加速倍率。
但时间差就在这里。
等研究员拿着几个月的滞后数据算出「它已经越线」时,新模型早就昼夜不停地写完了下一代模型的核心代码。
内部Token账单压过全员薪水
却不敢让Claude全自动造下一代
观测之所以跟不上,是因为Claude接管Anthropic内部研发的速度实在太快了。
更新版招股书公开了一组最新的三季度内部数据。到今年9月,Anthropic内部代码库里超过九成的代码,都已经出自Claude之手。
在AI带动下,每位工程师每天提交的代码量,短短一个季度就从35倍飙升到了2024年均值的45倍以上。
内部算力消耗的涨势还要猛。从今年1月到9月,公司内部调用Claude的开销按公开标价算暴涨了250倍以上。
早在今年4月,Anthropic每个月花在内部Claude身上的钱,就已经超过了发给全体员工的月度现金工资总额(不含股权激励)。
照理说,既然Claude写代码比人快几十倍、连账单都压过了人类薪水,最顺理成章的做法就是全面放手,让Claude全自动去设计和训练下一代Claude。
偏偏在这个节骨眼上,Anthropic自己划下了一道红线!
在第188页讲内部研发循环的章节末尾,Anthropic特意补上了一条硬性规定:哪怕将来技术上完全做得到,公司也不会脱离人类的监督和理解,去让Claude全自动设计、构建下一代前沿模型。
背后的担忧在于,如今模型接管的研发工作越来越多,万一哪一代模型藏着人类没发现的漏洞、偏差或欺骗倾向,风险就会顺着研发流程传下去。
一旦放权让它全自动设计下一代,这些隐患就会跨代累积、层层放大,等人类察觉出问题时,早就很难追查源头了。
为了防住这种跨代失控,Anthropic在第31页透露,正考虑修改安全红线,强制要求研发流程里的特定关键决策必须由人类审查签字。
但守住安全边界,也让Anthropic在研发进度上付出了不小的代价。
达里奥几周前曾自曝,「一个已被训完的Mythos级高级模型,被雪藏了大约四个月」。
就在最近,为了防范模型权重被窃取并加固安全措施,公司把一个全新前沿基座模型的预训练启动时间推迟了一个多月。
比如,今年4月那款漏洞挖掘能力极强的模型Mythos,至今也只通过「Project Glasswing」项目定向提供给少数机构做防御。
签下8954亿算力长约
谁减速谁出局
一边因为安全顾虑把新模型的预训练推迟了一个多月;另一边,Anthropic砸钱抢算力的手笔却比谁都大。
于是,硅谷的核心算力供应商几乎被它签了个遍。
排在最前面的是博通1612亿美元设备租赁,以及谷歌云1213亿美元TPU算力(外加最高1500亿美元追加框架)。
紧随其后的,还有马斯克旗下SpaceX与xAI(Colossus集群)的1205亿美元、亚马逊AWS的1100亿美元,后面还排着微软Azure、Nscale、Lambda和AMD。
拿全美科技巨头的最新财报一比,就能看出这笔赌注有多夸张。
一家前三季度营收332亿美元的创业公司,背上的表外承诺总额已经压过了Meta(8660亿美元)、微软(5940亿美元)、英伟达(5300亿美元)和亚马逊(4530亿美元),全美仅次于谷歌!
近9000亿美元的算力合同签在账上,意味着Anthropic已经没有任何放慢研发节奏的退路。
而要消化这笔天量算力、撑起年化近700亿美元的营收,Anthropic唯一的办法,就是把越来越多的研发工作交给Claude,让它以几十倍于人类的速度去写代码、做实验!
参考资料:
本文来自微信公众号“新智元”,作者:ASI启示录,编辑:桃子 摩西,36氪经授权发布。