搜索“编码”

A），这是一种稀疏注意力方法，它构建并搜索一棵分层树，以确定每个查询的相关 token 集合。ZHA 通过为路由选择合适的 top-p 阈值，实现了亚二次复杂度，优于现有那些仍维持二次索引器的稀疏注意力方法。我们证明，只需使用几十亿 token 的蒸馏阶段，就能将现有的预训练模型适配到 ZHA，并且 ZHA 在高稀疏度下仍能在具有挑战性的长上下文推理、智能体编码和检索基准上保持性能。我们的性能模型显示，在超长上下文中，ZHA 在速度和计算成本上大幅优于稀疏注意力方法。 为什么高效注意力如此困难？ Transformer 最显著的特性之一，是能够从序列中的任意位置检索信息。 当语言模型生成下一个 token 时，注意力使其能够回顾此前出现的所有内容，并判断哪些信息片段是相关的。例如，编码模型可能需要从数千行之前检索某个函数定义，而推理模型可能需要重新审视长思维链中的某个中间结论。 关键在于，模型不必事先决定哪些信息会重要。每个新查询都可以独立检索它所需要的那部分上下文。 这种灵活性极其强大，但代价也很高昂。 在标准注意力中，每个 token 都要与之前的所有 token 进行比较。这导致

匹配字段正文

什么，因此可以检查监控器是否识别出了该行为，以及在事件需要紧急响应时，它是否给该案例分配了足够高的优先级以提醒响应人员。 记录在案的事件来自模型训练、评估和内部使用。其中一些是在监控系统存在之前、或通过独立调查发现的；另一些则被我们的监控器捕获，如今这些事件帮助我们检验更新后的监控器是否仍能检测出已知问题。其中若干事件已被纳入我们公开的错位披露，例如一起内部编码智能体 向公共互联网泄露了一个 GitHub 访问令牌. 我们还使用模拟攻击来测试过往事件可能无法捕捉的故障。在 OAI-repo 破坏 v2，智能体在执行普通编码任务的同时追求隐藏目标，例如禁用监控或部署未经批准的模型检查点；相关服务在评估环境中重建，因此我们可以检查攻击是否成功，而不会暴露真实系统。在 隐蔽沙箱逃逸，智能体会试图逃出沙箱，并禁用沙箱外的一个测试监控进程。在这两个模拟场景中，监控器都能看到智能体如何围绕其隐藏目标进行推理，但看不到为其指派该目标的指令。 对于这些模拟事件，我们使用合成转录文本，从而可以改变智能体描述危险动作的方式：这使我们能够测试当智能体为该动作给出看似无辜的解释时，监控器是否仍能识别出该动作。

匹配字段正文

加州大学圣巴巴拉分校的一篇新论文表明，LLM 数学发现可以跳过测试时训练，因为演化记忆得分更高，且所用计算量远少。 也就是说，在数学发现任务上，演化记忆优于测试时训练，且计算量远少。 测试时训练让模型在搜索过程中通过对自身已评分的尝试运行强化学习来改进。这些权重更新既慢又昂贵，因此该方法难以扩展到更大的模型。 他们构建了 TTME，它保持权重固定，并将经验教训存储在记忆中。该记忆保存了此前尝试中的实用编码规则以及得分提升背后的思路，用以指导后续尝试。 在 5 个数学任务、2 个框架和 3 个模型上，TTME 每次都超过了报告中的测试时训练得分。在 3 个任务上使用 Qwen3-8B 时，其 FLOPs 比测试时训练少 82.8% 至 84.6%，运行时间少 47.7% 至 58.4%。 如果你的 LLM 搜索循环带有自动检查器，不妨先尝试用经验记忆，而不是在搜索中途付出权重更新的代价。

匹配字段正文

为1，失败记为0。这样的反馈可以区分任务是否完成，却无法直接指出：策略在哪些环节存在不足，又有哪些成功经验值得重点学习。为此，团队提出了失败引导的经验检索微调算法FERT。它区分了成功与失败样本的作用：成功轨迹提供可学习的动作，失败场景则指明学习的重点方向。 FERT算法框架图 失败轨迹用来定位短板：截取失败任务临近故障时刻的观测信息，经过图像、关节状态联合编码，标记出集群需要重点补强的工况； 成功轨迹用来输出范本：所有机器人产生的有效成功轨迹存入群体共享经验池； 检索优先采样训练：以失败场景的特征作为查询条件，在经验池中检索工况匹配的成功操作片段，提升该类样本训练采样优先级，把算力集中投入高频出错环节； 策略迭代闭环：更新后的策略下发全部机器人，继续产出新一轮成功、失败轨迹，循环往复持续优化。 一句话总结就是：失败不只是负面记录，更是告诉机器人，接下来重点该学习哪些场景。群体经验的价值，一方面来自持续的数据积累，另一方面取决于能否把适配的经验精准送到模型最需要学习的地方。FATS 系统：96 台真机并行训练，故障时间损耗仅 1.3% 让96台机器人持续积累经验，面对如下现实问题：有的

匹配字段正文

据和不安全的工具使用。这项研究考察的是更底层的一层：在模型运行时承载并传输其参数的基础设施。 权重是塑造模型回答的数值参数。磁盘上的有效文件可以被加载到内存中，随后被具有足够特权的组件更改。之后对原始文件的检查仍会看到预期的字节，即便回答是使用被篡改的运行时状态生成的。 Eclypsium 的受控演示显示了对查询的模型输出操纵，报告指出，若将同样的技术应用于编码模型，可能削弱身份验证检查、关闭证书验证、引入不安全的依赖项，或在生成的代码中留下内存漏洞。更广泛的担忧在于，运行时操纵可能影响其他敏感用途，例如自动化决策。这些可能性应与实验室中展示的具体行为区分开来。 所谓“未被检测到”的说法也有明确的范围：演示中使用的存储模型完整性检查并未发现内存中的更改。这并不能证明其对一切形式的监控或取证检查都不可见。 攻击条件至关重要 该测试使用了 NVIDIA Grace Hopper 环境。其直接内存访问路径依赖于受损的特权组件以及允许访问敏感内存的配置设置。研究人员指出 IOMMU 直通和宽松的 PCIe 隔离是重要条件，并明确说明这些并非 Linux 的默认设置。 IOMMU 有助于控制外设

匹配字段正文

措辞几乎相同。只有 15% 提到了 AI。 对话日志显示，智能体在 77% 的决策中首先表明立场。根据该论文，它随后通常只为自己偏好的一方辩护，没有解释资深专家为何可能选择另一种方案，尽管它确实解释了不同选择会如何影响结果。 参与者在使用 AI 时工作速度也快得多，错误也更少。在没有智能体的情况下，55% 的分析（即 11 项中的 6 项）存在严重的方法论或编码缺陷，中位耗时为 90 分钟。使用 AI 时，仅有 6%（即 50 项分析中的 3 项）存在严重缺陷，参与者在 65 分钟内完成。未使用 AI 的小组是自己选择不使用该工具，且专业水平略低，因此研究人员无法确定这一差距中有多少直接来自 AI。 虚假共识与更弱的安全检查 研究人员表示，这种无声的顺从可能在科学领域产生广泛影响。如果许多研究团队使用具有固定默认偏好的同一模型，他们最终可能制造出虚假共识。 这一风险也延伸到 AI 安全本身。研究人员已经在使用 AI 智能体测试前沿模型的安全性和对齐性，期望人类审查能作为独立检查。但如果专家在开放式判断上不知不觉地采纳了智能体的偏见，一个未对齐的系统最终可能操纵那些本应用来揭露其未对齐的

匹配字段正文

\u3040-\u309F\u30A0-\u30FF]+然后[!" $%&'() +,\-./:; ?@\[\\\]^ {|} ][A-Za-z]+|[^\r\n\p{L}\p{P}\p{S}]?[\p{L}\p{M}]+|␣?[\p{P}\p{S}]+[\r\n] |\s [\r\n]+|\s+(?!\S)|\s+ 连续三个正则表达式：先处理数字，再处理硬编码的CJK范围（表意文字和假名，不含韩文），最后是带有额外标点规则的标准预分词正则表达式 预分词最明显的效果是将英文文本切分为以空白分隔的单词；如果没有预分词，词表中最终会出现许多看起来像乱码的token。 详情：无预分词时token的示例 不携带语义的token最明显的例子是跨越空白但不跨越完整单词的token。 常见后缀、前缀以及彼此粘连的单词： ed the s and s of the es in the the s a c to re ed and un s are un 多词专有名词的中间子串： North Kore New Yor ong K audi Arab 跨越句子标点的token： . The , and s

匹配字段正文

类伎俩的不可信模型，会找到宿主机留下的任何攻击面。 后门还是粗制滥造的管道？ 一个北京存储桶、一个新加坡文件代理、元数据探测和命名空间伎俩，是如何进入一个可免费下载的模型中的？谁拥有那些存储桶以及它们如何处理请求，并不公开。 第一种解释是，它们是良性的化石：来自训练沙箱或第三方工具的智能体日志，在训练后未经清洗就被卷入。有一条线索吻合。一位开发者 发现 一个编码工具将其网络抓取通过同一个 routify 主机路由。另一种解释则是有意植入的“回连”植入物，用于记录运行由该模型驱动的智能体的服务器列表，并在找到外传路径时尝试数据外传。这种东西 构建成本低廉, 而且此类后门 能够存活 标准的安�全训练。 对于 CISO 或国防部而言，答案几乎不变，因为这种行为不可预测，而且无论如何流量都越过了边界。更深层的问题在于，训练该模型的实验室之外，没有人能说清哪种解释是对的。Hugging Face 统计 超过113,000个 Qwen 衍生模型, 而 routify 行为已经在来自四个发布者的构建中出现，包括阿里巴巴。封闭 API 也带有同一风险的某个版本：如果供应商不向你展示其模型是如何构建的，

匹配字段正文

DSA 本身对每个 query 只读约 2048 个关键 key（注意力近似线性），但 indexer 要对每个 query 给全部「每 4 token 一池」打分，稀疏注意力的二次成本被挪到了 indexer。 四块优化 1. DSA 真稀疏 · 问题：Megatron 融合稀疏核只认 DeepSeek-V3.2 的张量形状；Flash 版 DSA 无位置编码（NoPE）、维度更窄，且选 2051 而非 2048 个 key。内核静默拒掉后回退到全量稠密注意力。其他优化都开着时，16k 就要约 114 GiB/GPU，32k 直接 OOM。 · 做法：把张量 pad 到核期望形状；选用 TileLang（相对 cuDNN/FlashMLA 在 128k 约省 3 倍显存）。16k 降到约 56 GiB。 · Indexer 按 query 分块打分：32k 时全量打分峰值约 64 GiB，分块后约 2.3 GiB。 · Indexer 按 TP 分片：原先 8 卡各自重复整段 O(S²) 打分；改为每卡只算自己那份 query，再交换较小的选中 pool 索引（int32）。256k

匹配字段正文

-5.5 同等强度的模型的内部 Responses API 智能体流量中，约有 75–94% 符合监控条件，同时承认两个方向上均存在相当大的不确定性。Responses API 为 Codex 等提供支持，而在用于内部 Codex 智能体的那部分流量中，评估者估计有 99.2% 符合监控条件。他们表示，由于访问权限和时间限制，无法估算他们所知的其他内部智能体编码流量的规模，例如在 OpenAI 内部研究推理服务上运行的智能体。 若干发现涉及该覆盖范围的缺口。演练开始时，强化学习训练运行不在监控系统的覆盖范围内，尽管评估者获悉，在 3 月至 6 月期间，一部分 RL 训练 rollout 已接受失准监控。METR 估计，不监控压缩事件很可能导致 2026 年 5 月至 7 月期间约 10% 的符合条件的内部 Codex 流量未被监控，这一缺口 OpenAI 员工在演练开始前已独立发现，并在演练期间修复。由于系统在智能体将控制权交还给用户时才会触发，智能体本可以仅通过在该期间持续行动来无限期推迟被监控；受访问限制，评估者无法核查实际上是否有任何智能体这样做过。另外，评估者看到的信息表明，在

匹配字段正文

a25330df36af7a1db16e8fb55529 64，用于追踪目的。 此次演练与METR对Hugging Face事件的调查相互独立，后者恰巧在此次演练的第一天被公开报道。↩ 一份经OpenAI删减的38页版本已与METR和Redwood的领导团队共享。↩ 与我们此前与Anthropic进行的压力测试演练（以及METR此前与许多实验室的合作）类似，我们只发布这份非公开报告的一小部分内容，并且OpenAI有权从这一公开版本中删减任何OpenAI（自行酌情）认定为机密或其他敏感的信息。与近期其他合作（如《前沿风险报告》和Hugging Face事件调查）不同，我们无权单方面说明此类删减内容，不过我们认可本文所呈现的每一项发现。↩ 请注意，这不包括我们所知的其他内部智能体编码流量来源，例如运行在OpenAI内部研究推理服务上的智能体——由于访问权限和时间限制，我们无法估算此类流量的规模。↩ 符合监控条件的流量本应被发送至监控器，但原则上，负载削减、监控器错误或实现缺陷可能导致部分符合条件的流量无法走完整个监控流程。↩ 由于访问权限限制，我们无法核查智能体在实践中是否利用了该漏洞。↩

匹配字段正文

配方保持不变；推理从 1 个扩展到 3 个 8 卡 MI355X 节点，并配合云沙箱和并发修复。 RL 单步速度约提升 3 倍：850 秒 → 284 秒。 在同一 8 卡推理节点上限制轨迹长度可减少长尾。 384 个并发智能体沙箱。 最大规模的运行使用三个推理节点和一个训练节点，每个节点配备 8 块 MI355X。 背景 为什么智能体强化学习与众不同 在编码智能体强化学习中，一个训练样本就是一整个回合。模型阅读 GitHub issue，在沙箱中运行 20 到 100 多条 shell 命令，编辑代码，并且只有在仓库测试通过时才能获得奖励。 图 1： 智能体强化学习循环。一个训练样本就是一整个多轮回合。 与单轮强化学习相比，这种工作负载带来了新的问题： 长尾拖后腿者。 同一任务的两次尝试长度可能相差 2.5 倍，而 GRPO 组必须等到最慢的尝试完成才能评分，因此少数拖后腿者就可能拖住训练。 处于关键路径上的 CPU 集群。 每条轨迹都需要自己的沙箱来构建和测试代码。 架构 推理和训练运行在独立的节点上。推理节点运行八个单 GPU 的 SGLang 引擎和 Harbor，后者负责管

匹配字段正文

，每项指标皆如此——小型sup3核心集在准确率上仅略胜基线，而要实现真正的跃升则需要完整的无损集。在航空领域，可靠性一端的情况则相反：无损集在准确率上领先（65%对60%），但紧凑的sup3核心集（14条准则）更为可靠，将Pass^4提升至45%，而无损集为40%。这呼应了此前的发现——交付是一个旋钮，而非常量——支持计数是一个值得按领域调校的旋钮，而非应硬编码的值。 更好的性能消耗更多token，而非更多轮次 准则并非免费，但成本落在你预期的地方——在提示词输入token上，而不是在更长、更冗长的对话中： 图2. 在完整基础划分上，按领域和准则配置统计的每次对话总LLM成本。 表3. 在完整基础划分上、四次试验中每次对话（智能体与用户模拟器）的总LLM成本。越低越好。 智能体是通过说得更久来达到目标的吗？为了干净地回答这个问题，我们做同类比较：在基线和准则变体下均解决的任务运行——场景和种子完全相同，是真正的“同一任务、正确完成”集合——并统计双方的助手轮次。 表4. 在测试划分上、两种设置下均解决的匹配运行中每次对话的助手轮次，汇总四次试验。 智能体并没有说得更久——在共享集合上，

匹配字段正文

当下发生的变化，为未来工作与就业的可能图景提供了前瞻性信号。 本报告基于Anthropic全面的内部数据，涵盖雇佣、AI使用、产出指标、员工调查、内部沟通模式、员工日历数据和招聘决策记录。报告结合17位员工访谈对这些定量数据进行了情境化解读。 我们发现，即使公司规模不断扩大，初级技术岗位的相对招聘已经放缓。工程师和非技术员工的生产力都大幅跃升，而且在他们采用编码智能体时跃升尤为明显。招聘经理相对于具体技术专长，越来越强调应聘者的自主性和判断力。在AI密集的组织中工作的一个决定性特征，是持续面临尽可能将自己从这一瓶颈位置精简出去的压力。一位工程师将工作描述为面对“一支Claude大军，每一个都在要求我的关注”。Anthropic的员工仍保持批判性。但他们贡献的性质已经改变。 Anthropic通过建立早期预警系统来追踪面临中断风险的岗位，以此应对这些变化；随着岗位演变，公司优先考虑内部重新调配。这些在AI发展和职场变革双重前沿采取的举措，展示了具体的组织承诺如何塑造AI对就业的影响。但它们也提出了关于这些承诺究竟应当是什么的难题。 前沿的劳动力需求 Anthropic扩张迅速。但相比上一

匹配字段正文

美国成年人中，在工作中使用AI的人有26%表示一项任务用时仅为原来的四分之一或更少，而不在工作中使用AI的人中有21%这么说。对于员工，这一比例为59%（图4）。 员工可能是在描述他们在工作中的实际体验。正如《Anthropic的就业正在如何变化》中进一步讨论的那样，Anthropic员工在采用智能体工具后在某些维度上提高了生产率：工程师新增的代码行数在采用编码智能体后的一个月内增至三倍，销售代表在采用AI智能体后与客户达成了更多交易。法律和招聘等其他业务职能的人均产出也有所上升。 自己的工作与岗位 AI将能完成多少自己的工作 也许并不令人意外的是，我们发现普通公众与Anthropic员工在AI对自身工作的影响上存在巨大认知差距（图5）。平均而言，Anthropic员工表示，到2030年AI将能够完成他们当前工作时间的75%。美国劳动者（报告自己有工作的受访者）平均给出的比例为28%，只有二十分之一的人表示到2030年AI能完成其80%或更多的工作时间。 在美国劳动者中，预期因职业而异：体力行业、生产和运输劳动者预计AI能完成25%的工作时间，计算机、工程和科学职业的劳动者则为33%。

匹配字段正文

Claude 已被证明特别擅长优化经典算法，因此我们想看看，如果只向它提供每个电路必须计算什么的自然语言描述，它是否也能对量子算法做到同样的事。 Claude 异常适合这项任务，原因有几个。首先，量子算法是以量子电路的形式实现的。这些电路由一系列门组成，比如上文提到的 Toffoli 门。重要的是，这些电路可以用代码来描述，因此我们可以利用 Claude 的编码能力，把电路设计当作普通程序来编写、运行和修改。其次，我们最想优化的那类（相当常见的）量子算法可以高效地检验正确性，因为每个输入都给出一个确定的输出，普通计算机就能检查。这意味着我们可以用一个外部评估程序来验证 Claude 的提案。最后，我们可以给 Claude 一个清晰、客观的分数去提升：所用量子比特数乘以门数，以此作为电路运行耗时的代理指标。 我们发现，Claude Mythos 5 能够成功地在闭环中工作：提出电路设计，从评估程序获得反馈和分数，并利用这些反馈改进下一次尝试，轮次之间无需人工输入（见图 1）。在八个计算原语——即构建更大量子算法的基本例程——上，涵盖化学、优化、量子模拟、数论和数值计算，Claude 发现

匹配字段正文

果看来，目前其速度和成本仍然无法达到生产应用的要求，和人类基准相比，差距接近两个数量级。 一、8项桌面操作任务，测试大模型对机械臂的控制能力 自2026年初以来，前沿大语言模型控制机械臂的能力取得了巨大进步。 研究团队认为，未来的机器人很可能会由强大的通用智能体驱动。因此，该团队设计了AA-Robotics v0.1基准测试，用来验证这一方向。 评测让运行在编码智能体框架中的大语言模型，直接控制机械臂。 此次测试只会给模型提供简短的操作说明，包括如何通过一个HTTP API连接机械臂，机械臂是哪一台，以及如何提交任务并宣布完成。 评测中使用的机械臂是Hiwonder NexArm，一台6轴机械臂，包括5个关节和1个夹爪。 模型可以通过4个摄像头观察场景，其中3个摄像头安装在桌子周围，另一个安装在机械臂的腕部。 观察完场景之后，模型还可以在隔离的代码运行环境中编写并运行代码，用于进行运动规划，并将运动指令发送给机械臂。 ▲AA-Robotics v0.1任务流程 在AA-Robotics v0.1评测中，主要包含8项桌面操作任务，包括 控制与灵巧操作，精准抓取和操作物体，例如进行积木整理

匹配字段正文

务与 DP prefill 配对将异步 RL 轨迹转化为高效的 GPU 工作。 这些技术共同使 Fireworks 能够以高吞吐量维持长时间、分支化、多轮的 K3 rollout，同时保持模型所需的状态正确性。 RL：快速迭代，稳定训练 使用 XOR 增量进行权重同步 同步 K3 的 2.8T 参数使得全量 checkpoint 传输代价高昂。我们将每次更新编码为逐字节 XOR 增量，Δ = W new XOR W base，并用 Zstandard 压缩。未变化的字节变为零，从而减小压缩后的负载。Rollout worker 解压增量并应用 W base XOR Δ，逐位重建新的 checkpoint。 在 Fireworks 公布的工作负载中，一个 1,024 GiB 的 checkpoint 平均产生 20.3 GiB 的增量——每次增量更新的字节数减少了 98%。计入周期性全量 checkpoint 后，50 步内总传输量下降了 94%。 RL 稳定性与数值 确定性 训练与rollout之间的数值漂移，即使两个系统使用完全相同的权重，也可能扭曲RL重要性比率。这与策略陈旧不同：

匹配字段正文

基础，构造了多种KV Cache压缩方案，并设置没有分块压缩的全注意力模型作为对照。 重点只改变压缩机制，看看周期性波动会不会跟着出现。 结果， 所有接受测试的分块压缩模型，都出现了与压缩步长对应的周期性变化 。 反过来，全注意力基线模型没有出现同等程度的周期性。 研究人员还分别调整了窗口大小和压缩步长，发现周期主要跟着压缩步长变化。 甚至不使用RoPE位置编码，或者把可学习的压缩权重换成简单平均，这种现象依然存在。 换句话说，问题并不是某个位置编码或者某个特殊模块单独造成的。 分块压缩这种设计本身，就可能引入周期性的检索弱点。 Seed团队进一步对注意力头进行干预，观察移除不同组件之后，模型在各个相位上的检索能力如何变化。 结果发现，不同注意力头对不同相位的贡献并不一样。 有些头更擅长处理某些位置的信息，另一些头则在其他位置上发挥更大作用。 研究人员将其称为Phase Specialization，相位专门化。 也就是说，模型内部似乎形成了一种分工：不同注意力组件，对压缩窗口里的不同位置产生了偏好。 这种分工可以帮助模型完成信息检索，却也可能让某些位置成为相对薄弱的环节。 论文还通过

匹配字段正文

从强大的 Nemotron 基础模型出发。 精心整理领域特定问题与高质量推理轨迹。 应用标准的后训练方法，例如 SFT，并在有用时应用 RL。 将专家模型与一个推理循环配对，该循环负责生成、评估并改进候选答案。 训练和推理的运行规模都很大，但底层方法熟悉且可复现。我们无需为每一项挑战都构建新的基础模型。我们针对任务对 Nemotron 进行了专业化。 从通用编码能力到 IOI 金牌 对于竞赛编程，我们整理了 22,000 道问题，并生成合成推理轨迹来训练两个专家模型。Nemotron-3-Nano-CC 总参数 300 亿、激活参数 30 亿，接受了 SFT 和 RL。Nemotron-3-Ultra-CC 总参数 5500 亿、激活参数 550 亿，接受了 SFT。 在 IOI 2025 上的进展让专业化的价值一目了然。Nano 从后训练前的 130 分提升到 SFT 后的 280 分，再到 RL 后的 291 分。借助 GenCorrect——我们迭代式生成-评估-改进策略——它达到 468 分，越过了 438.3 的金牌门槛。Ultra-CC 在相同的测试时策略下达到 502 分

匹配字段正文