←新闻详情

Unite.AI更新于 11月4日 02:24

Cogent 发布 VR-1.1,LiveCVEBench 修复通过率达 57.9%

Cogent Reports VR-1.1 Passing Repairs on 57.9% of LiveCVEBench Tasks

AI 导读

Cogent Security 于 2026 年 11 月 3 日推出漏洞修复模型 VR-1.1,在 LiveCVEBench 的 190 项任务中取得 57.9% 的通过修复率,Claude Code 与 Codex 各为 45.3%。该基准覆盖 14 种编程语言、153 个仓库,要求补丁同时通过漏洞检查与功能检查。Cogent 称结果来自安全修复训练和先复现漏洞再打补丁并检测绕过的流程,同时提示基线模型的训练截止时间晚于相关 CVE 公布时间,且生产部署仍需在目标环境中审查测试。

推荐理由

AI 评分 61

VR-1.1 在 LiveCVEBench 上的修复通过率高于 Claude Code 与 Codex,读者可据此了解漏洞修复模型的评测口径与局限。

主题

标签

正文 · AI 翻译

Cogent Security 于 2026 年 11 月 3 日推出 VR-1.1,并报告称,该漏洞修复模型在 LiveCVEBench 的 190 项任务中为 57.9% 的任务生成了通过验证的修复,而 Claude Code 和 Codex 各自为 45.3%。

Cogent 的 VR 系列最新成员扩展了 VR-1 引入的修复能力。其评估将 VR-1.1 与运行 Claude Opus 5.5 的 Claude Code 以及运行 GPT-5.6-Cyber 的 Codex 进行了比较。每个系统都获得相同的输入和设置,每项任务有三次尝试机会,评分基于其内部修复尝试后的最终补丁。

LiveCVEBench 专注于修复开发环境中的真实世界漏洞。其 CVE-Factory 论文描述了一组持续更新的 190 项任务,涵盖 14 种编程语言和 153 个仓库。该基准项目将智能体置于真实开发环境中,它们必须自主探索代码库、建立每个漏洞的上下文并实施修复。新的 CVE 会定期加入。

Cogent 的设置会为每项任务提供漏洞报告和受影响的代码库。只有当漏洞检查通过且功能检查持续通过时,补丁才被计入。这些任务涵盖注入、访问控制、配置和内存安全缺陷,因此如果更改留下了另一条通往该缺陷的路径、禁用了合法行为、导致回归或引入了新的暴露面,那么即使解释令人信服也不够。

这种双重要求将修复与仅仅阻止某一次攻击演示区分开来。模型必须在消除弱点的同时保留预期行为,包括共享该弱点的相关路径。

VR-1.1 的修复工作流程

Cogent 将其结果归功于安全修复训练以及一个能够复现弱点、修补弱点并随后测试补丁是否可被绕过的测试框架。在运行配置允许的情况下,VR-1.1 会检查报告和源代码,然后编写触发该缺陷的概念验证。这为模型提供了可追踪的失败以及修补后可重新运行的测试。

模型在进行聚焦更改之前,会寻找共享该弱点的相关代码路径。在全新上下文中进行的单独审查会检查补丁是否存在绕过和引入的缺陷。VR-1.1 还会编写回归测试。当验证失败时,其先前的分析以及关于失败的信息会指导另一次尝试。

实践中的一次 Fiber 修复

一次有记录的运行涉及 Fiber Web 框架中的 CVE-2025-48075。该项目的安全公告称,嵌套表单数据中的负索引可能导致其 BodyParser 发生 panic 并使服务器崩溃,从而造成拒绝服务风险。公告列出从 2.52.6 开始的版本受影响,2.52.7 为已修补版本。

VR-1.1 复现了该崩溃,并在使用索引之前添加了边界检查,拒绝负数或过大的索引,同时保留有效的表单处理。Cogent 报告称,此后所有九项漏洞检查均通过,而此前为零;同时所有 12 项功能检查在修复前后均通过。该示例来自另一次有记录的 182 项任务运行,而非最终的 190 项任务评估。

评估限制与生产使用

评估在修复期间阻止了出站网络访问,并在每个智能体完成之前不提供 LiveCVEBench 的评分测试。这些条件防止了在修补期间检索上游修复或直接使用评分测试。

Cogent 提醒称,两个基线模型的训练截止时间都晚于当前 LiveCVEBench 版本中 CVE 的发布日期,这意味着它们的公告和修复可能已出现在训练数据中。该公司指出,用户报告风格的任务描述、被阻止的网络访问以及相同条件限制了这一优势。

在 Cogent 的抽查中,模型能够凭记忆描述一些漏洞,但未能复现确切的补丁。该公司还在构建一个由相关截止时间之后披露的 CVE 组成的任务集,并计划保持其更新。

LiveCVEBench 在隔离环境中测试已知漏洞,通过意味着满足所提供的检查。Cogent 表示,生产部署仍需要在目标环境中进行审查和测试。该公司正将 VR-1.1 引入其修复工作流程,每个补丁都附带其诊断、概念验证和测试,供审查者检查。因此,基准结果衡量的是受控条件下经过检查的修复;生产使用仍取决于在软件将要运行的环境中验证这些修复。

来源

Unite.AI