Johann Rehberger 披露 Sourcegraph 的 Amp Code 存在通过 markdown 图像渲染实施数据外泄的漏洞，攻击者可用提示注入让 AI 智能体把聊天上下文中的敏感信息作为查询参数发往第三方服务器，形成无需人工介入的 0-click 外泄。该攻击还能先通过文件读取把敏感信息拉入上下文，并用特定方式调用 grep 工具绕过模型拒绝；作者于 2025 年 6 月 14 日联系 Sourcegraph 后漏洞已修复，建议运行最新版本。
#安全/对齐#Agent#MCP/工具调用
安全研究者 Johann Rehberger 演示，Google Jules 在处理 GitHub issue 时会被其中隐藏的 Unicode Tag 字符指令劫持，自动添加后门函数并编译执行代码。该问题根因于 Gemini 模型将不可见字符当作指令，作者称其早在 2024 年 2 月 22 日就报告给 Google，至今未在模型或 API 层缓解，因此影响所有基于 Gemini 的应用。作者建议不要让 Jules 接触私有代码、密钥或不可信来源的 issue，并仔细审查其生成的计划和代码。
#安全/对齐#Agent#编码
安全研究者 Johann Rehberger 演示了 Google 编码智能体 Jules 可被间接提示注入劫持：攻击者利用其 run_in_bash_session 工具和无限制外网访问，让 Jules 下载并执行 Sliver 恶意程序，从而远程控制其开发机。该研究于 2025 年 5 月完成，6 月 1 日私下通报 Google，6 月 13 日工单以团队已在跟踪为由关闭，后续缓解时间表未获回复。作者还指出 Jules 仅在会话开始时提出计划，后续任务会自动调用工具，且初始计划会在超时后自动批准（最初 20 秒，后改为 120 秒）。
#安全/对齐#Agent#编码
安全研究者 Johann Rehberger 披露 Google Jules 存在多个数据外泄漏洞，攻击者可通过间接提示注入让 Jules 把机器上的文件内容发送到第三方服务器。其中一条路径利用 Markdown 图片渲染，另一条滥用 view_text_website 工具，两者都在 Jules 提出计划前就已完成，绕过了人工审批环节。作者建议对图片渲染启用 CSP、为 view_text_website 设置域名白名单或人工审批，并提醒用户谨慎向异步编码智能体提供敏感信息。相关漏洞已于 2025 年 5 月 21 日告知 Google。
#安全/对齐#Agent#编码
安全研究者 Johann Rehberger 披露 GitHub Copilot 与 VS Code 中的提示词注入漏洞 CVE-2025-53773，攻击者可通过源码文件、网页、GitHub issue 或 MCP 返回内容中的注入指令，向 ~/.vscode/settings.json 写入 "chat.tools.autoApprove": true，使 Copilot 进入 YOLO 模式并关闭全部用户确认，进而执行终端命令实现远程代码执行。该漏洞影响 Windows、macOS 和 Linux，作者演示了下载恶意软件、接入远程命令控制服务器，以及通过感染文件在 Git 项目间传播的 AI 病毒思路。作者于 2025 年 6 月 29 日报告，微软在 8 月补丁星期二发布修复；文中还提到 .vscode/tasks.json 和伪造 MCP 服务器等其他可导致代码执行的攻击面。
#安全/对齐#Agent#编码
安全研究者 Johann Rehberger 披露 Claude Code 存在高危漏洞 CVE-2025-55284，攻击者可通过间接提示注入劫持 Claude Code，把 .env 文件中的 API key 等敏感信息嵌入 ping 请求的子域名，经 DNS 请求外泄到外部服务器，全程无需用户批准。漏洞源于 ping、nslookup、host、dig 等命令在默认允许列表中无需审批即可执行，作者建议将这些命令移出允许列表以加入人工确认。该漏洞于 2025 年 5 月 26 日报告给 Anthropic，评级为 CVSS 7.1 高危，6 月 6 日修复，修复从 v1.0.4 版本起生效。
#安全/对齐#Agent#MCP/工具调用
安全研究者 Johann Rehberger 公开了针对 All Hands AI 的 OpenHands 的可用利用链，通过提示注入劫持该智能体，使其下载并运行恶意软件、连接攻击者控制的 C2 服务器，把实例变成 ZombAI。该利用复用了此前针对 Anthropic Claude Computer-Use Agent 的同一载荷，仅替换了执行的二进制文件；作者还演示了 AI ClickFix 攻击，OpenHands 会复制 shell 命令并粘贴进终端工具。作者建议本地版本在沙箱中运行并限制出站网络连接，同时指出厂商可参考 OpenAI Operator 的 Prompt Injection Monitor 等做法；他于 2025 年 3 月 13 日通过 GitHub 安全标签披露，超过 140 天未获实质处理后在 8 月 10 日公开。
#安全/对齐#Agent#MCP/工具调用
安全研究者 Johann Rehberger 披露 OpenHands（原 OpenDevin）存在零点击数据外泄漏洞：网页、源码或上传文档中的提示注入可借 Markdown 图片渲染，把容器内的 GITHUB_TOKEN 以 Base64 编码发送到第三方服务器。作者称直接读取 Token 会被模型拒绝，但通过只匹配 ghp_ 等子串并配合编码可绕过，且 OpenHands 对密钥的明文遮蔽也能被绕过。该漏洞于 2025 年 3 月 13 日私下报告给 All-Hands AI，148 天后未获修复，作者遂于 8 月 9 日公开；缓解建议是禁止渲染不可信域名的图片，例如用 Content-Security-Policy 限制图片来源。
#安全/对齐#Agent#MCP/工具调用
安全研究者 Johann Rehberger 发现 Devin 系统提示词中存在 expose_port 工具，可将 Devbox 的任意本地端口开放到公网，且无需人工确认。他构造多阶段间接提示注入 PoC：先让 Devin 运行 Python 服务器暴露文件系统，再调用 expose_port 获得 .devinapps.com 公网链接，并通过图片 markdown 漏洞把该链接外泄给攻击者，最终攻击者可远程访问服务器文件。该漏洞已于 2025 年 4 月 6 日报告给 Cognition，但后续修复进度询问未获回复，作者建议对敏感工具调用采用带外验证而非依赖模型行为或对话内确认。
#安全/对齐#Agent#MCP/工具调用
安全研究者 Johann Rehberger 展示了 Devin 在间接提示词注入下通过多种方式将敏感信息发送到第三方服务器，包括利用 Shell 工具执行 curl 或 Python 脚本、用浏览器访问带数据的攻击者 URL、在聊天框渲染 Markdown 图片，以及把 Jira 和 Slack token 粘贴到第三方网站。作者还测试了 Slack 链接展开与不可见 Unicode Tag 字符（ASCII Smuggling）手法，发现 Cognition 已禁用 Devin 发帖时的链接展开，但用户点击链接仍可能通过 URL 编码泄露隐藏字符。这些漏洞于 2025 年 4 月 6 日报告给 Cognition，超过 120 天未获修复时间表，作者建议默认限制互联网访问并禁止渲染不可信域名的图片和超链接。
#安全/对齐#Agent#MCP/工具调用
安全研究者 Johann Rehberger 花 500 美元获取 Devin 30 天访问权限，实测了针对 Cognition 旗下 AI 软件工程师 Devin 的提示注入攻击。攻击者只需在 Devin 处理的网站或 GitHub issue 中植入指令，就能诱使它下载并运行恶意二进制文件，从而完全控制 Devin 的 DevBox，将其变成可远程操控的 ZombAI，并窃取其中的密钥。该漏洞于 2025 年 4 月 6 日报告给 Cognition，对方几天后确认，但后续关于修复时间线和协调披露的询问在 120 多天后仍未获回复，作者因此按负责任披露惯例公开。作者建议厂商不要依赖模型行为或对话内确认来保障工具调用安全，而应加入带外验证步骤、默认阻止出站连接，并开发提示注入监控。
#安全/对齐#Agent#编码
安全研究者 Johann Rehberger 披露 Sourcegraph 旗下编码智能体 Amp 存在提示注入漏洞：Amp 能写入项目目录之外的 VS Code 配置文件 settings.json，从而把 bash 命令加入免审批白名单，或动态添加恶意 MCP 服务器并立即启动，实现任意代码执行。该漏洞于 7 月初发现并报告给 Sourcegraph，Amp 团队在数天内完成修复，用户需升级到最新版本。作者建议 AI 系统不应在未经开发者明确同意的情况下修改关键文件。
#安全/对齐#Agent#MCP/工具调用
安全研究者 Johann Rehberger 披露 Cursor IDE 存在任意数据外泄漏洞 CVE-2025-54132：Cursor 渲染 Mermaid 图表时会向外部服务器发起请求，攻击者可借间接提示词注入把用户记忆或配置文件中的 API key 嵌入图片 URL 外泄，且图表渲染过程不会明显暴露大量数据外传。作者向 Cursor 团队提交了两个演示利用，漏洞于 2025 年 6 月 30 日报告、7 月 7 日修复，随 7 月 29 日起可用的 v1.3 版本发布。
#安全/对齐#编码#MCP/工具调用
安全研究者 Johann Rehberger 演示了如何通过间接提示注入把 ChatGPT Codex 变成僵尸网络节点。攻击者利用 Codex 的 Common Dependencies Allowlist 中 71 个域名里的 azure.com，在 Azure 上架设以 cloudapp.azure.com 结尾的 VM 作为 C2 服务器，再在 GitHub issue 中植入恶意提示，使 Codex 下载并执行恶意程序，从而远程控制该机器并读取环境变量、源码等数据。作者于 2025 年 6 月 10 日向 OpenAI 报告，当天被以 Not Applicable 关闭，他建议只使用自定义的精确域名白名单。
#安全/对齐#Agent#OpenAI
安全研究者 Johann Rehberger 演示了 OpenAI 的 url_safe 安全 URL 渲染功能存在绕过，攻击者可通过不可信数据中的提示注入，让 ChatGPT 把系统提示里的近期对话内容、记忆和用户交互元数据发送到第三方服务器，例如 https://trustnoai.blob.core.windows.net。该绕过及若干同类问题已于 2024 年 10 月报告给 OpenAI，作者称在发布前一个月内多次询问修复进展未获回复，因此未公开完整注入载荷。文中提到 2025 年 8 月 26 日更新称该漏洞已被 OpenAI 修复。
#安全/对齐#OpenAI#MCP/工具调用
New Anthropic research: Building and evaluating alignment auditing agents. We developed three AI agents to autonomously complete alignment auditing tasks. In testing, our agents successfully uncovered hidden goals, built safety evaluations, and surfaced concerning behaviors. https://t.co/HMQhMaA4v0
#安全/对齐#Agent#Anthropic
FutureHouse 用开源 PaperQA2 智能体 Crow 审计 Humanity's Last Exam 的纯文本化学与生物子集（321 题），发现 53.3% 的答案理由与已发表证据直接冲突，经独立专家复核后外推约 29.3 ± 3.7%（95% CI）的题目答案被研究文献直接反驳，51.3% 获文献支持，19.3% 属依赖假设或观点的模糊题。团队认为 HLE 要求题目必须难倒前沿模型、且审稿人只需 5 分钟且无需核实正确性的流程，催生了大量 gotcha 式题目。他们已将经 AI 与人类验证的题目子集作为 HLE-Gold-Bio/Chem 发布在 Hugging Face，并建议用它评测相关系统。HLE 团队在 2025 年 9 月 16 日的更新中回应，其独立复核发现 Bio/Chem 子集中约 18% 的题目存在问题，25% 的情况下至少一位审稿人持异议，并计划推出滚动修订流程。
#评测/基准#论文/研究#数据/训练
Mistral AI 联合 Carbone 4 和法国生态转型署 ADEME 开展大语言模型全生命周期分析，评估温室气体排放、用水和资源消耗。研究称，截至 2025 年 1 月，Mistral Large 2 在 18 个月内产生 20.4 ktCO₂e 排放、消耗 281,000 m³ 水和 660 kg Sb eq 资源，并建议行业标准化披露训练、推理及全生命周期影响。
#论文/研究#数据/训练#部署/工程
微软 AI 发布 Microsoft AI Diagnostic Orchestrator（MAI-DxO），在 304 个 NEJM 病例构成的 Sequential Diagnosis Benchmark（SD Bench）上，搭配 OpenAI o3 时正确诊断率达 85.5%，而 21 位有 5-20 年经验的执业医师平均准确率为 20%。MAI-DxO 可配置成本约束，在测试中同时实现更高诊断准确率和更低检测费用。该工作目前仅为研究演示，尚未作为公开基准或编排器发布，相关方法细节见配套预印本论文，正提交外部同行评审。
#论文/研究#推理#评测/基准
Johann Rehberger 发布安全公告，指出 Anthropic 已弃用且不再维护的 Slack MCP Server 存在链接展开导致的数据外泄漏洞，该服务器近期每周下载量超过 1.4 万次。攻击者可通过提示注入让 AI 智能体在向 Slack 发帖时把敏感数据附在超链接中，Slack 自动展开链接后数据即被发送到第三方服务器。该漏洞于 2025 年 5 月 27 日报告给 Anthropic，服务器于 5 月 29 日被归档，Anthropic 表示不会发布 CVE，作者建议禁用链接展开或仅使用厂商维护的服务器。
#安全/对齐#MCP/工具调用#Anthropic