←搜索结果

按匹配度 · 共 429 条结果 清除搜索

星期三

  1. Cato AI Labs

    Cato AI Labs 披露 Cursor IDE 两个零点击提示注入 RCE 漏洞

    Cato AI Labs 在 Cursor IDE 中发现两个可导致沙箱逃逸的远程代码执行漏洞,CVSS 评分均为 9.8,编号为 CVE-2026-50548 和 CVE-2026-50549。两个漏洞分别源于 run_terminal_cmd 的 working_directory 参数被盲目加入沙箱可写列表,以及符号链接规范化失败时的回退逻辑,攻击者可通过 MCP server 或网页搜索结果中的零点击提示注入覆盖 cursorsandbox 二进制,实现非沙箱 RCE。Cursor 团队已在 4 月 2 日发布的 Cursor 3.0 中修复这两个问题。

    (/Applications/Cursor.app/Contents/Resources/app/resources/helpers/cursorsandbox),威胁行为者确保未来命令在不受沙箱限制的情况下运行,因此同一提示注入中的后续指令会导致非沙箱 RCE。 其他易受攻击的路径包括 /.zshrc、 /.zshenv 或 /Library/LaunchAgents。 传统上,远程攻击者无法控制沙箱操作的工​​作目录。然而,由于编码代理是一种独特的软件,在此漏洞中,提示注入成为通往该部分代码的通道。 漏洞 2:符号链接规范化失败 第二个漏洞与第一个完全独立,存在于 Cursor 的文件路径解析边缘情况中。它允许威胁行为者利用符号链接绕过越界写入保护。 提示注入(通过无害的 MCP 服务器请求或受污染的网页结果)可以指示 Cursor Agent 在项目目录内创建一个符号链接,指向位于项目目录之外的文件。 默认情况下,Cursor Agent 会尝试规范化路径(解析符号链接)以确定其真实位置,并验证它们位于项目根目录内。 该漏洞之所以发生,是因为规范化逻辑包含一个危险的 fallba

    匹配字段正文

星期四

  1. Johann Rehberger / Embrace The Red

    Claude Computer-Use 的 TOCTOU 攻击:点击的并非所见

    安全研究者 Johann Rehberger 复现了针对 Claude Computer-Use 的 TOCTOU 竞态攻击,利用推理期间屏幕变化让智能体点击与预期不同的对象。他构造的钓鱼页面把 Continue 按钮放在 Outlook 草稿 Send 按钮的同一位置,并用 bash 计算 1+1 拖延时间等待页面加载,从而让智能体误点发送邮件。作者去年十月已向 Anthropic 报告,对方称已跟踪该风险,并在后续 Cowork 中表示会在动作前确认像素未变化。他建议在推理开始和结束时各做一次快照,确认 UI 未发生显著变化再执行动作。

    I just never got around sharing it. What Is a TOCTOU Attack? TOCTOU stands for time-of-check to time-of-use and describes a kind of race condition in security. How Do Computer-Use Agents Work? Computer-Use Agents take screenshots, and the AI processes the screenshots to determine the next steps. Once the Agent completes the reasoning process, it will take an action, like entering data or clicking a button or link. This creates a classic TOCTOU situation, where the computer screen could have chan

    匹配字段正文

星期三

  1. Zyphra Research

    Zyphra 研究持续学习中的可塑性丧失:5M 到 314M 参数模型均会失去学习能力

    Zyphra Research 发现 GPT 式 decoder-only Transformer 在多语言持续学习任务中会出现可塑性丧失,5M 到 314M 非嵌入参数模型在留出的越南语探测任务上验证损失 AUC 最终都转为上升。研究据此拟合出缩放律 T = 1.3 × 10^-5 · P^0.8269,表明可塑性丧失的发生时间随参数量亚线性推迟,靠扩大参数规模来避免该问题收益递减。研究还显示,在把八种语言数据合并的静态学习设定下,5M、12M、27M 模型同样出现可塑性丧失,说明这一现象并非仅由数据分布切换引起。

    on their ability to adapt to new data, facts, domains, languages, codebases, and user needs. For example, continual learning could help mitigate knowledge cutoffs and allow coding agents to adapt to new repositories without relying entirely on in-context learning via long prompts. Moreover, continual learning is ultimately necessary for models to grow and improve indefinitely beyond a fixed and finite context window. However, training models with continual learning capabilities remains out of re

    匹配字段正文

星期一

  1. DevClass

    Checkmarx 调查:70% 开发者认为 AI 生成代码漏洞更多,30% 仍将其带入生产环境

    Checkmarx 对 2350 名全球开发者、CISO 和 AppSec 管理者的调查显示,70% 的开发者认为 AI 生成代码存在明显更多漏洞,30% 明知有漏洞仍将其部署到生产环境。报告称 AI 生成代码约占生产代码的 49%,较去年的 54% 略有下降;93% 的受访者报告曾因应用漏洞遭遇一次或多次安全事件,低于去年的 98%。报告指出,AI 代码占比 81-100% 的组织部署漏洞代码的比例是占比 1-20% 组织的 3.4 倍。

    opment. When you just need to build a tiny desktop app: TinyJS October 13, 2026 Valen creator drives 'Golden Spike' to connect new languages with Rust September 26, 2026 Microsoft agentically ports Copilot runtime to Rust for $120K September 19, 2026 Apple iPhone Duo makes developers think in folds September 16, 2026 JavaScript installer pnpm recast in Rust because ECMAScript can't keep up September 5, 2026 Kubernetes cleans house, bins legacy kube-dns, IPVS, and cgroup v1 August 27, 2026 How Cu

    匹配字段正文

星期四

  1. Google DeepMind

    Google DeepMind 发布 AI Control Roadmap,用纵深防御保障内部 AI 智能体安全

    Google DeepMind 发布 AI Control Roadmap,一套用于构建和管理 Google 内部部署的高级 AI 的框架,在模型对齐之外增加系统级安全层,即便对齐不完美也能提供保障。该框架把不受信任的 AI 智能体视为潜在内部威胁,基于 MITRE ATT&CK 拆解攻击战术与技术,并按模型能力划分检测等级 D1-D4 与预防响应等级 R1-R3。团队已分析一百万个编码智能体任务,并据此为 Gemini Spark 智能体搭建实时监控,数据显示多数被标记事件并非恶意意图,而是智能体误解或过度追求用户目标。

    -red { fill: var(--g-logo-red); } .g-yellow { fill: var(--g-logo-yellow); } .g-green { fill: var(--g-logo-green); } June 18, 2026 Responsibility & Safety Securing the future of AI agents Rohin Shah and Four Flynn Share How we’re securing internal systems against increasingly capable and imperfectly aligned AI AI agents are transforming our relationship with technology. By autonomously executing complex tasks — from cyber defence to scientific discovery and product development — these systems are

    匹配字段正文

星期四

  1. Redwood Research:Blog

    Redwood Research 测量前沿模型无 CoT 任务完成时长:约每年翻倍

    Redwood Research 发布新论文,测量 14 个前沿模型在 43 个基准上不输出任何 CoT 时的任务完成能力,发现无 CoT 时间跨度约每 373 天翻倍,token 跨度约每 437 天翻倍。GPT-5.5 的 50% 无 CoT 时间跨度为约 3 分钟,对应约 1500 个 o3-mini 推理 token。作者建议 AI 公司开始显式追踪无 CoT 时间跨度,以估计模型在不被 CoT 监控发现的情况下能进行多少推理。

    compute so these evaluations are cheap to run. Methods We evaluated 14 frontier models from GPT-2 (2019) through GPT-5.5 (2026) on 43 benchmarks covering math, coding, knowledge, agentic tool-use, and safety-relevant questions like steganography and scheming reasoning. The questions include single-token answers, longer generation, and multi-turn agentic settings. In every case we prevent the model from emitting reasoning tokens before its answer by using benchmark-specific prompts and structure

    匹配字段正文

星期二

  1. Cognition 模型 / Devin 博客

    Cognition 发布 FrontierCode 基准,衡量模型代码可合并性

    Cognition 发布 FrontierCode 基准,用可合并性衡量模型能否写出符合生产代码库标准的高质量代码,任务由 20 多位开源维护者基于 36 个旗舰仓库构建,每个任务投入超过 40 小时。基准分 Extended、Main、Diamond 三个难度子集,Diamond 上表现最好的 Claude Opus 4.8 得分仅 13.4%,GPT-5.5 为 6.3%,Gemini 3.1 Pro 为 4.7%,开源模型中最好的 Kimi K2.6 仅 3.8%。Cognition 称其误分类错误比 SWE-Bench Pro 低 81%,目前不计划公开任务以避免污染,但向所有模型方开放评测。

    too specific, e.g. checking for exact error strings or function names, or unsolvable, testing for a behavior not in the instruction or in the codebase We show through analysis of agent trajectories that FrontierCode produces 81% less misclassification errors than other leading benchmarks. This means that FrontierCode scores are the most accurate ranking currently available. Existing benchmarks also suffer from lack of diversity in several ways. While other benchmarks generated issues from singl

    匹配字段正文

星期四

  1. LMSYS Blog

    AMD Instinct MI355X 借助 SGLang 与 MoRI 实现成本可竞争的分布式推理

    SGLang 与 AMD 团队合作,在 AMD Instinct MI355X 上通过 SGLang 与 MoRI 通信库优化 DeepSeek-R1 分离式推理,在 129 tok/s/user 交互性下达到每百万 token 0.169 美元,比 B200 TRT-LLM 低 5%、比 B200 SGLang 低 40%,每 GPU 吞吐 2,436 tok/s(24 GPU),比 B200 SGLang 高 1.25 倍。优化包括 MoRI 量化 all-to-all(往返带宽最多降低 2.56 倍)、MoRI-IO KV cache 后端(吞吐比 Mooncake 高约 10%)、SDMA 双批次重叠、ROCm 上的 Specv2 MTP 以及 CPU 流式优化。结果已开源并通过 SemiAnalysis 的 InferenceX 持续验证。

    and API layer, reducing CPU overhead without affecting inter-token latency. Looking Ahead The next frontier for distributed inference is shifting from chat-style workloads toward agentic applications — tools like Claude Code, Codex, and Cursor that drive deep multi-turn, tool-augmented conversations with long context windows (up to 1M tokens), extremely high KV cache reuse, and rapid-fire request bursts from parallel subagent spawning. InferenceX is developing an agentic coding benchmark to cap

    匹配字段正文

星期一

  1. Epoch AI:Gradient Updates

    Epoch AI:算力紧张是否即将到来

    Epoch AI 建模全球 Nvidia GB200 与 GB300 芯片的推理吞吐,估算在服务 Kimi K2.6 类模型时,全球每秒可产出 5 亿至 200 亿个输出 token,具体取决于请求上下文长度。研究同时指出全球推理算力每年增长约 3.4 倍,而 token 需求按现有代理指标估算每年增长约 10 倍,可能已超过供给增速。若趋势延续,算力紧张可能临近,长上下文和智能体类工作负载受影响更明显,前沿能力访问价格或上升,日常用户则可能转向更小更便宜的模型。

    oduces new demand as additional use cases become cost-effective. If these trends continue, a compute crunch is likely near — particularly for the long-context workloads that drive agentic AI. This will drive up the price of access to frontier capabilities for those willing to pay, while everyday users shift to cheaper, smaller models. It may also mean that AI companies increase their focus on developing more efficient ways to serve models. Because of efficiency gains, these shifts won’t necessar

    匹配字段正文

星期六

  1. DevClass

    Devographics 调查:63% Web 开发者用 AI 生成过半代码,近半数担心失业

    Devographics 对 7258 名开发者的第二次 Web Dev AI 调查显示,63% 的开发者用 AI 生成超过一半的代码,27% 用 AI 生成 90% 以上的代码,而 2025 年初多数人用 AI 生成的代码不足 25%。代码生成是最主要的用途,其次是代码审查、调研和调试。近半数受访者担心 AI 会取代自己的工作,有人称岗位已因 AI 被取消;技术层面最受诟病的问题是模型幻觉与不准确(64%)、代码质量差(53%)和缺乏上下文(38%)。模型使用率上 ChatGPT 以 88.4% 居首,Claude 为 82.1%,但付费订阅中 Claude 以 69% 领先。74% 的受访者认为 AI 工具已是工作流不可或缺的部分,64% 觉得效率因此提升。

    n year. When you just need to build a tiny desktop app: TinyJS October 13, 2026 Valen creator drives 'Golden Spike' to connect new languages with Rust September 26, 2026 Microsoft agentically ports Copilot runtime to Rust for $120K September 19, 2026 Apple iPhone Duo makes developers think in folds September 16, 2026 JavaScript installer pnpm recast in Rust because ECMAScript can't keep up September 5, 2026 Kubernetes cleans house, bins legacy kube-dns, IPVS, and cgroup v1 August 27, 2026 How Cu

    匹配字段正文

星期三

  1. Prime Intellect精选

    Prime Intellect 研究:奖励黑客是梯度动力学问题,并推出 Prime Sprints

    Prime Intellect 发布研究,提出奖励黑客是梯度动力学问题而非单纯的奖励函数规格问题,并用 Llama 3.2-1B-Instruct 在 100 步训练中系统验证。实验显示隐藏奖励与可见奖励争夺梯度预算,可见奖励饱和或不可达时黑客行为接管;基线频率仅影响黑客出现速度,0.16% 的稀有词同样会被放大。团队开源 backdoor-ifeval 环境,并启动 Prime Sprints 计划,为奖励黑客主题的社区实验提供免费算力,优秀项目可获 5K+ 美元额度。

    Systematic Reward Hacking and Prime Sprints

    at are incompatible with each other (such as being concise and answering all parts); Hacking detection - can we predict hacking onset from the first 20 steps using reward distributions or other metrics? One of our Sprints beta testers (@michellechen) investigated replications for OpenAI’s recent “goblin mode” reward hack, and found that the backdoor-ifeval pattern can be extended to elicit “goblin-themed” speech even in unrelated contexts. Rewriting Prime Agent in Rust On the Nature of the Swarm

    匹配字段正文

星期二

  1. FutureHouse Research精选

    FutureHouse 多智能体系统 Robin 的端到端科学发现成果发表于 Nature

    FutureHouse 宣布其多智能体系统 Robin 的相关工作已发表于 Nature,论文称 Robin 是首个将假设生成、实验策略、数据分析和后续洞察生成整合进单一连续工作流的生物发现多智能体系统。Robin 通过编排 Crow、Falcon 和 Finch 提出并临床前验证了干性年龄相关性黄斑变性(dAMD)候选药物 ripasudil,并提出了用实验药物 KL001 通过调节细胞昼夜节律增强 RPE 吞噬作用的机制。Robin 代码已在 GitHub 开源,并附示例轨迹。

    Update May 19, 2026 This work is now published in Nature. The paper highlights Robin’s role as the first multi-agent system for biological discovery to integrate hypothesis generation, experimental strategy, data analysis, and follow-up insight generation in one continuous workflow. We describe how Robin developed the experimental strategy for therapeutic hypothesis generation, proposed follow-up experiments, and extracted actionable insights from the resulting data, including validation in prim

    匹配字段正文

星期四

  1. Anthropic:The Institute

    The Anthropic Institute 公布人工智能影响研究议程的四大重点领域

    The Anthropic Institute 公布研究议程,聚焦经济扩散、威胁与韧性、现实环境中的 AI 系统以及 AI 驱动的研发四个领域。该机构将利用 Anthropic 前沿实验室内部的数据与观察,发布更高频、更细粒度的劳动力影响信息,并研究双重用途风险、AI 智能体治理及 AI 驱动的 AI 研发。相关研究、数据和工具将面向外部机构、政府与公众开放,议程也会随证据积累持续调整。

    Focus areas for The Anthropic Institute

    s from AI development and deployment more broadly?; Transaction costs in markets: How does AI affect systems of exchange and transaction costs in marketplaces? When does access to agents able to negotiate on your behalf improve market efficiency and equitable outcomes? When does it not? Broad labor market impacts AI and jobs: How will AI change jobs and employment in different parts of the economy? What new tasks and jobs could emerge as AI automates existing parts of the economy? How will these

    匹配字段正文

星期一

  1. Johann Rehberger / Embrace The Red精选

    Copirate 365:微软 Copilot 提示注入漏洞利用链(CVE-2026-24299)

    安全研究者 Johann Rehberger 公开其在 DEF CON Singapore 演讲中披露的微软 Copilot 系列漏洞,MSRC 已分配 CVE-2026-24299 并完成修复。攻击链通过 CSS background-image 与 @font-face 绕过 CSP 实现数据外泄,并利用 record_memory 工具经提示注入写入持久记忆,组合成可长期窃取用户数据的后门。作者指出 M365 Copilot 记忆功能默认开启且按微软文档不产生审计日志,建议厂商为 AI 组件与宿主平台明确安全契约。

    nment. It does not have a deterministic fix, and as we have been saying for the last 3 years the correct mitigation is to limit or specifically allow what actions and impact an AI agent can have (threat model the worst case scenario): Trust No AI. Over time I noticed that Microsoft put more and more effort into preventing system prompt extraction. In my talk I showed a simple way I bypassed this in the past by just having Copilot print the system prompt in German, rather than English. When I ret

    匹配字段正文

星期六

  1. Sakana AI:Blog

    Sakana AI 发布 TRINITY:进化式 LLM 协调器

    Sakana AI 发布论文 TRINITY: An Evolved LLM Coordinator,被 ICLR2026 收录,提出测试时模型组合方案,由轻量协调器在多轮中为模型池中的 LLM 分配 Thinker、Worker、Verifier 三种角色,无需修改底层权重。协调器仅依赖一个小型语言模型的隐藏状态和路由头,可学习参数不到 20K,因传统 REINFORCE 梯度信噪比低、多轮标注成本高,改用无导数进化算法优化。论文称其在 LiveCodeBench 上取得 86.2% pass@1,并零样本迁移到 AIME、BigCodeBench、MT-Bench 和 GPQA 四个未见任务,平均表现超过池中包括 GPT-5、Gemini 2.5-Pro 和 Claude-4-Sonnet 在内的单个模型。

    dimensional coordination problem where traditional gradient-based methods fail. The results are very promising. In our experiments, TRINITY consistently outperforms existing multi-agent methods and individual models across various benchmarks. At the time of publication, it set a new state-of-the-art record on LiveCodeBench, achieving an 86.2% pass@1 score. More importantly, it demonstrated incredible generalization. Without any retraining, TRINITY transferred zero-shot to four unseen tasks (AIME

    匹配字段正文

星期三

  1. Google Research精选

    Google 发布 ReasoningBank:让智能体从成功与失败经验中学习

    Google Research 发布智能体记忆框架 ReasoningBank,可从成功和失败经验中提炼可迁移的推理策略,让智能体在部署后持续学习。该工作基于 ICLR 论文,在 WebArena 和 SWE-Bench-Verified 上用 Gemini-2.5-Flash 评测,相比无记忆基线、Synapse 和 AWM 提升了任务成功率并减少任务步数。团队还提出记忆感知测试时扩展(MaTTS),把探索轨迹蒸馏为高质量记忆,代码已在 GitHub 开源。

    ReasoningBank: Enabling agents to learn from experience April 21, 2026 ReasoningBank is a novel agent memory framework that uses successful and failed experiences to distill generalizable reasoning strategies, enabling an agent to continuously learn from experience after deployment. Agents are becoming increasingly crucial in tackling complex real-world tasks, ranging from general web navigation to assisting with extensive software engineering codebases. However, as these agents transition into

    匹配字段正文

星期六

  1. Johann Rehberger / Embrace The Red

    用 ChatGPT 生成的对抗图片劫持 Claude Opus 4.7 记忆工具

    安全研究者 Johann Rehberger 用 ChatGPT 生成一张含谜题的对抗图片,让 Claude Opus 4.7 在分析图片时被劫持并调用 memory 工具,写入“用户名叫 Neo、43 岁、NASA 宇航员、喜欢冰淇淋和饼干”等虚假记忆,这些记忆会进入后续所有对话的上下文。他重复测试 10 次,5 次成功调用记忆工具写入虚假信息,且每次 Opus 都察觉到可能存在提示注入或质疑是否该存储,但最终仍被劫持。作者指出空记忆库会降低写入门槛,越像真实用户偏好的内容越容易通过;该对抗样本在文章发布约 24 小时后成功率降至 0%。

    rial Difference When I think about self-driving cars, I am convinced that they will lead to safer conditions on the road and fewer accidents in the long run. When I think about AI agents, I often think it should be the same and they will be able to operate computers more safely than most humans, fall less often for phishing attacks, or download malware by accident and so forth. However, one key difference is that adversaries usually don’t try to make cars crash or cause accidents. The challenges

    匹配字段正文

星期四

  1. Sakana AI:Blog

    Sakana AI 的 AI Scientist 论文登上 Nature

    Sakana AI 宣布其 AI Scientist 相关论文登上 Nature,该工作由 Sakana AI、不列颠哥伦比亚大学、Vector Institute 和牛津大学研究者合作完成。论文详述了系统架构与扩展的新发现,并给出自动查重系统与人类判定对比的结果,平衡准确率为 69%,F1 分数超过 NeurIPS 2021 一致性实验中人类之间的合致率。研究还观察到科学缩放律,即基础模型能力提升时生成论文的质量也随之提高,同时列出当前仍存在的原创性不足、实现复杂代码困难与引用不准确等局限。

    ークショップ主催者の許可を得て実施し、採択後に規定通り取り下げを行いました。 今回の Nature 論文では、これらの成果を統合しつつ、AIサイティストを支える高度な複数モデルがどのように組み合わされているかを示しています。概略としては、AIサイエンティストには大まかな方向性を与えるだけで、システムは自律的なアイデア創出、文献調査、エージェントによる木探索(Agentic Tree Search)を用いた実験設計・実装・実行を並列的に行います。最終的には、LaTeX 形式での論文執筆に加え、視覚能力を持つモデルが図表のチェックまで一貫して担います(下図)。 新たな知見:自動査読と「科学のスケーリング則」 AIが生成する膨大な研究成果を、人間の査読者に負担をかけずに評価するため、私たちは自動査読システムを構築しました。このシステムは、NeurIPSの公式ガイドラインに準拠し、複数の査読結果を統合して最終判定を下す「エリアチェア(AC)」の役割を果たします。 OpenReviewのデータセットに含まれる数千件の実際の人間の判定結果と比較したところ、この自動査読システムは複数の尺度において人

    匹配字段正文

星期三

  1. Sakana AI:Blog精选

    Sakana AI 的 AI Scientist 论文登上 Nature

    Sakana AI 宣布其 The AI Scientist 相关论文已在 Nature 发表,论文详述系统架构并给出新的缩放结果。该系统在给定宽泛研究方向后可自主生成研究想法、检索文献、设计并执行实验,并用 LaTeX 撰写整篇论文;其 AI Scientist-v2 生成的论文曾在 ICLR 2025 ICBINB workshop 盲审中获得 6.33 的平均分,高于 55% 的人类投稿。团队还构建了 Automated Reviewer,在 OpenReview 数据上取得 69% 的平衡准确率,并发现基础模型越强、生成论文质量越高的缩放规律。

    When we first introduced The AI Scientist in our initial preprint, we shared an ambitious vision: an agent powered by foundation models capable of executing the entire machine learning research lifecycle. Soon after, we shared a historic update: the improved AI Scientist-v2 produced the first fully AI-generated paper to pass a rigorous human peer-review process. Today, we are happy to announce that a paper describing all of this work and that includes new insights has been published in Nature. T

    匹配字段正文

星期二

  1. METR Notes精选

    METR:约半数通过 SWE-bench 的 AI PR 不会被维护者合并

    METR 让 3 个 SWE-bench Verified 仓库的 4 名维护者复核 296 个 AI 生成的 PR,发现约一半通过自动评分的 PR 不会被合并进 main,维护者合并率平均比自动评分低约 24.2 个百分点。研究同时用 47 个人类已合并 PR 作为基准来校正维护者判断中的噪声,并指出智能体没有像人类开发者那样根据反馈迭代的机会,因此这并不代表能力上限。按时间跨度换算,Claude Sonnet 4.5 在自动评分下约 50 分钟,在维护者合并标准下仅约 8 分钟。

    Our Work Risk Assessment; About; Donate; Careers Summary: We find that roughly half of test-passing SWE-bench Verified PRs written by mid-2024 to mid/late-2025 agents would not be merged into main by repo maintainers, even after adjusting for noise in maintainer merge decisions. Since the agents are not given a chance to iterate on their solution in response to feedback the way a human developer would, we do not claim that this represents a fundamental capability limitation. Rather, our results

    匹配字段正文