Google DeepMind 与斯坦福论文发现提示词中的彩色图形会左右模型写代码
so interesting. 🤔
Google DeepMind 与斯坦福的新论文发现，提示词里加入与任务无关的纯色图形会改变视觉语言模型的编码选择。研究测试了 288 种图形，在二叉树问题上，一个红色爱心让 Claude Opus 4.7 和 GPT-5.4 的递归解法比例从 0% 升到 100%；当图形确实影响了 Gemini 3.1 Pro 时，其 71.5% 的思考轨迹仍称该图像无关。作者建议对会读取图像的智能体做有无图像的对照测试，不要指望推理轨迹会提示视觉影响。
推荐理由
AI 评分 64
原文给出具体实验数字，说明无关图像能改变模型的编码选择，且模型的推理轨迹未必会提示这种影响。
主题
正文 · AI 翻译
太有意思了。🤔
Google DeepMind 与斯坦福的新论文发现，提示词里的一张红色爱心图片就能决定 AI 如何写代码，图像中的简单图形可以左右 AI 在无关任务上的表现，而且模型往往不会说明这一点。
提示词中的纯色图形会改变 AI 模型写代码的方式，尽管这些图形与任务毫无关系。
视觉语言模型如今会在日常工作中读取截图和图像。如果一张无关的图片改变了模型的选择，开发者就需要看到这一点，最好能在模型自身的推理过程中体现出来。
他们在一段编码提示词中加入了一个纯色图形，比如一个红色爱心，并让模型去看它。在 288 种图形中，他们追踪了 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT-5.4 选择递归的频率。
在一个二叉树问题上，一个红色爱心让 Claude Opus 4.7 和 GPT-5.4 的递归解法比例从 0% 升到 100%。当图形确实影响了 Gemini 3.1 Pro 时，其 71.5% 的思考轨迹仍称该图像无关。
如果你的智能体会读取图像，就要在有图像和无图像两种情况下测试它的决策，并且不要指望推理轨迹会提示视觉影响。