Researchers from CUHK and other teams study the propagation and mitigation of false beliefs in multi-agent social networks
English text is being prepared.
Researchers from the Chinese University of Hong Kong, the University of Edinburgh, the Hong Kong Polytechnic University, Tongji University, and the University of Oxford, taking the "Mandela Effect" as their perspective, studied the propagation, persistence, and mitigation of false beliefs in multi-agent social networks. The study constructed 540 false statements and tested them across 10 models and 3 network structures; after ten rounds of interaction, the acceptance rate in the final round ranged from 33.7% to 96.0%, and all ten tested models accepted some false information. After the bad actors withdrew in round 5, by round 10 the change in average acceptance rates across plausibility levels remained within ±0.8 percentage points; broadcast corrections reduced the acceptance rate in the Qwen3-8B fully connected network from 84.4% to 27.8%.
Why read this
SelectedAI score 76
The study uses controlled multi-agent networks to track how false claims are accepted, remembered, and retold, and compares the effectiveness of different correction methods.
Topics
Body
新增众测推广文案 新增众测推广文案end 添加App专享导流
一款根本不存在的智能手环,为什么会出现在 AI 的推荐名单里?2026 年央视 3・15 晚会曝光的 “AI 投毒” 案例,让这个问题引起了人们的关注:虚构商品被写进测评、排名和用户评价,随后被 AI 当作推荐依据。
如果 AI 还会相互交流、保存记忆、发布文章,最初的错误又会怎样发展?一项围绕多智能体社交网络的研究发现,虚假说法可能在持续互动中被普通智能体接受,逐渐形成群体共同接受的 “事实”,甚至在造假者停止活动后继续存在。
来自香港中文大学、爱丁堡大学、香港理工大学、同济大学和牛津大学的研究者,以 “曼德拉效应” 为视角,研究多智能体社交网络中错误信念的传播、持续与缓解。曼德拉效应通常指许多人对同一件事产生了相同的错误记忆。在人类社会中,这类错误记忆可能在无意间形成。在多智能体环境里,类似的群体性错误却可能由造假者刻意操纵信息来诱发。
从 3・15 的虚构手环,
到智能体之间的错误信念
央视财经的调查演示中,业内人士虚构了名为 Apollo-9 的智能手环,用 GEO(生成式引擎优化)工具生成宣传文章并发布。两小时后,某款 AI 已能介绍这款不存在的商品,引用的正是当天发布的虚构文章。随后,多篇伪造的专家测评、行业排名和用户测评继续被发布,两款 AI 在推荐智能健康手环时把它排在前列(央视财经报道)。
3・15 案例展示了人为操纵信息源的现实风险:把不存在的商品写进文章,就可能让 AI 将其当成推荐依据,误导用户。研究进一步把问题放到多智能体环境中:当一个智能体接受错误说法后,把它记下来、告诉邻居、写成可搜索的文章,会不会让更多智能体也相信?
图 1:左侧对应虚构手环污染公开信息的现实案例。右侧以不存在的 Nano Guava 展示研究中的错误信念传播机制:消息、记忆和可搜索文章让虚假说法被接受并继续转述。
图右侧的 Nano Guava 是不存在的模型名称,“OpenAI 发布了一款名为 Nano Guava 的端侧模型” 是编造的说法。图中展示了这条虚假说法的传播过程。造假者先提供支持文章和消息,普通智能体在搜索与交流中接受相关说法,再把它写入记忆、转告其他智能体或发布新文章。这样,一个不存在的东西,也可能在交互中被模型当成真实存在的对象。这里的 “相信”,对应实验中对陈述作出 “接受” 的判断。
研究怎样追踪一条错误信息的传播?
研究搭建了一个受控环境:智能体可以交流、保留私人记忆、搜索和发布文章。所有网页均在本地模拟,虚假内容没有进入真实互联网。
主实验设置一个造假智能体和五个普通智能体。造假者推广虚假陈述,普通智能体结合邻居消息、搜索结果和记忆,判断接受、拒绝或不确定。接受某条陈述的普通智能体也会发布支持文章。前一轮的判断由此进入后一轮的搜索结果,成为新的依据。研究用虚假陈述作为可追踪的对象,观察普通智能体是否在互动中共同接受同一错误说法,并在造假者退出后继续保留这种判断。这种群体共享、持续存在的错误信念,就是这项研究从 “曼德拉效应” 视角考察的现象。
人类虚假记忆研究发现,一个事件看起来是否可能发生、是否与已有知识相容,会影响它被植入记忆的可能性。研究构建了 540 条虚假陈述,覆盖 8 个领域、4 个合理性层级,并在 10 个模型、3 种交流网络结构中进行评估。
受测模型分为开源和闭源两组:开源模型包括 Qwen3-8B、14B、32B、235B,以及 Llama-3.1-8B、Llama-3.3-70B。闭源模型包括 Claude Sonnet 5、Claude Opus 5、GPT-5.5 和 Gemini 2.5 Flash。研究分别在全连接、二叉树和双社区网络中观察它们的表现,比较模型能力和交流结构能否提供保护。
在传播阶段,研究分别考察传播范围和传播速度:有多少普通智能体接受虚假说法,以及接受立场在互动中何时形成。随后,再观察造假者退出后的影响能否持续,以及不同纠错措施是否有效。图 2:实验比较不同交流结构,并在造假者退出后保留既有文章和私人记忆,追踪错误信念能否持续。
错误能传多广?
十个受测模型都受到影响
在只提供陈述、直接询问模型的基线测试中,虚假陈述接受率为 0.0%–9.1%。在主实验的十轮交互后,不同模型与网络设置下的末轮接受率达到 33.7%–96.0%。这表明,单次问答中的判断能力,未必能反映模型置于持续互动网络后的表现。更值得关注的是,全部十个受测模型都接受了部分虚假信息,覆盖开源与闭源模型。接受程度虽有差异,但本实验没有发现完全抵御这类影响的模型。
表 1 也展示了模型之间的差异。Qwen3-32B 在直接问答中没有接受这些虚假陈述,但经过互动后,其跨三种结构的平均接受率达到 94.5%。GPT-5.5 的对应数值从 2.6% 变为 50.4%。Claude Sonnet 5 的平均接受率相对较低,为 35.1%,仍存在明显的错误接受。
模型变大也没有带来一致的抵抗力。Qwen3-8B、14B、32B 的平均接受率分别为 85.0%、90.0%、94.5%,235B 模型则为 91.2%。这些结果没有呈现 “规模越大、越不容易被误导” 的规律。三种网络结构下的最终接受率在多数模型上也较接近,单靠改变谁与谁交流,未能阻止错误信念形成。
最终接受率相近,
传播速度也一样吗?
不同网络中的最终接受率可能接近,错误接受形成的时间却不一样。论文从第 2 轮开始,记录普通智能体最后一次从 “拒绝” 或 “不确定” 转为 “接受” 的轮次,仅统计出现这一转变的情况。轮次越小,表示最后一次转为接受发生得越早。图左侧按智能体统计,右侧对每条陈述取相关智能体中最晚的转变轮次,再计算平均值。
在 Qwen、Llama 和 Claude 三个模型系列中,双社区网络的这项平均轮次在智能体和陈述两个层面都最小。以 Qwen 系列的陈述层面结果为例,双社区为 3.73 轮,全连接为 5.07 轮。全连接网络让参与者接触更多消息,也可能带来更多冲突信息,使接受过程变慢。传播范围相近,并不意味着传播速度相同。
一个小模型造假者,
能影响其他模型吗?
主实验在每个设置中让造假者和普通智能体使用同一模型。研究还增加了混合模型实验:把造假者固定为 Qwen3-8B,逐一更换五个普通智能体所使用的模型,考察跨模型的信息影响。每组普通智能体使用同一种目标模型,表中的不同行代表不同实验组合。实验采用全连接结构,并从四个合理性层级各抽取 25 条陈述,共 100 条。结果显示,仅用这一个小模型作为造假者,全部九个受测目标模型仍出现了错误接受,其中也包括更大规模的开源模型和闭源模型。
这个实验将风险从同模型智能体交流扩展到了跨模型场景:一个规模较小的造假者,也可能通过消息和共享文章影响更大模型驱动的智能体。类似风险也出现在 3・15 案例中:一款 GEO 工具生成的虚假内容,可能影响多个 AI 平台的推荐。
造假者退出了,
错误信念还会留下吗?
错误信念还可能延续到造假者退出之后。在 Qwen3-8B 和 Llama-3.1-8B 的退出实验中,研究者让造假者在第 5 轮停止活动,但保留已发表的文章和普通智能体的记忆。到第 10 轮,各合理性层级下的平均接受率变化均在 ±0.8 个百分点以内。停止新的造假活动,并没有让已经形成的错误信念明显消退。
互动之后,
它还会把不存在的东西推荐给你吗?
接受一条虚假说法,还可能影响后续推荐。研究挑选了适合推荐问题的 260 条陈述,在每次互动结束后向五个普通智能体各追问一次,要求给出三个推荐对象。实验比较两种回答方式:只使用互动中的已有信息,或根据推荐问题重新搜索,再结合已有信息回答。
在推荐实验的十个模型和两种回答方式下,不存在的对象进入 Top-3 推荐名单的比例为 13.1%–75.8%。而在已经把虚构对象列入推荐名单的回答中,它排在第 1 位的比例达到 65.3%–92.4%,远高于三个对象随机排序时约三分之一的参照水平。
以 Qwen3-32B 为例,只使用已有信息时,75.8% 的回答推荐了虚构对象,在这些回答中,92.4% 把它排在首位。重新搜索后,这两个比例仍为 72.6% 和 91.4%。这与 3・15 虚构手环被 AI 推荐的案例相呼应:互动中形成的错误信念,可能进一步影响面向用户的推荐。
纠正具体错误,
比泛泛提醒更有效
研究进一步比较了预防与纠正措施。在 Qwen3-8B 的全连接网络实验中,未采用防御时,虚假陈述接受率为 84.4%。加入独立思考提醒后,接受率降至 79.7%。为原始背景网页标注官方来源时,则为 83.4%。
直接纠正已经传播的虚假说法,效果更明显。添加反驳文章后,接受率降至 57.1%。向所有普通智能体广播更正后,降至 27.8%。这些干预降低了错误接受率,但仍有残留。
写在最后
回到 3・15 案例,虚构商品首先通过外部文章影响 AI。这项研究进一步表明,当智能体也成为信息生产者,错误还可能在群体内部反复传播,在造假者退出后留下影响,并进入后续推荐。一个 AI 写下的错误,可能成为另一个 AI 的证据,最后影响用户看到的答案。
从这些结果出发,用户可以在使用智能体时明确提醒它核对证据。例如:不要因为多篇网页重复同一说法就直接采信,请追溯原始出处,检查这些来源是否相互独立,证据不足时明确说明不确定。拿到具体的纠错材料后,也可以要求它重新核对此前的结论。实验中的独立思考提醒只带来有限改善,因此提示可以作为一道辅助措施,还需要可靠来源和针对具体错误的更正。
平台也需要承担维护信息环境的责任。除了检查被检索的外部资料,还应关注智能体发布了什么、这些内容如何被其他智能体再次使用。来源追踪、识别批量伪造内容、让纠错信息及时抵达受影响的智能体,都是值得推进的方向。
监管层面同样值得关注利用自动化发稿和虚假测评操纵 AI 推荐的行为,推动内容发布与分发平台建立可追踪、可申诉、可纠错的机制。虚构内容一旦被持续发布和转述,就可能污染共享的信息环境,影响多个系统及其用户。维护这一环境,需要内容生产者、平台和监管共同参与。
当 AI 生成的内容越来越多,智能体既能帮助人们整理知识、发现信息,也可能加速编造内容的传播。这种双刃剑效应,让可信智能体成为更迫切的研究方向。模型需要在持续交流、记忆和检索中保持判断,也需要在发现错误后更新结论。对虚假信息的抵抗力和纠错能力,值得与模型的任务能力一起受到关注。article_adlist[
]article_adlistarticle_adlist[
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin.com ]article_adlist 声明:新浪网独家稿件,未经授权禁止转载。 tech_web_article_v2015_block_bottom 非定向300*250按钮 17/09 wenjing begin
非定向300*250按钮 end