←新闻详情

9to5Mac更新于 11月2日 23:13

Wired 调查:400 多个含隐藏色情暴力深伪功能的 AI 应用通过 App Store 审核

AI apps with hidden sexual and violent deepfake features made it into the App Store

AI 导读

Wired 调查发现,一个疑似由中国机构运营的网络包含 400 多个域名和应用,这些应用以语言教学、AI 健身教练等日常功能通过审核,在特定条件下加载可生成色情和暴力深伪内容的界面。它们通过 Meta 平台上的广告投放引流,部分应用已上线一年。苹果在 Wired 提供细节后下架了 19 款应用,称开发者在上架后替换了内容来源网站;Meta 表示已对与这些应用域名关联的 1 万多个广告账户采取行动。

推荐理由

AI 评分 66

调查披露 400 多个应用借审核后替换内容绕过平台审查,呈现了深伪滥用的具体手法与平台处置。

主题

标签

正文 · AI 翻译

数百款带有隐藏色情和暴力深度伪造功能的 AI 应用在通过应用审核后进入了苹果 App Store。这些应用同样也在 Google Play 商店上架。

一项调查发现了 400 多款应用,显然由同一家中国机构创建。这些应用允许用户上传照片,然后生成色情和暴力的深度伪造内容,可用于羞辱或威胁受害者……

《连线》杂志的一项调查发现了一个由 400 多个相互关联的域名和应用组成的网络,这些应用具有隐藏的滥用功能。

像 Viefur(表面上用于给宠物照片添加衣物)这样的应用通常声称是日常服务——例如语言教学或 AI 健身教练。然而,在某些条件下访问时,该网络中的应用会悄悄加载一个网页界面,允许使用用户上传的照片生成露骨的 AI 色情图像和视频。这些应用包含诸如“卧室强奸”和“持刀威胁”等 AI 场景,其中一名男子将刀抵在一名女子的脖子上。

《连线》称,由于在 Facebook 和 Instagram 上发布了数千条相关视频广告,该网络“就藏在众目睽睽之下”。部分应用已经存在了一年,并且通过了苹果、谷歌和 Meta 的审核,尽管这三家公司都有明确政策禁止有害的深度伪造内容。

这些应用使用了诱饵调包的手法来通过应用审核。它们通常展示无害内容,但服务器检查可以激活隐藏功能。在 Meta 平台上点击深度伪造功能的广告后下载应用,似乎是触发条件之一。随后可以下载数十个色情照片和视频模板,并购买积分以根据用户上传的照片生成深度伪造内容。

在《连线》分享细节后,苹果下架了 19 款应用。

我们会在每款应用发布前进行审核,这些应用在接受审核时符合我们的规则。获批之后,其开发者更改了应用获取内容的网站,用色情内容替换了我们批准的内容,并通过托管在第三方平台上的色情广告进行推广。

该公司最近加强了针对这种手法的防护。Meta 表示,已对与这些应用相关域名关联的 1 万多个广告账户采取了行动。

iPhone Duo 保护壳

Beats Woven USB-C 线缆

来源

9to5Mac