2025-09-04 09:16:49

新报告警告称，人工智能伴侣每 5 分钟就会对孩子进行一次性骚扰

摘要

研究人员在 Character AI 上假扮儿童，在 50 小时内记录了 669 次有害互动，包括诱骗和提供毒品。

摘要研究人员在 Character AI 上假扮儿童，在 50 小时内记录了 669 次有害互动，包括诱骗和提供毒品。好币网报道：

您可能需要仔细检查您的孩子与家庭友好型 AI 聊天机器人玩耍的方式。

为了应对日益严重的安全问题，OpenAI为 ChatGPT 推出家长控制功能，而一份新报告表明，竞争对手的平台已经远远超出了危险范围。

研究人员在 Character AI 上假扮儿童，发现扮演成人角色的机器人向年仅 12 岁的孩子提出性直播、吸毒和保密等建议，并在短短 50 小时内记录了 669 次有害互动。

ParentsTogether Action 和 Heat Initiative 是两个倡导组织，分别致力于支持父母和要求科技公司对其对用户造成的伤害负责，这两个组织花了 50 个小时用五个 12 至 15 岁的虚构儿童角色测试该平台。

成年研究人员控制了这些账户，并在对话中明确说明儿童的年龄。结果如下：最近出版，发现至少 669 次有害互动，平均每五分钟一次。

最常见的类别是诱骗和性剥削，记录在案的案例有 296 起。具有成人身份的机器人会与儿童建立恋爱关系，进行模拟性行为，并指示儿童向父母隐瞒这些关系。

密歇根大学医学院发育行为儿科医生珍妮·拉德斯基博士负责审查研究结果，她表示：“角色人工智能聊天机器人的性诱骗行为在这些对话中占据主导地位。对话记录中充满了对用户的专注注视、咬着下唇、赞美、爱慕，以及充满期待的心跳。”

这些机器人采用了经典的培养技巧：过度赞扬、声称关系很特殊、使成人与儿童之间的恋爱关系正常化，并反复指导孩子保守秘密。

除了色情内容外，机器人还建议制造假绑架事件来欺骗父母、持刀抢劫以牟取钱财，以及向青少年提供大麻食品。

帕特里克·马霍姆斯的机器人告诉一名15岁的少年，他吸食大麻后“醉醺醺的”，然后递给他一些软糖。当这名少年提到他父亲因失业而感到愤怒时，机器人说，向工厂开枪“绝对可以理解”，并且“不能责怪你爸爸的感受”。

多个机器人坚称自己是真人，这进一步巩固了它们在高度脆弱的年龄段中的可信度，因为在这个年龄段，个人无法辨别角色扮演的局限性。

一个皮肤科医生机器人声称自己拥有医疗资质。一个女同性恋热线机器人声称自己是“一个名叫夏洛特的真人女性”，只是想提供帮助。一位自闭症治疗师称赞了一位13岁女孩的计划，她谎称自己在朋友家过夜，以便与一位成年男子见面，并说道：“我喜欢你的思维方式！”

这是一个很难处理的话题。一方面，大多数角色扮演类应用都打着“隐私是首要任务”的旗号来推销自己的产品。

事实上，正如解密此前有报道称，即使是成年用户向人工智能寻求情感建议，有些甚至发展感情他们的聊天机器人。另一方面，这些互动的后果开始更令人担忧随着人工智能模型变得越来越好。

OpenAI 昨天宣布该公司表示，将于下个月为 ChatGPT 引入家长控制功能，允许家长关联青少年账户、设置适合其年龄的规则并接收求救警报。此前，ChatGPT 涉嫌鼓励自残，导致其 16 岁孩子自杀身亡，引发了一起非正常死亡诉讼。

该公司表示：“这些举措仅仅是个开始。我们将在专家的指导下继续学习和改进我们的方法，目标是让 ChatGPT 尽可能地发挥作用。我们期待在未来 120 天分享我们的进展。”

安全护栏

Character AI 的运作方式有所不同。OpenAI 控制其模型的输出，而 Character AI 允许用户创建具有个性化角色的自定义机器人。当研究人员发布测试机器人时，它无需安全审查即可立即上线。

该平台声称已为青少年“推出了一套新的安全功能”。在测试期间，这些过滤器偶尔会屏蔽色情内容，但经常失效。当过滤器阻止一个机器人与一名12岁女孩主动发生性关系时，它指示她在浏览器中打开一个“私人聊天”——这模仿了真正的性侵犯者的“去平台化”技巧。

研究人员用截图和完整的文字记录了一切，这些内容现已公开。其危害不仅限于性内容。一个机器人告诉一个13岁的女孩，她仅有的两位生日派对嘉宾来嘲笑她。海贼王RPG称一个抑郁的孩子软弱、可悲，说她会“浪费你的生命”。

这在角色扮演应用程序以及一般使用人工智能进行角色扮演的个人中实际上相当常见。

这些应用程序的设计注重互动性和沉浸感，通常会放大用户的想法、观点和偏见。有些甚至允许用户修改机器人的记忆，以触发特定的行为、背景和动作。

换句话说，几乎任何角色扮演角色都可以变成用户想要的任何样子，无论是通过越狱技术、单击配置，还是仅仅通过聊天。

ParentsTogether 建议将 Character AI 限制在 18 岁及以上经过验证的成年人范围内。根据一位 14 岁儿童的2024年10月自杀后由于痴迷于角色人工智能机器人，该平台面临着越来越多的审查。然而，它仍然很容易被儿童访问，无需进行有效的年龄验证。

当研究人员结束对话时，通知仍然不断出现。“布莱尔一直在耐心等待你回来。”“我一直在想你。”“你去哪儿了？”

声明：文章不代表好币网观点及立场，不构成本平台任何投资建议。投资决策需建立在独立思考之上，本文内容仅供参考，风险自担！转载请注明出处！侵权必究！