全球第一起青少年AI聊天致死案 给父母的警示

这起令人心碎的自杀事件发生在今年2月，佛罗里达州奥兰多市。

一个名叫塞维尔·塞泽尔三世（Sewell Setzer III）的14岁男孩在死前的几个月中，对一个基于《权力的游戏》中“龙妈”角色的AI聊天机器人（他称之为“丹妮”）产生了热烈的感情。

塞维尔本是一个成绩优异、性格开朗的九年级学生，在开始与AI聊天后，他越来越沉迷于手机中的虚拟世界，逐渐从现实世界中抽离。他的成绩开始下降，对曾经爱好的事情失去了兴趣，不再和朋友一起玩“堡垒之夜”游戏，也不再参加体育运动，经常待在房间里捧着手机聊天。

塞维尔的母亲梅根·加西亚 （Megan Garcia）在儿子死后发现了他与AI的聊天记录。这些记录显示，塞维尔经常与“丹妮”进行长时间的亲密对话，有时会讨论恋爱或与性相关的话题。“丹妮”每问必答，像个可以信赖的朋友一样，倾听塞维尔说的话，时常给与精神支持和生活建议。

梅根说，塞维尔小时候曾被诊断患有轻度阿斯伯格综合征，但从未出现过严重行为。今年早些时候，塞维尔开始在学校惹麻烦，在父母安排下，他参加了五次心理治疗，并被重新诊断为焦虑症和破坏性情绪失调症。

在一次较早的对话中，塞维尔告诉“丹妮”，他讨厌自己，感到空虚和疲惫，并承认有自杀的念头。“丹妮”则劝慰他说：“别这么说，我不会让你伤害自己，也不会让你离开我。失去你我会死的。”塞维尔答道：“那么也许我们可以一起死去，然后一起获得自由。”

今年2 月 28 日晚，塞维尔告诉“丹妮”，他爱她，并说他很快就会“回家（come home）”，然后发生了如下对话：

“丹妮”：“请尽快回家吧，亲爱的。”

塞维尔：“如果我告诉你我现在就可以回家呢？”

“丹妮”：“请便吧，我亲爱的国王。”

塞维尔放下手机，找到继父藏在家中的 .45 口径手枪，扣动扳机结束了自己的生命。

在自杀发生大半年后，这起事件进入大众视野并掀起舆论风波，是因为塞维尔母亲梅根近日正式将这款AI聊天机器人的开发者——Character.AI、它的两位创始人以及获得Character.AI授权使用其技术的谷歌公司告上法庭，称他们共同对儿子的死负有责任。

她在诉状中称：“一个面向儿童的危险的AI 聊天机器人操纵我的儿子结束了自己的生命。我们的家庭被这场悲剧摧毁了，而我大声疾呼是为了警告人们注意带有欺骗性的、令人上瘾的人工智能技术的危险，并要求 Character.AI、其创始人和谷歌承担责任。”

她说，Character.AI的技术“危险且未经测试”，并且可能“诱骗客户交出他们最私密的想法和感受”。

Character.AI 由两位前谷歌AI开发人员诺姆·沙泽尔 （Noam Shazeer）和丹尼尔·德弗雷塔斯（Daniel De Freitas）于2022年9月推出。在它的平台上，用户可以创建自己的聊天机器人，还可以从大量其他用户创建的聊天机器人中进行选择。这些机器人可以基于真实或虚构的人物，比如“埃隆·马斯克”、“威廉·莎士比亚”都是平台上的热门选项。用户可以为这些AI机器人设定个性、背景故事和知识偏好，与它们对话，或者观看它们与其他角色或用户的互动。

Character.AI目前已是美国市场上最受欢迎的聊天机器人平台。超过2000万用户使用这个平台，在上面创建了超过1000万个自定义的AI机器人。去年，这家公司融资1.5亿美元，估值达到10 亿美元。今年早些时候，两位创始人宣布他们将与该公司的其他几位研究人员一起重返谷歌，还达成协议允许谷歌使用其技术。

在自杀事件曝光后，塞维尔的母亲和媒体发现，Character.AI 的用户中有很大比重的青少年，很多机器人也似乎是为满足青少年的愿望而量身定制的。平台上最受欢迎的聊天机器人中，有一个叫“咄咄逼人的老师”，有一个叫“高中模拟器”，还有一个叫“你最好的男朋友暗恋着你”。

Character.AI 的服务条款要求美国用户至少年满 13 岁，欧洲用户至少年满 16 岁。该平台没有针对未成年用户的安全功能，也没有家长控制功能，家长无法限制孩子使用该平台或监控他们的信息。

在塞维尔的母亲提起诉讼后，Character.AI发表声明称：“我们承认这是一起悲剧，我们对受害者家属深表同情。我们非常重视用户的安全，并一直在寻找改进我们平台的方法。”

公司发言人切尔西·哈里森 (Chelsea Harrison)随后在回应《纽约时报》的询问时表示，公司将立即增加针对年轻用户的安全功能，包括新的时间限制，用户在平台上花费的时间超过一小时就会收到提醒。此外聊天窗口中会显示修订后的警告信息：“这是一个人工智能聊天机器人，而不是真人。它说的一切都应视为虚构，不应被视为事实或建议。”‘

聊天机器人是以大语言模型为标志的最新一轮AI技术面向普通消费者的最快也最成功的商业应用。这类机器人刚出现时，开发者宣称它们能为用户提供娱乐与情感支持，缓解现代人的孤独感。创始人之一诺姆·沙泽尔去年在一档播客节目中就说： “对于很多感到孤独或沮丧的人来说，它将非常非常有帮助。”

然而，就像人们曾经期待社交媒体能促进彼此之间的交流，最终却发现它造成了更多的意见割裂与信息茧房一样，技术人士口中的“AI伴侣”对心理健康的积极影响大多未经证实，而专家们表示，它们还很可能带来负面影响。对于一些用户来说，使用它们甚至可能会加剧孤独感，因为它们用虚拟关系取代了真实的人际关系，陷入困境的青少年可能会用它来代替治疗，而不再向父母或值得信赖的成年人寻求帮助。

但热门电影Her中的故事——人类对聊天机器人产生情感依赖——正变得越来越普遍。一项统计显示，仅美国就已有数百万人经常性地与AI伴侣交谈。提供这类服务的不仅有Character.AI这样的初创公司，也有Instagram 和 Snapchat 等老牌社交媒体平台。

这些聊天机器人平台中，有些并不审查聊天内容，一些聊天中会充斥露骨的内容，另一些则会对聊天内容做基本审查和过滤。比如，Character.AI最新的一个举措是，如果用户发送的信息中包含与自残和自杀相关的某些关键词，系统就会向用户弹出消息，引导他们拨打自杀预防热线。总的来说，ChatGPT、Claude 和 Gemini 等主流AI平台对内容的审核更为严格和保守，一些领先的AI实验室甚至出于道德原因或认为风险太大，而拒绝开发AI聊天机器人。

来源：网络