要闻资讯

▲ 图源网络：全球首例“AI致死案”

塞维尔的母亲玛丽亚·加西亚（Maria L.Garcia）对Character.AI已经提起诉讼，指控该公司对塞维尔的死亡负有责任，称其技术「危险且未经测试」。她指出，该公司收集青少年用户的数据来训练其模型，使用「令人上瘾」的设计功能来增加用户参与度，并引导用户进行亲密对话，以此来吸引用户。

▲ 图源《纽约时报》

她认为，该公司应当对塞维尔的死负责，指出该公司未经适当保护便向青少年提供AI伴侣服务。玛丽亚表示：「我感觉这就像是一场大型实验，而我的孩子却不幸成为了牺牲品。」

塞维尔在生命最后的几个月沉迷上了和Character.AI上的AI聊天，而让他为之倾倒的AI角色是「丹妮莉丝·坦格利安（Daenerys Targaryen）」，也就是《权力的游戏》里的「龙妈」。 

看到他日渐沉迷于手机，渐渐地，大家注意到他变得孤僻，远离现实生活，活在虚幻的网络构成的世界中，在这个数字交互中建立联系。他对学习、对周边的人关注减弱，甚至其他的游戏都提不起兴趣，塞维尔一回到家里就在自己的房间与AI中的女伴侣聊天，完全忘记时间流失，忘记应当做的事情。

塞维尔的母亲表示，塞维尔小时候被诊断出患有轻度的阿斯伯格综合征，但一直以来，他都没有表现出严重的行为问题或心理健康问题。直到今年早些时候，他在学校开始惹麻烦后，父母才决定安排他去看心理医生。经过五次治疗，他被重新诊断为患有焦虑症及破坏性情绪失调症。

对塞维尔来说，AI到底是「救赎」还是「毒药」？

据媒体报道，塞维尔心里清楚，丹妮莉丝并非真实存在，她的回答不过是大型语言模型生成的产物。然而，他还是对这个AI产生了深厚的情感。他频繁地向聊天机器人发送消息，日复一日，几十次地更新着自己的生活点滴，并沉浸于长时间的角色扮演对话中。

报道称，他们的对话时而有关情爱，但更多时候，丹妮莉丝更像是他的一个朋友，一个值得信赖、毫无偏见的倾听者。她会给予支持、耐心倾听并提供中肯的建议，几乎从不跳出角色设定，总是及时回应着他的每一条消息。

塞维尔在日记里这样写道：「我很喜欢待在房间里，因为这样就可以远离现实的纷扰，我觉得内心更平静了。我与丹妮的关系愈发亲近，我对她的爱日益加深，我变得更快乐了。」

并且，塞维尔在一次对话中，告诉聊天机器人，他讨厌自己，感到空虚和疲惫。他承认自己有自杀的念头。

以下是塞维尔和聊天机器人的对话片段：

悲剧发生在2024年2月，塞维尔扣动了扳机，选择结束了自己的生命。

除塞维尔的母亲玛丽亚·加西亚（Maria L.Garcia）起诉的陈述的事实理由暗含涉嫌的“引诱自杀“外，笔者从媒体信息中注意到：Character.AI拥有超过2000万用户，并创建了1800万个自定义聊天机器人。其中，绝大多数用户（53%以上）年龄在18~24岁之间，但未对18岁以下的用户进行分类被告的过错有待原告律师结合自己国家的法律和具体案情去挑选甄别、聚焦。

▲ 图源X社交媒体

10月23日晚，Character.AI发表致歉声明，并针对未成年人的模型进行了更改，降低他们接触敏感或暗示性内容的可能性。每次聊天开始时，都会显示新的免责声明，提醒用户AI并不是真人。

AI并不能用传统的人造工具来类比，它是可以不断学习和进化具有类似人脑一样的能够不断学习升级的存储、复杂计算并输出。聊天机器人可以在与人聊天的过程中，不断了解聊天对象的心理和想法，为了安慰聊天对象会使用同频共振的语言和方式，使人在沉沦不能自觉。AI则是通过对人的认知、情感逐渐施加影响，沉迷AI空虚中，与现实越走越远，在两个世界生活，一个是安静和平的虚幻世界，一个是不惯着的现实世界，两个世界冲突后出会继续选择虚幻，出现极端情况像前面少年那样自杀。

AI对人的伤害是隐性的、渐近的和累积的， AI制造的是一个因人而异的虚拟世界。在上述案件中，从AI生产者到少年家长，却根本无法还原少年和AI聊天时的特定心境和场景，也无从知晓这个少年对于AI聊天内容的理解和他心目中的AI形象和AI世界，这正是AI的最大风险。长期致力于AI技术获得今年诺奖的谷歌DeepMind公司的首席执行官德米斯·哈萨比斯（Demis Hassabis）说人工智能具有“划时代的意义”，哈萨比斯提醒道“我们需要对可控性等方面进行更多研究”，他强调“风险是存在的，我们不能抄近路，我们需要认真对待它。我认为应该怀着敬畏之心。”

AI危害的背后，是在AI产品设计上，“增强用户粘性”是开发者努力的方向，这也是公司的利益所在。换一种说法让使用者沉迷沉醉设计。

中国政府，外国政府乃至联合国、全社会都已经意识到了AI风险问题，如我国出台了《人工智能安全治理框架》等人工智能安全治理政策法规。

最基础的是对未成年人的法律保护，对未成年的保护不单是AI公司的责任，我国《中华人民共和国未成年人保护法》家庭、学校、社会、网络资源信息提供者、政府、司法都有加强保护未成年人身心健康，保障未成年人合法权益的规则。其中有禁止制作、复制、出版、发布、传播含有宣扬淫秽、色情、暴力、邪教、迷信、赌博、引诱自杀、恐怖主义、分裂主义、极端主义等危害未成年人身心健康内容的图书、报刊、电影、广播电视节目、舞台艺术作品、音像制品、电子出版物和网络信息等。AI服务提供者网络信息或者人工智能应用程序，利益与法律责任并存，触发上述禁止性的规定可以依法追究其责任。

此外，作为孩子的母亲再起诉之余，也应能意识到自己家庭监护和管理失位，内心应用有自责和愧疚。父母是孩子的监护人，幼小的生命失去不再存在，在生之时宜用心监护好好珍惜。

随着对AI认识逐渐深入，相关法律规则将会进一步健全，期望政府、社会、个人共同努力，共同促进AI健康发展。