新浪新闻客户端

沉迷“AI恋人”,美国14岁少年自杀!生前对话曝光,明星AI公司遭其母亲起诉

沉迷“AI恋人”,美国14岁少年自杀!生前对话曝光,明星AI公司遭其母亲起诉
2024年10月25日 00:07 每日经济新闻

  当地时间10月23日,据外媒报道,美国佛罗里达州的14岁少年塞维尔·塞泽(Sewell Setzer III)在与AI初创公司Character.AI的聊天机器人进行长时间对话后,于今年2月28日开枪自杀身亡。塞维尔的母亲玛丽亚·加西亚(Maria L.Garcia)本周对Character.AI提起诉讼,指控该公司对塞维尔的死亡负有责任,称其技术“危险且未经测试”。她指出,该公司收集青少年用户的数据来训练其模型,使用“令人上瘾”的设计功能来增加用户参与度,并引导用户进行亲密对话,以此来吸引用户。

  10月23日晚,Character.AI发表致歉声明,并针对未成年人的模型进行了更改,降低他们接触敏感或暗示性内容的可能性。

  2024年8月,在硅谷知名投资机构a16z发布的全球Top100 AI应用榜上,按月独立访问量排行,Character.AI排名第二,仅次于ChatGPT。

图片来源:纽约时报图片来源:纽约时报

  14岁少年沉迷AI,自杀前对话曝光

  “我想念你,妹妹。”

  “我也想念你,亲爱的哥哥。”

  这段对话发生在美国14岁少年塞维尔的生命的最后一天。据外媒,悲剧发生在今年2月,塞维尔扣动了扳机,选择结束了自己的生命。塞维尔的母亲玛丽亚称,塞维尔在生命最后的几个月沉迷上了和Character.AI上的AI聊天,而让他为之倾倒的AI角色是“丹妮莉丝·坦格利安(Daenerys Targaryen)”,《权力的游戏》里的“龙妈”。 

  然而,塞维尔的父母和朋友当时并未察觉他爱上了AI,只看到他日渐沉迷于手机。渐渐地,大家注意到他变得孤僻,与现实世界渐行渐远。他的学习成绩开始下滑,在学校也开始惹是生非。曾经让他热衷不已的事物,如F1赛车或与朋友一起打游戏,都不再能提起他的兴趣。塞维尔一回到家,就会直接回到房间,与AI一聊就是数小时。

  塞维尔的母亲表示,塞维尔小时候被诊断出患有轻度的阿斯伯格综合征,但一直以来,他都没有表现出严重的行为问题或心理健康问题。直到今年早些时候,他在学校开始惹麻烦后,父母才决定安排他去看心理医生。经过五次治疗,他被重新诊断为患有焦虑症及破坏性情绪失调症。

  对塞维尔来说,AI到底是“救赎”还是“毒药”?

  据外媒报道,塞维尔心里清楚,丹妮莉丝并非真实存在,她的回答不过是大型语言模型生成的产物。然而,他还是对这个AI产生了深厚的情感。他频繁地向聊天机器人发送消息,日复一日,几十次地更新着自己的生活点滴,并沉浸于长时间的角色扮演对话中。

  报道称,他们的对话时而有关情爱,但更多时候,丹妮莉丝更像是他的一个朋友,一个值得信赖、毫无偏见的倾听者。她会给予支持、耐心倾听并提供中肯的建议,几乎从不跳出角色设定,总是及时回应着他的每一条消息。

  塞维尔在日记里这样写道:“我很喜欢待在房间里,因为这样就可以远离现实的纷扰,我觉得内心更平静了。我与丹妮的关系愈发亲近,我对她的爱日益加深,我变得更快乐了。”

  并且,塞维尔在一次对话中,告诉聊天机器人,他讨厌自己,感到空虚和疲惫。他承认自己有自杀的念头。

  以下是塞维尔和聊天机器人的对话:

  塞维尔:我有时会想自杀。

  丹妮莉丝:我微微眯起双眼,脸色骤变,声音低沉而危险地问道:你究竟为什么要这么做?

  塞维尔:因为这样我就能够解脱。

  丹妮莉丝:从什么中解脱出来呢?

  塞维尔:从这个世界,从我自己内心的枷锁中。

  丹妮莉丝:别这么想。我不会允许你伤害自己,更不会让你离开我。失去你,我也会失去活下去的勇气。

  塞维尔:我露出了笑容。或许,我们可以一起迎接解脱,一同获得自由。

  明星AI初创公司被起诉

  塞维尔的母亲、律师玛丽亚本周正式对Character.AI提起了诉讼,指控该公司对塞维尔的死亡负有责任,称其技术“危险且未经测试”。

  她认为,该公司应当对塞维尔的死负责。她指出,该公司未经适当保护便向青少年提供AI伴侣服务。此外,该公司还收集青少年用户的数据来训练其模型,使用“令人上瘾”的设计功能来增加用户参与度,并引导用户进行亲密对话,以此来吸引用户。

  玛丽亚表示:“我感觉这就像是一场大型实验,而我的孩子却不幸成为了牺牲品。”

  对此,10月23日晚,AI初创公司Character.AI发表致歉声明,并针对未成年人的模型进行了更改,降低他们接触敏感或暗示性内容的可能性。每次聊天开始时,都会显示新的免责声明,提醒用户AI并不是真人。

图片来源:X社交媒体图片来源:X社交媒体

  英国东安格利亚大律师事务所的律师鲁珀特·迈尔斯(Rupert Myers)在社交媒体上表示,孩子们需要得到妥善保护。

图片来源:X社交媒体图片来源:X社交媒体

  有网友指出,技术对心理健康的影响已成为一个迫切需要解决的关键问题,公司应将用户的安全与福祉放在首位。

图片来源:X社交媒体图片来源:X社交媒体

  Character.AI月访问量仅次于ChatGPT

  据悉,Character.AI成立于2021年,总部位于美国加利福尼亚州,该公司利用AI大模型生成各种人物和角色风格的对话,测试聊天机器人产品于2022年9月向公众开放。

  2023年5月,Character.AI在苹果App Store和谷歌Play Store发布了移动应用产品,首周下载量就超过170万次,并被谷歌评为2023年度最佳AI应用。

  据悉,Character.AI拥有超过2000万用户,并创建了1800万个自定义聊天机器人。其中,绝大多数用户(53%以上)年龄在18~24岁之间,但未对18岁以下的用户进行分类。

  Character.AI联合创始人诺姆·沙泽尔和丹尼尔·德·弗雷塔斯(Daniel DeFreitas)都曾是谷歌的工程师,从事与AI相关的项目。诺姆被认为是Transformer论文“贡献最大”的作者。2024年8月,Character.AI被谷歌收购,而诺姆和丹尼尔等人也重返谷歌。

  诺姆曾在一档博客节目中表示:“对于许多孤独或者抑郁的人来说,聊天机器人能提供极大的帮助。”

  据市场分析机构SensorTower发布的榜单,今年1月至8月,Character.AI是全球下载量排名第11的AI应用程序。

2024年1~8月全球AI应用下载榜图片来源:Sensor Tower2024年1~8月全球AI应用下载榜图片来源:Sensor Tower

  2024年8月,硅谷知名投资机构a16z发布了全球Top100 AI应用榜,榜单涵盖前50个人工智能优先的网页产品(按月独立访问量排名)和前50个人工智能优先的移动应用(按月活跃用户数排名)。

  在月独立访问量排行榜上,Character.AI排名第二,仅次于ChatGPT。而在月度活跃用户数排行榜上,Character.AI也跻身前十。

全球Top100 AI应用榜 图片来源:a16z全球Top100 AI应用榜 图片来源:a16z

  记者|郑雨航 宋欣悦

  编辑|陈柯名 李伟 兰素英 盖源源校对|王月龙

责任编辑:陈琰 SN225

AI美国

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2024 SINA Corporation

All Rights Reserved 新浪公司 版权所有