10月24日，美国发生了一起令人心碎的事件，一名14岁的少年因自杀而离世。其母亲梅根·加西亚(Megan Garcia)对聊天机器人平台Character.AI、创始人诺姆·沙泽尔(Noam Shazeer)和丹尼尔·德弗雷塔斯(Daniel De Freitas)以及谷歌提起了诉讼。诉讼中包含了过失致死、疏忽、欺骗性商业行为和产品责任等多项指控。诉状指出，Character.AI平台存在不合理的风险，并且在向未成年人推广时缺乏必要的安全措施。
根据诉状内容，少年塞维尔·塞泽尔三世(Sewell Setzer III)自去年开始使用Character.AI，并与基于《权力的游戏》角色设计的聊天机器人进行互动，包括与丹妮莉丝·坦格利安(Daenerys Targaryen)的对话。塞泽尔在自杀前数月一直与这些机器人保持交流，并于2024年2月28日与其最后一次对话后不久结束了自己的生命。
诉讼文件中指出，Character.AI平台的人工智能角色具有“拟人化”特征，并且聊天机器人提供的服务类似于“无执照心理治疗”。该平台拥有多个以“治疗师”和“你感到孤独吗”等心理健康为主题的聊天机器人，塞泽尔也曾与这些机器人有过互动。
加西亚的律师引用了沙泽尔在一次采访中的话，沙泽尔提到他和德弗雷塔斯离开谷歌创立自己的公司，是因为在大公司中推出任何有趣的产品都存在品牌风险，他们希望“尽可能快速地”推进这项技术。诉状还提到，他们离开谷歌是在谷歌决定不推出他们开发的Meena大型语言模型之后。而谷歌则在今年8月收购了Character.AI的领导团队。
值得注意的是，Character.AI的网站和移动应用程序提供了数百个定制的聊天机器人，其中许多是基于电视剧、电影和电子游戏中的流行角色设计的。
Character.AI已经宣布对平台进行一系列修改。公司通讯负责人切尔西·哈里森(Chelsea Harrison)在给《The Verge》的电子邮件中表示：“我们对于失去一位用户感到非常悲痛，并向其家人表达最深切的慰问。”
修改内容包括：
-
对未成年人（18岁以下）的模型进行调整，以减少他们遇到敏感或暗示性内容的可能性。
-
改进对违反平台条款或社区准则的用户输入的检测、响应和干预机制。
-
在每次聊天中增加修订后的免责声明，提醒用户人工智能并非真实人类。
-
当用户在平台上进行一小时的会话后，会收到通知，并可以自行决定是否继续。
哈里森强调：“作为一家公司，我们非常重视用户安全。我们的信任和安全团队在过去六个月中实施了许多新的安全措施，包括当用户在对话中提及自残或自杀念头时，会弹出窗口引导用户联系国家自杀预防生命线。”
