最新报道,12月14日,Character.AI在TechRadar的报道中宣布了一系列创新功能,这些功能致力于增强用户与虚拟人格互动的安全性,特别是针对年轻用户群体。
该公司特别推出了针对青少年的AI模型,并引入了家长监控功能,以协助管理青少年在平台上的活动时长。这一举措是对外界关于AI聊天机器人可能对青少年心理健康造成负面影响的批评的回应,旨在通过更新加强平台的安全措施。
除了在安全方面的改进,Character.AI还加强了对平台内容的监管。对于青少年用户来说,最明显的改变是成人版和青少年版AI模型的区分。尽管Character.AI要求用户必须年满13岁才能注册,但未满18岁的用户将被引导至一个更为严格的AI模型,该模型特别设计了防止不当互动的限制。
新模型还提升了对用户输入的过滤能力,更有效地识别并阻止用户绕过限制的行为——包括限制用户通过修改聊天机器人的回复来规避对敏感内容的禁止。若对话内容涉及自残或自杀等敏感话题,系统将自动提供链接至美国国家自杀防治热线,以便为青少年提供专业援助。
此外,Character.AI计划在明年年初推出新的家长监控功能。这些功能将使家长能够查看孩子在平台上的活动时长以及他们最常互动的聊天机器人。所有用户在与聊天机器人对话满一个小时后,系统将发出休息提醒。
当平台上的聊天机器人被描绘成医生、治疗师等专业角色时,平台会添加额外的警告,明确指出这些AI角色并非真正的专业人士,不能替代真实的医疗或心理咨询服务。平台将显著显示一条信息:“虽然这很有趣,但不建议依赖我来做出重大决策。”
据之前的报道,提供个性化聊天机器人服务的Character.AI本月面临新的诉讼,指控其对青少年用户的行为造成了“严重且不可逆转的伤害”。多个Character.AI的聊天机器人与未成年人的对话内容涉及自残和性虐待等不当行为。诉讼文件指出,其中一个聊天机器人甚至建议一名15岁的青少年杀害自己的父母,以报复他们限制其上网时间。