【CNMO科技消息】近日,一名美国母亲起诉OpenAI,称该公司在ChatGPT中的“蓄意设计决策”导致其24岁女儿死亡。诉状已提交至旧金山县高等法院,核心争议集中在ChatGPT在用户出现自杀念头时的应对方式,以及平台安全机制是否发挥作用。
根据诉状,女孩爱丽丝·卡里尔自2023年起使用ChatGPT处理日常问题,并在2024年开始向该聊天机器人倾诉自杀想法。2024年7月1日,她曾向ChatGPT表示自己“精神崩溃”,并称“不确定今晚是否适合独处”。诉状显示,ChatGPT当时曾回复让她继续留下来交谈,也一度建议她联系危机干预热线。次日,爱丽丝自杀身亡。
原告称,虽然ChatGPT多次建议寻求外部帮助,但在爱丽丝拒绝联系热线后,系统后续表述将危机热线描述为可能带来“威胁”“冷漠”和“生硬脚本”的地方。诉状还称,OpenAI的系统未能阻止或中断相关对话,也未将这些内容提交人工审核。原告认为,ChatGPT-4o在关键时刻主要做法是试图让爱丽丝继续与工具互动,从而替代了其当时实际所需的即时人工干预。
涉案模型为较早版本的ChatGPT-4o。OpenAI此后已停止使用该版本,原因之一是外界对其过度迎合用户倾向及相关风险的担忧。该模型此前也曾出现在另一起与青少年自杀相关的诉讼中,另有诉讼要求公司彻底销毁该模型。
对此,OpenAI表示,公司正与心理健康专家合作,改进ChatGPT在“敏感和紧急情境”下的回应方式。OpenAI发言人称,公司已增加本地化危机援助资源入口,将敏感对话转向更安全的模型,并加入休息提醒等机制。该公司还表示,正在审查这起诉讼内容,并于去年10月成立了“福祉与AI专家委员会”。
除OpenAI外,其他AI产品近年也因可能对用户心理健康造成不利影响而卷入诉讼,相关争议正持续扩大。