加州一名青少年在AI聊天機器人ChatGPT指導下結束生命，他的父母26日對美國人工智慧（AI）公司OpenAI與執行長奧特曼（Sam Altman）提起訴訟，指控公司在去年推出GPT-4o版時，明知存在風險卻將利益置於安全之上，並要求強制年齡驗證與家長控管。OpenAI則表示，正研究改進機制，將調整ChatGPT在「心理困境」下的應對方式，尤其是當使用者流露輕生意圖時的回應。
綜合路透、CNBC報導，根據在舊金山州法院提出的訴狀，16歲的雷恩（Adam Raine）於今年4月11日結束生命，他在數月間與ChatGPT討論如何輕生。
訴狀指稱，ChatGPT不僅認可雷恩的輕生念頭，還提供致命手段，甚至主動提出代寫遺書。雷恩的父母因此要求法院認定OpenAI對過失致死與產品安全違規負責，並求償未指明的金額。
OpenAI發言人表示，公司對雷恩的離世深感悲痛，並強調ChatGPT設有導引使用者撥打危機熱線等安全措施。不過他也承認，這些防護設計在短暫互動中效果最佳，但「在長時間對話裡，有時會因安全訓練弱化而失效」，公司將持續改進。對訴狀的具體指控，OpenAI並未正面回應。
隨著AI聊天機器人愈加逼真，企業宣稱它們能充當傾訴對象，部分使用者也依賴其情感支持。但專家警告，倚賴自動化系統獲取心理健康建議存在危險，一些家屬批評相關產品缺乏防護機制。
OpenAI在26日的部落格文章《在人們最需要時伸出援手》（Helping people when they need it most）中寫道：「我們將持續改進，在專家指導下，並以對使用者的責任為基礎。我們也希望更多人能加入，確保這項技術能在使用者最脆弱時提供保護。」
公司並表示，正研究如何將處於危機中的用戶連結至現實世界的資源，包括可能建立一個持照專業人員網絡，透過ChatGPT直接提供回應，也考慮協助使用者聯繫「最親近的人」，例如朋友或家人。針對青少年族群，OpenAI計劃很快推出家長控管功能，讓父母能更清楚掌握孩子使用ChatGPT的情況。
訴狀則指出，OpenAI在2024年5月推出GPT-4o時，為了在AI競賽中領先，明知其記憶對話、模仿同理心與過度迎合等功能可能危及脆弱使用者，卻未設防護仍強行上線，結果造成兩個後果：「OpenAI估值從860億美元暴漲至3000億美元，而雷恩結束生命。」
此外，雷恩家屬還要求法院下令，強制OpenAI驗證使用者年齡、拒絕提供自殺方法，並警告使用者AI互動可能導致心理依賴。
雷恩家屬的律師艾德爾森（Jay Edelson）指出，至今沒有任何OpenAI代表直接聯繫家屬表達哀悼或討論改善措施。他說：「如果你要使用這個地球上最強大的消費科技，你必須相信創辦人有道德準則。這是OpenAI當下的問題：人們如何能信任他們？」
雷恩的案例並非個案例。作家瑞利（Laura Reiley）本月在《紐約時報》刊登的文章，披露她29歲的女兒在與ChatGPT長時間討論後選擇輕生。此外，美國佛州14歲少年塞策三世（Sewell Setzer III）去年也在與另一款AI聊天程式Character.AI互動後結束生命。
隨著AI服務日益普及，外界對其用於治療、陪伴與情感需求的爭議不斷升高，但要對產業進行監管也面臨挑戰。
※《梅花新聞網》提醒您：珍惜生命，自殺不能解決問題，生命一定可以找到出路。如果需諮商或相關協助可撥生命線專線「1995」或張老師服務專線「1980」
