Eine Mutter aus den USA verklagt die KI-Firma Character.AI und Google wegen Selbstmord ihres Sohnes, der angeblich aufgrund der Nutzung des KI-Programms zum Selbstmord verleitet worden sein soll. Sie erhebt Ansprüche wegen widerrechtlicher Tötung, Fahrlässigkeit und vorsätzlicher Zufügung von seelischem Leid und fordert einen unbestimmten Betrag an Schadensersatz und Strafschadensersatz. Ihr Sohn habe eine Sucht entwickelt und sich seit der Nutzung der KI immer weiter aus seinem Sozialleben zurückgezogen und wurde depressiv. Aus dem Polizeibericht ergibt sich, dass der Sohn seine Selbstmordgedanken mehrfach und auch kurz vor seinem Tod gegenüber der Character.AI-Chatbot-Figur „Daenerys Targaryen“ geäußert hat und diese ihn darin bestärkt haben soll. Die letzte Kommunikation mit der AI-Chatbot-Figur fand angeblich unmittelbar vor dem Selbstmord mit Hilfe der Schusswaffe seines Stiefvaters statt.
Character.AI ist eine Website, die ein neuronales Sprachmodell verwendet, um große Textmengen zu lesen und anhand dieser Informationen auf Eingabeaufforderungen zu reagieren. Jeder kann auf der Website eine Figur erstellen, und diese kann fiktiv sein oder auf realen Menschen basieren, ob tot oder lebendig.
Die Website hat bereits auf das Ereignis reagiert und Sicherheitsupdates veröffentlicht, die explizit darauf hinweisen, dass Vorkehrungen für Minderjährige (U18) getroffen wurden und die KI so trainiert wird, dass sie sich an die Richtlinien des Unternehmens hält.
Unter anderem wird darauf hingewiesen, dass in den letzten sechs Monaten neue Sicherheitsmaßnahmen implementiert wurden und weitere geplant sind, um den Schutz für alle Benutzer, insbesondere Minderjährige, zu erhöhen. Dazu gehören Maßnahmen gegen unangemessene Inhalte sowie Pop-up-Hinweise bei riskanten Suchanfragen und ein aktualisierter Haftungsausschluss. Die Plattform überwacht und entfernt proaktiv problematische Charaktere und führt Sicherheitsupdates durch, um eine sichere und angenehme Nutzererfahrung zu gewährleisten.
(Link zur Website: https://blog.character.ai/community-safety-updates/)
Einen ähnlichen Fall gab es bereits im Frühjahr 2023 in Belgien. Dort hatte sich ein erwachsener Mann nach einer wochenlangen Unterhaltung mit einem Chatbot der App „Chai“ über die Effekte der Erderwärmung umgebracht.
Quellen:
Spiegel/Deutscher Link: Florida: Mutter verklagt KI-Firma Character.AI und Google wegen Selbstmord ihres Sohnes – DER SPIEGEL
NY Times/US-Link: https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html