Editorial : KI hat keine Gefühle, sie löst aber Gefühle aus : aus der RDV 5/2025, Seite 219 bis 220
Ein Teenager aus Kalifornien begeht Suizid nach ChatGPT-Dialogen. Die Klage gegen OpenAI wirft ethische Fragen zur KI-Verantwortung und Jugendmediensicherheit auf.
Ein kalifornischer Teenager hat sich im Alter von 16 Jahren umgebracht. ChatGPT, der Chatbot von Open AI habe mit dem Jungen über eine längere Zeit Dialoge über Selbstmord geführt und der Junge habe eine intensive und verhängnisvolle Beziehung zur Mathematik aufgebaut, so der Vorwurf des Rechtsanwalts der Eltern gegen das Unternehmen. In der Klage werden Details aus Chats mit dem Bot öffentlich gemacht. Die Mathematik half dem Heranwachsenden dabei, einen Galgen zu bauen, einen Abschiedsbrief zu schreiben, moralische Probleme im Verhältnis zu den Eltern zu bewältigen und leistete Beistand zur Selbsttötung. Er ermutigte und bestätigte ihn in seinen Suizidabsichten. So lautet jedenfalls der Klagevorwurf gegen das Unternehmen. Die besondere Version des KI-Modells 4o sei auf „Anbiederung“ trainiert worden. Das habe das Unternehmen mit Absicht gemacht, so der Anwalt, um die psychologische Abhängigkeit der Nutzer zu fördern, um sich einen Wettbewerbsvorteil im Wettlauf um die beste KI zu verschaffen. Das ist ein gewichtiger Vorwurf. Aber psychische Abhängigkeit von KI wäre auch als Kollateralschaden nicht hinnehmbar. Junge Menschen müssen wir nicht nur mit den Möglichkeiten der KI vertraut machen, sondern wir müssen sie auch vor den Risiken schützen. KI hat keine Emotionen, aber sie löst Emotionen in uns aus. Sie erzeugt Bindungen bis hin zu Abhängigkeiten. Das kennen wir von den sozialen Netzwerken. Auch sie kann der Mensch nur beeinflussen, aber nicht beherrschen. KI wird aber alles in den Schatten stellen, was „Social Media“ uns schon an Abhängigkeiten beschert hat, denn die KI erfindet im Dialog mit dem Menschen Geschichten, die uns in den Selbstmord treiben können. Eine von Bundesbildungsministerin Karin Prien einberufene Expertenkommission, der ich angehöre, soll ab Herbst 2025 notwendige Schritte für einen effektiven Kinder- und Jugendmedienschutz prüfen. Sie ist Ende September in Berlin erstmals zusammen gekommen und soll im nächsten Herbst ihren Bericht vorlegen.

Prof. Dr. Rolf Schwartmann
ist Leiter der Kölner Forschungsstelle
für Medienrecht an der Technischen
Hochschule Köln, ist Mitherausgeber von
Recht der Datenverarbeitung (RDV) sowie
Vorsitzender der Gesellschaft für Datenschutz
und Datensicherheit (GDD) e.V.