Aufsätze : Die KI-VO – Herausforderungen für Unternehmen: Ausgewählte Praxisfragen und erste Lösungsansätze : aus der RDV 1/2025, Seite 17 bis 26
Mit Inkrafttreten der Verordnung über Künstliche Intelligenz („KI-VO“) am 1. August 2024 stehen die rechtlichen Rahmenbedingungen für die verantwortungsvolle Entwicklung und Verwendung Künstlicher Intelligenz in der EU fest. Genauso wie beim Inkrafttreten der Datenschutz-Grundverordnung („DS-GVO“) hat der europäische Gesetzgeber in der KI-VO eine Übergangsfrist von zwei Jahren vorgesehen, bis die Vorgaben auch gelten (vgl. Art. 113 S. 2 KI-VO). Anders als bei Einführung der DS-GVO sind aber zahlreiche Vorschriften von der zweijährigen Übergangsfrist ausgenommen. Angesichts des unannehmbaren Risikos, das mit der Nutzung von KI auf bestimmte Weise einhergehe , gelten etwa die Verbotstatbestände sowie die allgemeinen Bestimmungen schon ab dem 2. Februar 2025 (vgl. Art. 113 S. 3 lit. a) KI-VO). Daneben greifen zahlreiche allgemeine Vorgaben aus dem deutschen und europäischen Recht, die nach ihrem Gesetzestext zwar überwiegend nicht an den Begriff der Künstlichen Intelligenz anknüpfen, für Unternehmen aber dennoch erhebliche Praxisrelevanz haben können. Unternehmen, die mit KI-Anwendungen erste Erfahrungen sammeln wollen, sollten sich daher zeitnah mit den rechtlichen Rahmenbedingungen auseinandersetzen. Ausgewählte Praxisfragen, die in Pilotprojekten eine besonders große Rolle spielen, sollen im Folgenden mit ersten Lösungsansätzen dargestellt werden.
I. Initiale Einordnung als Anbieter oder Betreiber
Der Umfang des maßgeblichen Pflichtenprogramms der KI-VO hängt entscheidend von der Rolle desjenigen ab, der mit einem KI-System umgeht. Die KI-VO definiert in Art. 3 KI-VO mit dem Anbieter, Produkthersteller, Betreiber, Bevollmächtigten, Einführer und Händler verschiedene Rollen, die gesammelt als Akteure bezeichnet werden (vgl. Art. 3 Nr. 8 KI-VO). Nicht definiert wird die Rolle des Nutzers oder des Endabnehmers. Unternehmen, die KI-Systeme nur als interne Arbeitserleichterung einsetzen möchten (etwa in Form eines Chatbots oder eines Recherchetools), werden im Regelfall vermeiden wollen, als Anbieter eingeordnet zu werden. Denn während der Betreiber in der KI-VO nur von einer recht überschaubaren Zahl an Normen adressiert wird,[2] treffen den Anbieter eines KI-Systems umfangreiche Pflichten.[3] Die Frage, wer diese Rolle in der Praxis übernimmt, spielt daher eine erhebliche Rolle.
1. Anbieter
Nach der Legaldefinition ist der „Anbieter“ eine natürliche oder juristische Person oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt (vgl. Art. 3 Nr. 3 KI-VO). Grundvoraussetzung ist demnach, dass der Anbieter bei der Entwicklung des KI-Systems oder KI-Modells beteiligt ist. Der Begriff der Entwicklung wird in der KI-VO nicht definiert. Die Rolle des Entwicklers entspricht im Wesentlichen der des Herstellers im Produktsicherheits- und Produkthaftungsrecht.[4]Umfasst sein können sowohl privatrechtliche als auch öffentlich-rechtliche Akteure, unabhängig von ihrer Rechtsform. Unerheblich ist auch, ob der Anbieter seinen Sitz in der EU oder in einem Drittland hat[5] und ob die Handlung entgeltlich oder unentgeltlich durchgeführt wird[6]. Die Entwicklungsleistungen müssen auch nicht selbst vorgenommen werden. Ausreichend ist, dass ein Dritter mit der Entwicklung beauftragt wird.
Der Anbieter muss das KI-System oder das KI-Modell anschließend in Verkehr bringen oder in Betrieb nehmen. Inverkehrbringen meint „die erstmalige Bereitstellung eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck auf dem Unionsmarkt“ (vgl. Art. 3 Nr. 9 KI-VO). Inbetriebnahme ist definiert als „die Bereitstellung eines KI-Systems in der Union zum Erstgebrauch direkt an den Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung“ (vgl. Art. 3 Nr. 11 KI-VO). Nicht umfasst sind Handlungen im rein privaten, nicht beruflichen Kontext. Bei diesen greift die Haushaltsausnahme in Art. 2 Abs. 10 KI-VO.
Das Inverkehrbringen oder die Inbetriebnahme muss unter eigenem Namen oder eigener Handelsmarke erfolgen. Bietet der Anbieter ein KI-System im Geschäftsverkehr an, erfolgt dies in der Regel ausdrücklich, beispielsweise durch entsprechende Angaben auf der Webseite, in einer Produktbeschreibung oder in Begleitdokumenten. Bei einer Inbetriebnahme zum Eigenbetrieb wird man dagegen im Einzelfall prüfen müssen, ob ein Unternehmen tatsächlich eine Lösung unter eigenen Namen oder mit eigener Handelsmarke in Betrieb nimmt oder erkennbar die Lösung eines Dritten nutzt.
2. Betreiber
Der „Betreiber“ verwendet ein KI-System in eigener Verantwortung (Art. 3 Nr. 4 Hs. 1 KI-VO). Ausgenommen ist die Verwendung des KI-Systems im Rahmen einer persönlichen und nicht beruflichen Tätigkeit (Art. 3 Nr. 4 Hs. 2 KI-VO). Anders als beim Anbieterbegriff wurde die Rollenbezeichnung des Betreibers noch während des Gesetzgebungsverfahrens geändert. So wurde derjenige, der ein KI-System in eigener Verantwortung verwendet, im ursprünglichen Kommissionsentwurf aus dem Jahr 2021 noch als „Nutzer“ bezeichnet. Diese Begriffsbezeichnung wurde aufgrund ihrer Nähe zum Nutzerbegriff in anderen Digitalrechtsakten stark kritisiert. Während der Nutzer in diesen funktionell überwiegend die geschützte Partei bezeichnet, sollte der Begriff in der KI-VO vielmehr Anknüpfungspunkt für Pflichten sein (vgl. etwa Art. 27, 50 Abs. 3 und Abs. 4, Art. 71 Abs. 3 KI-VO). Um diese Differenzierung auch sprachlich zum Ausdruck zu bringen, hat das Parlament in den Trilogverhandlungen den Begriff „Betreiber“ durchgesetzt.[7]
Auch Betreiber können unabhängig von ihrer Rechtsform sowohl privatrechtliche als auch öffentlich-rechtliche Akteure sein. Anders als bei der Anbieterrolle knüpft die Definition jedoch nur an KI-Systeme an, nicht auch an KI-Modelle mit allgemeinem Verwendungszweck (dazu unter I.3). Denn letztere können faktisch nur verwendet werden, sofern sie in ein KI-System integriert werden.[8]
Der Betreiber muss das KI-System „verwenden“, was zunächst einen bewussten Einsatz in Bezug auf die wesentlichen Arbeitsschritte des KI-Systems voraussetzt.[9] Nicht ausreichend ist die bloße Verwendung der Ausgabe („Output“) eines KI-Systems, die von einem Dritten zur Verfügung gestellt wird (etwa Mediencontent einer Marketingagentur, die einen KI-Bildgenerator eingesetzt hat). Die Verwendung muss zudem „in eigener Verantwortung“ erfolgen. Dies setzt nicht voraus, dass die technischen Einzelschritte, wie beispielsweise das Hosting des KI-Systems, die Bereitstellung der Weboberfläche oder die Erstellung einer Ausgabedatei, vom Betreiber selbst durchgeführt werden. Soweit Drittdienstleister eingesetzt werden, ist für die Zurechnung zur Verantwortungssphäre des Betreibers (hier zugleich Auftraggeber) aber erforderlich, dass das KI-System im Auftrag und auf Rechnung des Auftraggebers betrieben wird. Dies kann auch dann der Fall sein, wenn der Dienstleister sämtliche Arbeitsschritte in der Cloud durchführt und dabei etwa als Auftragsverarbeiter agiert (im vorgenannten Beispiel etwa eine Marketingagentur, die den KI-Bildgenerator strikt nach Weisung bedient). Zwischen Dienstleister und Auftraggeber muss dann eine Vereinbarung zur Auftragsverarbeitung mit dem Pflichtinhalt aus Art. 28 Abs. 3 DS-GVO geschlossen werden.
3. KI-System oder KI-Modell
Sachlicher Bezugspunkt bei der Bestimmung der Anbieterrolle ist „ein KI-System oder ein KI-Modell“, bei der Rolle des Betreibers dagegen nur ein „KI-System“. Diese sprachliche Differenzierung kommt in der Diskussion zum Pflichtenprogramm nach der KI-VO häufig zu kurz, ist aber mitunter entscheidend für die Rollenzuweisung und von enormer Praxisrelevanz: Während KI-Systeme in der KI-VO mit wenigen Ausnahmen umfassend reguliert werden, sind für bestimmte KI-Modelle, die einen allgemeinen Verwendungszweck aufweisen, nur wenige Vorgaben normiert.
Ein KI-System ist nach der sperrigen Definition in Art. 3 Nr. 1 KI-VO „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“[10]. Umfasst sein können etwa digitale Assistenten (z.B. Microsoft 365 Copilot, ChatGPT, Google Gemini), KI-Tools zur Text- (z.B. Jasper AI, copy.ai und neuroflash) oder Bilderstellung (z.B. Adobe Firefly, Midjourney, Stable Diffusion) sowie Anwendungen zur Unterstützung von Programmiertätigkeiten (z.B. GitHub Copilot). Die Abgrenzung zur herkömmlichen Software erfolgt insbesondere über die Merkmale „autonomer Betrieb“ sowie die Fähigkeit zur Ableitung. Beide Merkmale bieten genug Unschärfe, um Sachverständigen und Gerichten in den kommenden Jahren viel Diskussionsstoff zu liefern.[11]
Ein „KI-Modell mit allgemeinem Verwendungszweck“ (engl. General Purpose AI oder kurz GPAI), wird in Art. 3 Nr. 63 KI-VO definiert als KI-Modell, „das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann […]“[12]. Der Begriff „KI-Modell“ selbst wird nicht separat definiert. Vereinfacht gesagt bildet ein KI-Modell die technische Grundlage für KI-Systeme.[13] Bekannte KI-Modelle sind etwa GPT (OpenAI), BERT (Google), AlphaGo (DeepMind), Gemini (Google), DALL-E (OpenAI) oder LLaMA (Meta). Diese Modelle können zum KI-System werden, soweit sie durch Hinzufügung weiterer Komponenten (etwa einer Nutzerschnittstelle) in eine Applikationsumgebung integriert und dadurch interaktiv gemacht werden.
Zu gewissen Verwirrungen kann die Definition eines „KISystems mit allgemeinem Verwendungszweck“ in Art. 3 Nr. 66 KI-VO führen. Dies ist ein KI-System, „das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen“. Auch wenn der Begriff in der KI-VO definiert wird, knüpft die KI-VO keine unmittelbaren Rechtsfolgen an diesen. Entscheidend für die Rollenzuweisung ist, dass es sich insofern um ein KI-System handelt, nicht nur um ein bloßes KI-Modell.
4. Grenzfälle: API-Einbindung, eigene Datenbanken und Finetuning
Im Regelfall werden Unternehmen KI-Anwendungen nicht (vollständig) selbst entwickeln, sondern die Lösung eines Drittanbieters lizenzieren wollen. Eine solche Drittlösung kann ein reines KI-Modell sein, das über eine Programmierschnittstelle (engl. Application Programming Interface, kurz API) in eine eigene Anwendung des Unternehmens eingebunden wird. Alternativ kann ein fertiges KI-System lizenziert werden, das schon selbst eine Applikationsumgebung des Drittanbieters enthält und dem Unternehmen zum lokalen Betrieb auf dessen eigener Unternehmenshardware (On-Premise-Betrieb) oder in Form eines Cloud-Computing-Modells über das Internet (Software-as-a-Service) bereitgestellt wird. Im ersten Fall tritt der Drittanbieter in der Regel als Anbieter des KI-Modells, im zweiten als Anbieter des KI-Systems auf.
Schwieriger zu beantworten ist die Frage, welche Rolle das Unternehmen in beiden Fällen einnimmt. Erhält das Unternehmen ein fertiges KI-System und nutzt dieses ohne Veränderungen (etwa eine Übersetzungslösung oder einen Bildgenerator), tritt es bei der Nutzung im Regelfall als reiner Betreiber auf (zu den Ausnahmen siehe unter II.). Soweit das Unternehmen aber beispielsweise seinen Beschäftigten einen KI-Chatbot zur Verfügung stellen möchte und dafür ein generatives Sprachmodell mit allgemeinem Verwendungszweck bei einem Drittanbieter lizenziert, soll dieser Chatbot im Regelfall individuell an den Einsatz im Unternehmen angepasst werden, um etwa Auskunft über unternehmensinterne Vorgänge geben zu können. Hierfür kann die Anpassung des Sprachmodells erforderlich sein. Im Fall des Chatbots dürfte es ausreichen, unternehmenseigene Datensätze mit dem Sprachmodell zu verknüpfen. Technisch kann dies durch die sog. „Retrieval-Augmented Generation“ (RAG) erfolgen, bei der zu referenzierende Daten u.a. in Worteinbettungen umgewandelt und in einer Vektorendatenbank indexiert werden. Die RAG-Technologie erweitert somit die Fähigkeiten des Sprachmodells, indem sie externe Informationen in Echtzeit einbezieht und die Eingaben kontextualisiert, ohne das Sprachmodell selbst zu verändern.[14] Alternativ kann das Unternehmen ein Finetuning des vortrainierten Modells durchführen. Der Begriff des Finetunings wird durch die KI-VO nicht definiert[15] und kann eine Vielzahl an Methoden bezeichnen, um Sprachmodelle zu individualisieren.[16] Dabei können die Parameter des vortrainierten Modells auf neue, spezifische Daten trainiert und angepasst werden.
In beiden Fällen muss begrifflich zwischen der Anbieterrolle für das KI-Modell und der für das KI-System differenziert werden. Da bei RAG keine Veränderung am KI-Modell selbst vorgenommen wird, entwickelt das Unternehmen kein eigenständiges KI-Modell und ist daher auch nicht als Anbieter des KI-Modells einzuordnen. Auch beim Finetuning wird sich dies – abhängig von der Art und Weise der Anpassung – vertreten lassen. Hier stellt sich jedoch regelmäßig die Frage, ab wann Änderungen der Parameter so schwerwiegend sind, dass im Ergebnis von einem neu oder wesentlich weiterentwickelten KI-Modell gesprochen werden und damit das Unternehmen als Anbieter des weiterentwickelten KIModells betrachtet werden muss. Das Merkmal „wesentliche Veränderung“ definiert die KI-VO nur im Zusammenhang mit KI-Systemen (vgl. Art. 3 Nr. 23 KI-VO). Die dortige Wertung lässt sich jedoch nach der hier vertreten Ansicht auch auf die Anpassung von KI-Modellen übertragen, so dass im Einzelfall geprüft werden muss, ob die Zweckbestimmung des Modells derart weitreichend geändert wurde, dass eine Neubewertung am Maßstab der KI-VO erforderlich wird. Soweit durch ein Finetuning beispielsweise nur besondere Begrifflichkeiten des Unternehmens übernommen werden sollen, wird die Grundstruktur des Modells nicht verändert und damit kein neues KI-Modell entwickelt
Damit eng verbunden ist die Frage, unter welchen Voraussetzungen das Unternehmen initial als Anbieter des gesamten KI-Systems einzuordnen ist. Stellt man auf den Wortlaut der Anbieterdefinition in Art. 3 Nr. 3 KI-VO ab, müsste das Unternehmen die Schwelle zum Entwickeln eines (neuen) KI-Systems überschreiten. Da die KI-VO selbst bei Hochrisiko-KI-Systemen eine Rollenänderung nur bei wesentlichen Veränderungen vorsieht (Art. 25 Abs. 1 lit. b) KI-VO, dazu unter II.2.), kann bei KI-Systemen unterhalb der Hochrisikoschwelle erst recht argumentiert werden, dass unwesentliche Änderungen nicht zu einer Rollenzuweisung nach Art. 3 Nr. 3 KI-VO führen.[17] Jedenfalls wenn ein Sprachmodell in eine vollständig eigenentwickelte Unternehmensanwendung integriert wird, entsteht aber originär ein KI-System, dessen Anbieter dann das Unternehmen ist.
Bezieht das Unternehmen dagegen ein KI-System mit allgemeinem Verwendungszweck für allgemeine Assistenztätigkeiten (etwa Recherche, Textzusammenfassung, Texterstellung) und passt es an, wird nach der hier vertretenen Ansicht RAG oder Finetuning nur in Ausnahmefällen dazu führen, dass das Unternehmen als Anbieter des KI-Systems einzuordnen ist. Häufig wird hier ein Argumentationsspielraum verbleiben, der bei Nichterfüllung der Anbieterpflichten aber zugleich mit einer gewissen Rechtsunsicherheit für Unternehmen verbunden ist.
II. Unbeabsichtigte Rollenänderungen nach Art. 25 KI-VO
Modifiziert wird die allgemeine Rollenzuweisung durch Art. 25 Abs. 1 KI-VO, der für Händler, Einführer, Betreiber oder sonstige Dritte (nachfolgend: „Beteiligte“) eine besondere Verantwortlichkeitszuweisung vorsieht. Die Norm soll Rechtssicherheit in den Fällen gewährleisten, in denen ein bereits in Verkehr gebrachtes oder in Betrieb genommenes KI-System derart verändert wird, dass die originäre Rollenzuweisung nicht mehr sachgemäß erscheint und daher eine andere Person alle einschlägigen Pflichten des Anbieters erfüllen sollte.[18] Die Modifikationen sind von erheblicher Praxisrelevanz.
1. Anbringen eines Namens oder einer Handelsmarke
Eine Rollenänderung tritt nach Art. 25 Abs. 1 lit. a) KI-VO für Beteiligte ein, die ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen. Name meint in diesem Zusammenhang die Kennzeichnung einer Person mit einer Identitätskennzeichnung, im deutschen Recht etwa bekannt aus dem Namensrecht in § 12 BGB oder der Firmenbezeichnung in § 17 HGB. Handelsmarke meint eine Unternehmenskennzeichnung im Sinne des Markenrechts. Das KI-System wird mit einem Namen oder einer Handelsmarke versehen, wenn das Kennzeichen innerhalb des KI-Systems oder der Begleitmaterialien (z.B. Betriebsanleitung) angebracht wird.[19] Unerheblich ist dabei, ob der Beteiligte mit dem Anbieter, der das KI-System ursprünglich in Verkehr gebracht oder in Betrieb genommen hatte, eine vertragliche Vereinbarung getroffen hat, die eine andere Aufteilung der Pflichten vorsieht. Die Rollenänderung in Art. 25 Abs. 1 lit. a) KI-VO ist nicht disponibel.
Die Rollenzuweisung ist für das Inverkehrbringen mit eigener Handelsmarke nachvollziehbar, da für einen Außenstehenden durch das Anbringen des Namens oder der Handelsmarke der Anschein entsteht, dass das KI-System insgesamt von dem kennzeichnenden Unternehmen stammt. Wenig überzeugend ist die Ausweitung dagegen beispielsweise, wenn ein Unternehmen eine KI-Anwendung nur intern in Betrieb nimmt und etwa bei der Einbindung einer KI-Chatlösung für Beschäftigte in das Intranet seine Handelsmarke anbringt. Denn in diesem Fall wird regelmäßig aus den Umständen des Einzelfalls für die Beschäftigten erkennbar sein, dass der Arbeitgeber nur ein unverändertes KI-System eines Drittanbieters zur Verfügung stellt.
Aus Praxissicht ist es bei einer Inbetriebnahme ratsam, das KI-System möglichst getrennt von eigenen Anwendungen zur Verfügung zu stellen und die Beschäftigten klar darauf hinzuweisen, dass die Anwendung eines Drittanbieters verwendet wird. Dies kann etwa in der Präambel zu den Nutzungsbedingungen oder in einem Praxisleitfaden erfolgen. Auf das Anbringen eines eigenen Namens oder einer Handelsmarke innerhalb des KI-Systems selbst sollte verzichtet werden.
2. Wesentliche Veränderung eines Hochrisiko-KISystems
Eine Rollenänderung tritt nach Art. 25 Abs. 1 lit. b) KI-VO für den Beteiligten auch dann ein, wenn er eine wesentliche Veränderung eines Hochrisiko-KI-Systems, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornimmt, dass es weiterhin ein Hochrisiko-KI-System bleibt. Dies führt zu einem Wechsel der Anbieterrolle, da dem ursprünglichen Anbieter das veränderte System nicht mehr zugerechnet werden kann.
Eine wesentliche Veränderung setzt voraus, dass die Veränderung in der vom bisherigen Anbieter durchgeführten ursprünglichen Konformitätsbewertung nicht vorgesehen oder geplant war. Des Weiteren muss die Veränderung die Konformität des KI-Systems mit den Anforderungen in Kapitel III Abschnitt 2 der KI-VO beeinträchtigen oder zu einer Änderung der Zweckbestimmung führen, für die das KI-System bewertet wurde (vgl. Art. 3 Nr. 23 KI-VO). Die Zweckbestimmung eines KISystems richtet sich nach dem tatsächlichen Einsatzgebiet der vom KI-System erzeugten Ausgabe („Output“).[20] Die Einordnung erfolgt nach der Konzeption der KI-VO durch den Anbieter des KI-Systems, der den Einsatzbereich antizipieren muss.[21]
Die Rollenänderung folgt in dieser Konstellation zum einen daraus, dass der ursprüngliche Anbieter wesentliche Änderungen nicht antizipieren kann und daher schutzbedürftig ist, da sein Ursprungssystem nach den Vorgaben der KI-VO ausgestaltet war. Zum anderen wird über die Figur des QuasiAnbieters eine Haftung desjenigen statuiert, der in der nachgelagerten Wertschöpfungskette die wesentliche Änderung vorgenommen hat.[22] In der Praxis sollte daher genau geprüft werden, ob Anpassungen an Hochrisiko-KI-Systeme zu einer wesentlichen Änderung führen (dazu schon oben unter I.4.).
3. Zweckänderung eines KI-Systems, die zur Einstufung als hochriskant führt
Eine ähnlich gelagerte Rollenänderung tritt nach Art. 25 Abs. 1 lit. c) KI-VO für Beteiligte ein, die die Zweckbestimmung eines KI-Systems, das nicht als hochriskant eingestuft und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändern, dass das KI-System zu einem Hochrisiko-KI-System wird. Anders als in der vorherigen Fallgruppe resultiert die Einordnung als Hochrisiko-KI-System erst aus der Vornahme der Zweckänderung durch die Beteiligten. Von der Fallgruppe umfasst ist auch eine Zweckänderung, die sich auf ein KI-System mit allgemeinem Verwendungszweck bezieht.
Sinn und Zweck der Norm ist die gewünschte Verantwortungsverschiebung auf den Beteiligten, der durch seine Veränderung das KI-System erstmals hochriskant macht. Eine Zurechnung der Verantwortung auf den ursprünglichen Anbieter wäre in diesem Fall unbillig, da sich die Veränderung außerhalb seiner Zweckbestimmung bewegt. Die Einhaltung der Vorgaben für Hochrisiko-KI-Systeme nach Art. 16 ff. KI-VO kann von diesem daher nicht eingefordert werden.
Noch nicht abschließend geklärt ist die Frage, wie eine solche Zweckänderung durch Beteiligte in der (Unternehmens-)Praxis zuverlässig ausgeschlossen werden kann. Da die Zweckbestimmung des KI-Systems nach dem tatsächlichen Einsatzgebiet des vom KI-System erzeugten Outputs erfolgt,[23] sollten Unternehmen jedenfalls darauf achten, dass die vom Anbieter vorgegebene Zweckbeschreibung an die das KI-System einsetzenden Beschäftigten weitergegeben wird. Soweit naheliegend ist oder später erkennbar wird, dass Beschäftigte die KI-Anwendung für andere Zwecke einsetzen, sollten technische und/oder organisatorische Maßnahmen ergriffen werden, um die zweckwidrige Anwendung zu verhindern. Da im Regelfall nicht allein durch technische Filter auf Input- oder Output-Ebene ausgeschlossen werden kann, dass sich eine Zweckänderung im Unternehmen etabliert, sollten technische Maßnahmen durch eine klare Zweckbeschreibung in Nutzungsrichtlinien oder Praxisanleitungen ergänzt und naheliegende Anwendungsszenarien außerhalb der ursprünglichen Zweckausrichtung ausdrücklich verboten werden.
4. Produkthersteller als Anbieter nach Art. 25 Abs. 3 KI-VO
Eine Modifikation bzgl. Hochrisiko-KI-Systemen, bei denen es sich um Sicherheitsbauteile von Produkten handelt, die unter die in Anhang I Abschnitt A KI-VO genannten Harmonisierungsvorschriften der Union fallen, enthält Art. 25 Abs. 3 KI-VO. Von dem Verweis umfasst sind u.a. Maschinen, Spielzeug, Funkanlagen, Druckgeräte und Medizinprodukte, die in den in Anhang I genannten Harmonisierungsrechtsvorschriften der Union genannt werden. „Sicherheitsbauteil“ meint dabei einen Bestandteil, der eine Sicherheitsfunktion erfüllt oder dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum gefährdet.[24]
Bei diesen speziellen Systemen gilt der Produkthersteller als Anbieter des Hochrisiko-KI-Systems und unterliegt den Pflichten nach Art. 16 KI-VO, soweit das Hochrisiko-KI-System zusammen mit dem Produkt unter dem Namen oder der Handelsmarke des Produktherstellers in Verkehr gebracht oder ein zuvor in Verkehr gebrachtes Produkt unter dem Namen oder der Handelsmarke des Produktherstellers in Betrieb genommen wird. Die Zuweisung der Rolle als Anbieter nach der KI-VO resultiert in diesem Fall aus dem kumulierten Risiko, das sich aus der jeweiligen Produktgruppe an sich und dem Einsatz hochriskanter KI-Systeme als Sicherheitsbauteil ergibt.
5. Rechtsfolgen einer Rollenänderung
Kommt es nach Art. 25 Abs. 1 KI-VO zu einer Rollenänderung, gilt der bisherige Anbieter, der das KI-System ursprünglich in Verkehr gebracht oder in Betrieb genommen hat, nicht mehr als Anbieter dieses spezifischen KI-Systems (vgl. Art. 25 Abs. 2 S. 1 KI-VO). Sofern er die Änderung des KI-Systems in ein Hochrisiko-KI-System nicht ausdrücklich ausgeschlossen hat, muss er jedoch mit dem neuen Anbieter eng zusammenarbeiten, diesem die erforderlichen Informationen zur Verfügung stellen und den vernünftigerweise zu erwartenden technischen Zugang und sonstige Unterstützung leisten, die für die Erfüllung der in der KI-VO festgelegten Pflichten erforderlich sind (vgl. Art. 25 Abs. 2 S. 2 KI-VO).[25] Davon abweichend führt die Verantwortungszuweisung in Art. 25 Abs. 3 KI-VO zwar zur Einordnung des Produktherstellers als Quasi-Anbieter. Anders als bei der Rollenänderung nach Art. 25 Abs. 1 i.V.m. Abs. 2 KI-VO, behält aber auch der Erstanbieter seine Rolle als Anbieter im Sinne der KI-VO. In diesem Fall treten die neuen Anbieterpflichten des Produktherstellers neben die weiterhin bestehenden Anbieterpflichten des Erstanbieters.
III. Berechtigtes Interesse (Art. 6 Abs. 1 S. 1 lit. f) DS-GVO) beim Training von KI-Modellen durch Scraping und Crawling
Im Zeitalter datengetriebener Geschäftsmodelle stellt das Training von KI-Modellen eine Kernkomponente der Entwicklung innovativer Anwendungen dar. Dies ist zum aktuellen Zeitpunkt noch für die wenigen Anbieter von KI-Systemen relevant, kann jedoch mit Blick auf die zunehmende Individualisierung von KI-Systemen auch für die breite Masse der Unternehmen an Relevanz gewinnen. Im Spannungsfeld zwischen Innovationsförderung und Schutz der Persönlichkeitsrechte steht dabei neben der erörterten Rollenverteilung nach der KI-VO die Frage im Mittelpunkt, auf welche datenschutzrechtlichen Grundlagen die Verarbeitung der Daten gestützt werden kann.
1. KI-Training mittels Scraping und Crawling
Gem. Art. 3 Nr. 29 KI-VO sind „Trainingsdaten“ Daten, die eingesetzt werden, um ein KI-System zu trainieren, indem die lernbaren Parameter des Systems angepasst werden. Trainingsdaten werden also genutzt, um ein KI-Modell in ein leistungsfähiges intelligentes Werkzeug zu verwandeln.[26] Um KI-Modelle mit Trainingsdaten zu versorgen, werden häufig Informationen aus dem Internet verwendet, die speziell aufbereitet wurden.[27] Hierfür kommen verschiedene Ansätze zur Datengewinnung infrage: Eine weit verbreitete Methode ist das gezielte Extrahieren von einzelnen Inhalten wie Texten, Bildern oder Videos aus Webseiten (sog. Scraping).[28] Eine andere Herangehensweise, bei der häufig nur Verweise auf Inhalte gespeichert werden, anstatt die Dateien selbst zu sichern, ist das sog. Crawling.[29]In der Regel werden beide Herangehensweisen kombiniert, um brauchbare Trainingsdaten zu erhalten.
Das Sammeln von Daten ist eine Grundvoraussetzung für die Entwicklung von KI-Modellen. Der Erfolg eines KI-Modells hängt maßgeblich von der Qualität der Trainingsdaten und dem Zugang zu diesen ab.[30] Vereinfacht lässt sich sagen: Wird eine größere Menge an Daten für das Training eingesetzt, erhöht dies in der Regel die Leistungsfähigkeit und reduziert mögliche unerwünschte Ausprägungen des Modells.[31] Daraus ergeben sich allerdings auch Implikationen für das Datenschutzrecht. Umso mehr Daten gesammelt werden, desto höher ist das Risiko, dass diese Personenbezug aufweisen.[32]Dieses Risiko ist bereits bei dem Sammeln von Trainingsdaten zu berücksichtigen. Es dürfte aber schwer zu kontrollieren sein, da die „Sammler“ der Daten meist unabhängig von den Entwicklern der KI-Modelle agieren[33].
2. Praxistaugliche Rechtsgrundlagen für das Training von KI
Da diese Prozesse im Rahmen des Trainings von KI-Modellen Datenverarbeitungen im Sinne der DS-GVO darstellen können, stellt sich die Frage, auf welche Rechtsgrundlage des Art. 6 Abs. 1 DS-GVO sie gestützt werden können.
Die Verarbeitung von Trainingsdaten kann auf eine Einwilligung (Art. 6 Abs. 1 S. 1 lit. a) DS-GVO) gestützt werden, sofern diese u. a. freiwillig, informiert und eindeutig erteilt wurde.[34] Theoretisch könnte damit auch jegliches Training von KI-Modellen auf eine solche Einwilligung der betroffenen Personengestützt werden. In der Praxis dürfte die Einwilligung aber meist ungeeignet sein, insbesondere bei automatisierten Datenerhebungen wie dem Scraping und Crawling.[35] Angesichts der Anzahl und der herausfordernden Bestimmbarkeit der betroffenen Personen fehlt im Regelfall schon die Möglichkeit, die Betroffenen entsprechend Art. 13 und 14 DS-GVO über die Verarbeitung zu informieren. Die erforderliche Kontaktaufnahme wäre kaum realisierbar.[36] Erschwerend kommt hinzu, dass eine Einwilligung jederzeit widerrufen werden kann, was umfangreiche und komplexe Löschpflichten nach sich ziehen würde.[37] Auch sind bei der Nutzung von KI-Systemen die genauen Verarbeitungsprozesse oft nicht vollständig nachvollziehbar.[38] Die DS-GVO fordert für eine wirksame Einwilligung jedoch eine transparente Information des Betroffenen über alle Verarbeitungsvorgänge, damit dieser die Folgen seiner Einwilligung einschätzen kann. Diese fehlende Transparenz, kombiniert mit rechtlichen und praktischen Hürden, macht die Einwilligung als Grundlage für die Verarbeitung personenbezogener Daten in solchen Szenarien weitgehend unpraktikabel.[39]
Entsprechendes gilt im Ergebnis für die Vertragsdurchführung als Rechtsgrundlage. Art. 6 Abs. 1 S. 1 lit. b) DS-GVO erlaubt eine Datenverarbeitung, soweit sie für die Erfüllung eines Vertrags, dessen Vertragspartei die betroffene Person ist, oder zur Durchführung vorvertraglicher Maßnahmen erforderlich ist. Im Regelfall wird weder dem Scraping noch dem Crawling ein Vertrag zugrunde liegen. Selbst wenn das Scraping und Crawling auf solche Online-Plattformen beschränkt wird, bei denen die Nutzungsverträge eine entsprechende Erlaubnis (etwa in Form einer Datenklausel) enthalten, müssten diese Datenverarbeitungsvorgänge nach jüngster Rechtsprechung für die Durchführung des Kernbereichs des Nutzungsvertrags objektiv unerlässlich sein. Andernfalls droht nach Ansicht der Rechtsprechung eine Umgehung der engen rechtlichen Vorgaben der Einwilligung.[40] Auch bei Online-Plattformen werden Scraping und Crawling aber wohl nicht für den Kernbereich des Nutzungsvertrages objektiv erforderlich sein.
3. Berechtigtes Interesse beim KI-Training
Die Verarbeitung personenbezogener Daten durch Datensammler und Entwickler von KI-Modellen kann nach Art. 6 Abs. 1 S. 1 lit. f) DS-GVO gerechtfertigt sein, wenn sie zur Wahrung berechtigter Interessen erforderlich ist und keine übergeordneten Rechte der betroffenen Personen entgegenstehen. Dies erfordert zum einen eine Prüfung, ob tatsächlich ein berechtigtes Interesse des Verantwortlichen vorliegt. Dies kann rechtlicher, wirtschaftlicher oder ideeller Natur sein.[41] Für kommerzielle Datensammler und Anbieter von KI-Modellen liegt dieses Interesse meist in der unternehmerischen Freiheit und der Verbesserung von KI-Modellen, während bei nicht-kommerziellen Akteuren häufig die Wissenschafts- oder Informationsfreiheit im Vordergrund steht.[42] Außerdem muss die Verarbeitung zur Verfolgung des berechtigten Interesses erforderlich sein, wobei das mildeste Mittel zu wählen ist.[43] Jedenfalls zur Schaffung eines grundlegenden Trainingsdatenpools dürfte die Erforderlichkeit begründbar sein.[44] Scraping und Crawling werden häufig als die effektivsten Methoden zur Datensammlung angesehen.[45] Ob anonymisierte oder synthetische Daten eine ausreichende Alternative darstellen, hängt vom konkreten Ziel des KI-Modells ab und lässt sich nicht pauschal beantworten.[46] Die vollständige Anonymisierung von Datensätzen ist in der Praxis aber oft schwer umsetzbar und stellt selbst eine rechtfertigungsbedürftige Verarbeitung dar.[47]
Darüber hinaus muss das Interesse des Datensammlers mit den Rechten und Interessen der betroffenen Personen abgewogen werden und überwiegen. Dabei spielen Faktoren wie die Art der gesammelten Daten, deren künftiger Verwendungszweck, die Wahrscheinlichkeit einer Identifikation der betroffenen Personen und die möglichen Folgen der Verarbeitung für die Betroffenen eine zentrale Rolle.[48] Besonders strenge Maßstäbe gelten, wenn schutzwürdige Gruppen wie Kinder betroffen sind.[49] Werden Daten freiwillig veröffentlicht, kann dies das Schutzinteresse der Betroffenen dagegen mindern, allerdings nur dann, wenn die Veröffentlichung eindeutig auf der Entscheidung der betroffenen Personen beruht.[50]
Im Ergebnis ist es damit grundsätzlich möglich, eine Verarbeitung personenbezogener Daten auf berechtigte Interessen gemäß Art. 6 Abs. 1 S. 1 lit. f) DS-GVO zu stützen. Ob die Interessen der Datensammler und Entwickler von KI-Modellen mit Blick auf den konkreten Datensatz aber überwiegen, ist eine Frage des Einzelfalls und mit Rechtsunsicherheit verbunden. Verantwortliche Stellen sollten vor diesem Hintergrund genau prüfen, welche Daten erfasst und zum anschließenden Training verwendet werden. Soweit möglich, sollten die verschiedenen Arten von Daten und Betroffenen in Fallgruppen zusammengefasst werden. Es sollten dann jene Fallgruppen identifiziert werden, bei denen von einem Überwiegen der eigenen Interessen ausgegangen wird und die geplanten Verarbeitungsvorgänge auf diese Fallgruppen beschränkt werden. Dieser Prozess sollte entsprechend dokumentiert werden (vgl. Art. 5 Abs. 2 DS-GVO).
IV. Transparenzpflichten bei der Verwendung KI-generierter Inhalte
Die Nutzung Künstlicher Intelligenz bei der Erstellung und Bearbeitung von Audio-, Bild-, Video- und Textinhalten hat in den letzten Jahren stark zugenommen. Mit der KI-VO wurden klare Transparenzpflichten für KI-erzeugte oder -manipulierte Inhalte eingeführt. Die Pflichten richten sich gemäß Art. 50 Abs. 2 KI-VO an Anbieter sowie gemäß Art. 50 Abs. 4 KI-VO an Betreiber von KI-Systemen, wobei im Folgenden nur die für Betreiber geltenden Transparenzvorgaben dargestellt werden. Ziel des Art. 50 Abs. 4 KI-VO ist es, eine Irreführung der Öffentlichkeit zu verhindern und die Nachvollziehbarkeit digitaler Inhalte zu gewährleisten.[51]
1. Aktueller Regelungsrahmen bei der Kennzeich‑ nung von KI-generierten Inhalten
Bis zum Inkrafttreten der KI-VO gab es auf europäischer Ebene keine einheitlichen Vorgaben zur Kennzeichnung von Inhalten, die mit KI erstellt oder verändert (nachfolgend: „KIgeneriert“) wurden. Einzelne nationale Vorschriften, freiwillige Verpflichtungen bestimmter Branchen oder Vorgaben von Plattformen bieten lediglich punktuelle Ansätze. Dies führt zu einer mangelnden Transparenz, die besonders im Zusammenhang mit täuschend echten KI-generierten Inhalten, wie etwa Deepfakes, problematisch ist. Eine Studie zeigt, dass allein im Jahr 2023 über 95.000 Deepfake-Videos online verfügbar waren, von denen ein Großteil für die Verbreitung manipulativer oder schädlicher Inhalte genutzt wurde.[52] Die Dunkelziffer dürfte deutlich größer sein. Die mittlerweile einfache Zugänglichkeit solcher Technologien verschärft die damit verbundenen Risiken.[53]
2. Kennzeichnungspflichten bei Deepfakes
Wenn Bild-, Ton- oder Videoinhalte künstlich erzeugt oder manipuliert wurden und diese zugleich Deepfakes darstellen, muss der Betreiber dies gemäß Art. 50 Abs. 4 UAbs. 1 S. 1 KI-VO offenlegen. Voraussetzung für die Annahme einer solchen Kennzeichnungspflicht ist zunächst, dass die Erzeugung oder Manipulation durch ein KI-System i.S.d. Art. 3 Nr. 1 KI-VO erfolgt. Einfache Bildbearbeitungsprogramme, die beispielsweise Lichtverhältnisse optimieren, ohne KI-Funktionalitäten nach der Legaldefinition zu enthalten, unterliegen daher von vornherein nicht den Kennzeichnungspflichten nach Art. 50 KI-VO.[54]
Unterstellt man das Vorliegen eines entsprechenden KISystems, muss dieses System wiederum Bild-, Ton- oder Videoinhalte erzeugen oder manipulieren. Ein „Erzeugen“ im Sinne der Norm liegt vor, wenn ein Medieninhalt künstlich erstellt wird, beispielsweise durch den Einsatz von KI-basierten Bildgeneratoren.[55] Eine „Manipulation“ liegt vor, wenn ein ursprünglich authentischer Medieninhalt nachträglich gezielt verändert wird, etwa durch Technologien wie dem audiovisuellen „Gesichtertausch“.[56]
Die so erzeugten oder manipulierten Inhalte müssen zudem einen „Deepfake“ darstellen. Nach der Definition in Art. 3 Nr. 60 KI-VO bezeichnet ein Deepfake „einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“. Ein Deepfake kann damit nur bei Darstellungen vorliegen, die den Eindruck von Authentizität erwecken sollen. Wenn es sich bei dem Inhalt um „Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms“[57] handelt, ist die Pflicht zur Kennzeichnung abgeschwächt. Die Kennzeichnungspflicht gilt zudem nicht in den Ausnahmefällen des Art. 50 Abs. 4 UAbs. 2 S. 2 KI-VO, etwa im Bereich der gesetzlich erlaubten Prävention oder Verfolgung von Straftaten.
Zur Veranschaulichung werden im Folgenden drei Beispiele im Kontext des Art. 50 Abs. 4 UAbs. 1 KI-VO beleuchtet. Für diesen Zweck wird unterstellt, dass ein Unternehmen ein Bildbearbeitungsprogramm einsetzt, welches ein KI-System im Sinne der KI-VO darstellt:
Im ersten Beispiel schneidet ein Unternehmen automatisiert Teile eines Bildes in einem Bildbearbeitungsprogramm mit einem „KI-Lasso“ aus. Dabei wird das Abbild des Gesichtes eines Beschäftigten unverändert aus der Umgebung herausgelöst und daraus ein Profilbild mit weißem Hintergrund erstellt. Da der Eingriff nicht zu einer vollständigen Neuerstellung eines Bildes führt, sondern eine Änderung des Ursprungsmaterials herbeiführt, kann argumentiert werden, dass keine Erzeugung im Sinne des Art. 50 Abs. 4 UAbs. 1 KI-VO vorliegt. Da ein ursprünglich authentischer Medieninhalt (hier: das Ursprungsfoto) nachträglich verändert wird (hier: durch Änderung des Hintergrunds), könnte aber eine Manipulation vorliegen. Eine Kennzeichnungspflicht erfordert aber zusätzlich, dass es sich um einen Deepfake i.S.d. Art. 3 Nr. 60 KI-VO handelt. Soweit auf dem neu erstellten Foto die auf dem Porträt abgebildete Person unverändert dargestellt ist und durch die Änderung des Hintergrunds der Kontext nicht so verändert wird, dass dem Bild dadurch ein neuer Aussagegehalt zukommt, dürfte kein Deepfake vorliegen und keine Kennzeichnungspflicht bestehen. Etwas anderes könnte anzunehmen sein, wenn das Abbild des Beschäftigten nicht vor einen weißen Hintergrund, sondern vor das Bild eines anderen Ortes gesetzt wird und suggeriert würde, die Person habe sich tatsächlich an dem abgebildeten Ort aufgehalten (etwa bei einer vermeintlichen Vor-Ort-Berichterstattung eines Reporters).
In einem zweiten Beispiel soll eine Anzeige zur Bewerbung des örtlichen Weihnachtsmarktes erstellt werden. Dazu wird ein KI-generiertes Bild von Weihnachtsmarkständen eingefügt, die aus einem Foto eines großen, überregionalen Weihnachtsmarktes herausgelöst und anschließend nahtlos in die Kulisse des regionalen Weihnachtsmarktes integriert wurden. Das Endergebnis ist fotorealistisch und soll den Eindruck vermitteln, dass es sich bei der Darstellung um den diesjährigen örtlichen Weihnachtsmarkt handelt. In diesem Fall wird ein Deepfake i.S.d. Art. 50 Abs. 4 UAbs. 1 KI-VO von einer KI erzeugt. Es besteht eine Kennzeichnungspflicht.
In einem dritten Beispiel sollen Videos und Fotos für virtuelle Welten durch KI erstellt und in einem Computerspiel verwendet werden. Diese Inhalte sind zwar durch eine KI erzeugt. Soweit die virtuelle Welt als fiktiv erkennbar ist und keine real existierenden Orte, Objekte oder Einrichtungen abbilden soll, sind die Inhalte bereits nicht geeignet, den Eindruck von Echtheit zu erwecken. Es handelt sich nicht um ein Deepfake, sodass auch keine Kennzeichnungspflicht nach Art. 50 Abs. 4 UAbs. 1 KI-VO besteht.
3. Kennzeichnungspflichten bei Textinhalten
Für KI-generierte Textinhalte kann nach Art. 50 Abs. 4 UAbs. 2 S. 1 KI-VO eine Kennzeichnungspflicht bestehen. Danach müssen „Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, […] offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde.“ Entscheidend bei der Prüfung einer Kennzeichnungspflicht für Texte ist zunächst das Merkmal der „Öffentlichkeit“ und die Frage, welche Inhalte „Angelegenheiten des öffentlichen Interesses“ betreffen. Die KI-VO konkretisiert dies nicht. Nach allgemeinem Sprachgebrauch ist „Öffentlichkeit“ – im Gegensatz zur Privatsphäre – der Bereich, der einem zahlenmäßig nicht überschaubaren Personenkreis zugänglich ist, wie etwa Print- oder soziale Medien. Bei Letzteren kann – zumindest bei großen Plattformen mit zahlreichen Mitgliedern – auch die Plattformöffentlichkeit genügen.[58] Nicht von einer Kennzeichnungspflicht umfasst sind damit Textinhalte, die nur einem beschränkten Personenkreis zugänglich gemacht werden, wie Beiträge im Intranet. Angelegenheiten von öffentlichem Interesse dürften angesichts des bezweckten Schutzes der öffentlichen Meinungsbildung jedenfalls gesellschaftsrelevante Themen zu Politik, Wirtschaft und Kultur sein.[59]
Auch für diese Kennzeichnungspflicht greifen nach Art. 50 Abs. 4 UAbs. 2 S. 2 KI-VO Ausnahmen: „Diese Pflicht gilt nicht, […] wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.“ Ausnahmetatbestände sind aufgrund des gesetzlich festgelegten Regel-Ausnahme-Prinzips grundsätzlich eng auszulegen.[60] Gleichzeitig sollte aus Praxissicht eine ausufernde Kennzeichnungspflicht vermieden werden. Welche Anforderungen an die menschliche Überprüfung oder redaktionelle Kontrolle zu stellen sind, wird in den kommenden Jahren durch Aufsichtsbehörden und Gerichte konkretisiert werden müssen. Nach der hier vertretenen Auffassung ist es ausreichend, dass der KI-generierte Text zumindest kursorisch korrekturgelesen wird. Von einer redaktionellen Verantwortungsübernahme dürfte bei Veröffentlichungen im Internet beispielsweise schon dann ausgegangen werden, wenn ein Hinweis zur Autorenschaft am Artikel angebracht ist.
Zur Veranschaulichung sollen auch hier zwei Beispiele aus der Praxis aufgeführt werden: In einem ersten Beispiel nutzt ein Redakteur einer Tageszeitung ein KI-System, um die Überschrift und eine knappe Zusammenfassung eines Artikels zu politischen Ereignissen, etwa zu anstehenden Neuwahlen, zu erstellen. Die Überschrift und die Zusammenfassung werden seitens der Redaktion überblicksartig auf Plausibilität geprüft. In diesem Fall werden KI-erzeugte Textinhalte verwendet, um die Öffentlichkeit über eine Angelegenheit von öffentlichem Interesse zu informieren. Soweit der Artikel auf der Webseite der Tageszeitung in deren Verantwortung publiziert wird und vor Veröffentlichung einer – wenn auch nur überblicksartigen – menschlichen Prüfung unterzogen wurde, greift nach der hier vertretenen Ansicht die gesetzliche Ausnahme in Art. 50 Abs. 4 UAbs. 2 S. 2 KI-VO. Eine Kennzeichnungspflicht besteht dann nicht.
In einem zweiten Beispiel will ein Unternehmen Produkte in einem Online-Shop mit Beispielstexten bewerben. Diese Beispielstexte werden mittels eines KI-Systems generiert und nicht durch einen Menschen kontrolliert. Da in diesem Beispiel aber keine Angelegenheiten des öffentlichen Interesses betroffen sind, sondern die Veröffentlichung ausschließlich dem kommerziellen Eigeninteresse des Unternehmens dient (hier: anschauliche Darstellung der Produkte im Online-Shop), besteht keine Kennzeichnungspflicht für die Texte nach Art. 50 Abs. 4 UAbs. 2 S. 1 KI-VO.
4. Handlungsempfehlung für die Praxis
Betreiber von KI-Systemen, welche KI-generierte Inhalte nutzen, sollten hierfür klare Abläufe schaffen. Für den Umgang mit KI-generierten Inhalten bieten sich interne Praxisleitfäden an. Beschäftigte, die mit solchen Inhalten umgehen, sollten zudem für die soeben dargestellten, zentralen Weichenstellungen bei der Ermittlung einer Kennzeichnungspflicht sensibilisiert werden. Die Voraussetzungen, insbesondere das Merkmal des Deepfakes, sind anschaulich zu erläutern. Bei Texten ist es erforderlich, die Veröffentlichungszwecke in die Prüfung miteinzubeziehen und Vorgaben für eine menschliche Prüfung zu formulieren. Zuletzt sollte ein Prozess implementiert werden, um in Grenzfällen die Kennzeichnungspflichten im Einzelfall zu bewerten.
V. Fazit
Der nach der KI-VO einzuhaltende Pflichtenkatalog richtet sich insbesondere nach der initialen Einordnung als Anbieter oder Betreiber. Während Anbieter Adressaten zahlreicher Verpflichtungen in der KI-VO sind, ist das Pflichtenprogramm für Betreiber recht überschaubar. Im Regelfall werden Unternehmen, die KI-Systeme nur als Arbeitserleichterung einsetzen wollen, die Einordnung als Anbieter vermeiden wollen. Dies setzt voraus, dass sie sich intensiv mit dem Rollenverständnis der KI-VO auseinandersetzen. Werden fremde KI-Systeme individualisiert, sollte vorab geprüft werden, ob dies Einfluss auf die Rollenzuweisung nach der KI-VO hat. Entsprechendes gilt beim Anbringen eines Namens oder einer Handelsmarke sowie bei Veränderungen oder Zweckänderungen eines KI-Systems.
Sofern KI-Modelle mit durch Scraping oder Crawling erlangten Daten trainiert werden, werden regelmäßig personenbezogene Daten verarbeitet. Dann ist nach dem Erlaubnisvorbehalt der DS-GVO eine Rechtsgrundlage für die Datenverarbeitung erforderlich. Eine Einwilligung oder die gesetzliche Rechtsgrundlage der Erforderlichkeit für die Vertragsdurchführung sind im Regelfall keine praktikablen Rechtsgrundlagen. Soweit überwiegende berechtigte Interessen der datenverarbeitenden Stelle herangezogen werden, muss im Einzelfall geprüft und dokumentiert werden, dass deren eigene Interessen tatsächlich überwiegen. Sollten besondere Datenkategorien im Sinne der DS-GVO (etwa Gesundheitsdaten) einbezogen werden, scheidet diese Rechtsgrundlage dagegen aus.
Für KI-generierte Inhalte sieht die KI-VO umfassende Kennzeichnungspflichten vor. Bei Bild-, Ton- und Videoinhalten bestehen derartige Pflichten, soweit die Inhalte durch KI erzeugt oder manipuliert sind und es sich um Deepfakes handelt. Bei KI-generierten Texten besteht eine Kennzeichnungspflicht, soweit der Inhalt durch KI erzeugt oder manipuliert wird und mit den Inhalten die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse informiert werden. Für die Kennzeichnungspflichten sieht die KI-VO weitreichende Ausnahmen vor, die in der Praxis eine große Rolle spielen werden. Betreiber von KI-Systemen sollten klare Regeln für Beschäftigte definieren, damit diese die neuen Pflichten und Ausnahmen kennen und die Vorschriften in der Praxis umsetzen können.
Dr. Clemens Birkert
ist Rechtsanwalt und Partner bei OPPENLÄNDER
Rechtsanwälte in Stuttgart.
Er ist spezialisiert auf Fragen des
IT- und Datenschutzrechts sowie der
Künstlichen Intelligenz.
David Pfau
ist Geschäftsführer bei conreri und im
Herausgeberbeirat der Zeitschrift für
Europäisches Daten- und Informationsrecht
(EuDIR)
[1] So ErwG 179 S. 2 KI-VO.
[2] Vgl. dazu Borges, CR 2024, 565, 572.
[3] Vgl. Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 3 KI-VO Rn. 63; Borges, CR 2024, 565, 572; von Weiser, GRUR-Prax 2024, 485, 487.
[4] So auch Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 3 KI-VO Rn. 63 mit Erläuterungen zu den relevanten Definitionen
[5] Art. 2 Abs. 1 lit. a) KI-VO.
[6] Art. 3 Nr. 3 a.E. KI-VO.
[7] Zur Kritik vgl. auch Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 3 KI-VO Rn. 81.
[8] Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 3 KI-VO Rn. 82.
[9] So auch Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 3 KI-VO Rn. 84.
[10] Art. 3 Nr. 1 KI-VO.
[11] Ausführlich dazu Keppeler/Thomas, ITRB 2024, 320, die das Merkmal der „Anpassungsfähigkeit“ und des „autonomen Betriebs“ als „Rettungsanker“ bei der Abgrenzung zur herkömmlichen Software herausarbeiten.
[12] Art. 3 Nr. 63 KI-VO.
[13] Vgl. dazu ErwG 97 KI-VO: „KI-Modelle mit allgemeinem Verwendungszweck können auf verschiedene Weise in Verkehr gebracht werden, unter anderem über Bibliotheken, Anwendungsprogrammierschnittstellen (API), durch direktes Herunterladen oder als physische Kopie. Diese Modelle können weiter geändert oder zu neuen Modellen verfeinert werden. Obwohl KI-Modelle wesentliche Komponenten von KI-Systemen sind, stellen sie für sich genommen keine KI-Systeme dar. Damit KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich. KI-Modelle sind in der Regel in KI-Systeme integriert und Teil davon.“
[14] Vgl. Blum/Rappenglück, CR 2024, 626, 632.
[15] Vgl. dazu nur ErwG 97 S. 5.
[16] Dazu Blum/Rappenglück, CR 2024, 626, 631.
[17] Andererseits stellt ErwG 97 KI-VO klar: „KI-Modelle mit allgemeinem Verwendungszweck können auf verschiedene Weise in Verkehr gebracht werden, unter anderem über Bibliotheken, Anwendungsprogrammierschnittstellen (API), durch direktes Herunterladen oder als physische Kopie. Diese Modelle können weiter geändert oder zu neuen Modellen verfeinert werden.“.
[18] Vgl. ErwG 84 KI-VO.
[19] Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 25 KI-VO Rn. 12.
[20] Ausführlich dazu Borges, CR 2024, 565, 568 ff.
[21] Borges, CR 2024, 565, 569.
[22] Vgl. Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 25 KI-VO Rn. 12.
[23] Ausführlich dazu Borges, CR 2024, 565, 568 ff.
[24] Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 3 KI-VO Rn. 149.
[25] Vgl. auch ErwG 86 KI-VO.
[26] Dieker, ZD 2024, 132, 132.
[27] Hacker, GRUR 2020, 1025, 1026.
[28] Pukas, GRUR 2023, 614, 614
[29] Jandt/Steidle, Datenschutz im Internet, 1. Aufl. 2018, A.I.3. Rn. 28.
[30] Paal, ZfDR 2024, 129, 130.
[31] Paal, ZfDR 2024, 129, 130
[32] Dieker, ZD 2024, 132, 133; Paal, ZfDR 2024, 129, 131.
[33] Zech, NJW 2022, 502, 504.
[34] Paal, ZfDR 2024, 129, 148.
[35] Paal, ZfDR 2024, 129, 148.
[36] Paal, ZfDR 2024, 129, 148; LfDI BW, Diskussionspapier: Rechtsgrundlagen im Datenschutz beim Einsatz von KI, Vers. 2, S. 14.
[37] LfDI BW, Diskussionspapier: Rechtsgrundlagen im Datenschutz beim Einsatz von KI, Vers. 2, S. 14.
[38] Dieker, ZD 2024, 132, 133.
[39] Vgl. LfDI BW, Diskussionspapier: Rechtsgrundlagen im Datenschutz beim Einsatz von KI, Vers. 2, S. 15; Dieker ZD 2024, 132, 134
[40] Vgl. dazu ausführlich EuGH, Urteil v. 04.07.2023, Az. C-252/21, GRUR 2023, 1131, 1139.
[41] Paal, ZfDR 2024, 129, 149
[42] Paal, ZfDR 2024, 129, 150; Dieker, ZD 2024, 132, 134.
[43] LfDI BW, Diskussionspapier: Rechtsgrundlagen im Datenschutz beim Einsatz von KI, Vers. 2, S. 22.
[44] Vgl. Paal, ZfDR 2024, 129, 150.
[45] Dieker, ZD 2024, 132, 134.
[46] Dieker ZD 2024, 132, 134.
[47] Dieker ZD 2024, 132, 134.
[48] Dieker ZD 2024, 132 (134); vgl. LfDI BW, Diskussionspapier: Rechtsgrundlagen im Datenschutz beim Einsatz von KI, Vers. 2, S. 23.
[49] LfDI BW, Diskussionspapier: Rechtsgrundlagen im Datenschutz beim Einsatz von KI, Vers. 2, S. 23.
[50] Vgl. Hessel/Dillschneider, RDi 2023, 458 (461); Franke, RDi 2023, 565, 567
[51] Vgl. ErwG 133 VO 2024/1689.
[52] Kumkar/Griesel, KIR 2024, 117, 118.
[53] Vgl. Kumkar/Griesel, KIR 2024, 117, 117.
[54] Vgl. ErwG 12 VO 2024/1689; Kumkar/Griesel, KIR 2024, 117, 119.
[55] Kumkar/Griesel, KIR 2024, 117, 119.
[56] Kumkar/Griesel, KIR 2024, 117, 119.
[57] Art. 50 Abs. 4 UAbs. 1 S. 3 KI-VO.
[58] Vgl. Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 3 KI-VO Rn. 113.
[59] Vgl. auch: Wendehorst, in: Martini/Wendehorst, KI-VO: Verordnung über die Künstliche Intelligenz, 1. Aufl. 2024, Art. 3 KI-VO Rn. 113.
[60] Beispielhaft zum Informationsfreiheitsgesetz: BVerwG, Urteil v. 27.11.2014 –7 C 20/12, NVwZ 2015, 669, 671.