Aufsatz : Deepfake-Fatigue ante portas? Hypertrophe Kennzeichnungspflicht nach Art. 50 Abs. 4 KI-VO : aus der RDV 3/2025, Seite 137 bis 143

II. Transparenz- und Kennzeichnungspflichten der KI-Verordnung

Mit dem Inkrafttreten der KI-Verordnung am 1. August 2024 wollte der europäische Gesetzgeber einen wesentlichen Schritt unternehmen, um diese Technologie durch ein zukunftssicheres und innovationsförderndes Produktsicherheitsgesetz auf Basis eines risikobasierten Ansatzes zu regulieren. Eine zentrale Rolle spielte dabei auch die Sicherstellung einer angemessen nachvollziehbaren und erklärbaren – und damit transparenten – Entwicklung sowie Nutzung von KISystemen. Diese Transparenzpflichten erstrecken sich entlang des gesamten Lebenszyklus von KI-Systemen:^[17] Neben der inneren Opazität, umgesetzt etwa durch umfassende Dokumentationspflichten für die Anbieter, verlangt die KI-VO auch die Erkennbarkeit der KI-Systeme und ihrer Produkte für Dritte, primär geregelt in Art. 50 KI-VO.

1. Grundstruktur der Kennzeichnungspflichten

Die dort verankerten Kennzeichnungspflichten entfalten ihre Geltungskraft ab dem 2. August 2026 und greifen, sobald – im Einklang mit dem intendierten Brussels effect^[18] – ein hinreichender Unionsbezug gemäß Art. 2 Abs. 1 KI-VO besteht, etwa durch die Inbetriebnahme des KI-Systems innerhalb der EU (lit. a)) oder die Ausspielung der von der KI erzeugten Ausgaben, insbesondere Deepfakes, im Hoheitsgebiet der EU (lit. b)).

Art. 50 KI-VO normiert dabei in seinen ersten beiden Absätzen die Kennzeichnungspflichten für Anbieter von KISystemen: Abs.  1 verpflichtet zur klaren Erkennbarkeit von KI-Systemen, sofern diese für die direkte Interaktion mit Menschen konzipiert sind – insbesondere in Form von Chatbots oder anderen virtuellen Assistenten.^[19]Abs. 2 dehnt die Kennzeichnungspflicht für Anbieter dahingehend aus, dass diese verpflichtet sind, die durch ihre KI-Systeme generierten Ergebnisse – seien es audio-visuelle oder textuelle Inhalte – (technisch) erkennbar als solche auszuweisen.

Darüber hinaus nimmt Art.  50 KI-VO auch Betreiber von KI-Systemen in die Pflicht. Neben Offenlegungspflichten für Systeme zur Emotionserkennung und zur biometrischen Kategorisierung (Abs.  3) verlangt insbesondere der zentrale Abs. 4, dass die von der KI erzeugten oder manipulierten Medieninhalte – die Deepfakes – gegenüber den Rezipienten als solche erkennbar gemacht werden. Nach Art.  3 Nr.  4 KI-VO erstreckt sich diese Verpflichtung auf alle Personen, die ein KI-System in eigener Verantwortung verwenden – kurz den Nutzer der KI.^[20] Ausgenommen hiervon bleibt lediglich die Nutzung im Rahmen einer persönlichen und nicht beruflichen Tätigkeit, wobei diese Ausnahme, in Anlehnung an die datenschutzrechtliche Haushaltsausnahme nach Art. 2 Abs. 2 lit. c) DS-GVO, einer restriktiven Auslegung unterliegen dürfte.^[21]

2. Schutzrichtung der Kennzeichnungspflichten

Der grundlegende Gedanke vorstehender Transparenzverpflichtungen besteht darin, Personen darüber zu informieren, wenn sie mit KI-Systemen interagieren oder in sonstiger Weise damit in Berührung kommen, indem die von der KI generierten Inhalte gekennzeichnet und auf ihren künstlichen Ursprung hingewiesen werden (ErwG 134 S. 1).^[22]Art. 50 KI-VO verfolgt daher das Ziel, die Integrität des Informationsökosystems sowie das ihm entgegengebrachte Vertrauen zu wahren (ErwG 133 S. 2) und dadurch die Adressaten von KI-Inhalten vor Täuschung, Betrug oder sonstigem Missbrauch zu schützen (ErwG 132 S. 1). Folglich erfüllt Art. 50 KI-VO sowohl eine Warn- und Hinweis- als auch eine Schutzfunktion gegenüber KI-generierten oder manipulierten Inhalten. Diese Schutzwirkung richtet sich dabei primär an die Rezipienten – die „betreffenden natürlichen Personen“ gem. Art. 50 Abs. 5 KI-VO – der KI-Inhalte, nicht jedoch an die Geschädigten oder Betroffenen durch diese Inhalte.^[23] Damit hat sich der europäische Gesetzgeber bewusst für die (gekennzeichnete) Nutzung generativer KI-Technologie entschieden und gegen ein universelles Verbot von Deepfakes im Sinne von Art. 5 KI-VO bzw. gegen eine Einstufung dieser Technologie als Hochrisiko-KI-System nach Art. 6 KI-VO.^[24]

III. Problemaufriss: Hypertrophe Kennzeichnungspflicht ante portas

Die regulatorische Pflicht zur Kennzeichnung von KI-generierten oder manipulierten Medieninhalten hängt untrennbar mit der Bestimmung des Regelungsgegenstandes – den „Deepfakes“ – zusammen. Die KI-VO definiert diesen Begriff in Art. 3 Nr. 60 KI-VO als „einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“.

1. Unbestimmtheit des Deepfake-Tatbestands

Die Legaldefinition stützt sich damit auf vier zentrale Elemente: Erstens beschränkt sie sich ausdrücklich auf audio-visuelle Medieninhalte. Dadurch erfolgt eine klare Abgrenzung gegenüber der Generierung oder Veränderung von Texten oder anderen textbasierten Daten (z.B. Software), die dabei von Art. 50 Abs. 4 UAbs. 2 KI-VO erfasst werden.^[25] Zweitens müssen die Bild-, Ton- oder Videoinhalte durch ein KI-System erzeugt oder manipuliert worden sein. Der zentrale Verordnungsbegriff des KI-Systems wird in Art. 3 Nr. 1 KI-VO definiert. Dieses System muss entweder die Bild-, Ton- oder Videoinhalte vollständig neu generieren und synthetisch erschaffen (Alt. 1) oder es bearbeitet eine bereits bestehende, authentische Bild-, Ton- oder Videodatei, wodurch diese verändert oder verfremdet wird, ohne dass der grundlegende Inhalt des Mediums geändert wird (Alt. 2).^[26] Das Ergebnis dieses Prozesses muss drittens eine Ähnlichkeit mit einer wirklichen Entität, sei es eine Person, ein Gegenstand, ein Ort, eine Einrichtung oder ein Ereignis, aufweisen und dabei viertens den Rezipienten fälschlicherweise als echt oder wahrheitsgemäß erscheinen lassen. Damit kommt es nicht auf die Intention des Betreibers hinsichtlich einer Täuschung von Dritten (Täuschungsabsicht) an, sondern auf den objektiven Empfängerhorizont des Deepfakes (Täuschungspotenzial).

In ihrem ursprünglichen Gesetzesvorschlag sprach die Kommission noch von „minimalen Transparenzpflichten“ für Deepfakes.^[27]Der nun verabschiedete Wortlaut der Regelung hingegen lässt eine deutlich weitergehende Auslegung zu:^[28] Art. 50 Abs. 4 UAbs. 1 KI-VO verpflichtet zur Kennzeichnung sämtlicher audio-visuellen Inhalte, unabhängig davon, ob diese vollständig durch KI generiert oder lediglich durch KI-Systeme unterstützt bzw. assistiert wurden. Die Regelung differenziert dabei nicht zwischen dem betroffenen Bezugsobjekt („wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen“), dem Beeinflussungsgrad („durch KI erzeugten oder manipulierten“), dem Kommunikationsmedium („Bild-, Ton- oder Videoinhalt“) oder dem Täuschungscharakter („einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“).

Der offene und undifferenzierte Gesetzeswortlaut begünstigt damit ein „weites Verständnis der Tatbestandsvoraussetzungen“.^[29]Die Folge wäre jedoch eine überbordende Kennzeichnungspflicht für sämtliche audio-visuellen KI-Inhalte mit erheblichen Auswirkungen auf Betreiber, Rezipienten und die zugrunde liegende Technologie selbst.

2. Gefahren einer überschießenden Kennzeichnungspflicht

Ein anschauliches Beispiel für die Problematik bietet das Phänomen der Cookie-Banner. Hier hat sich gezeigt, dass eine stetige Exposition der Rezipienten gegenüber Warn- oder Hinweismeldungen den diametralen Effekt erzielt: Es stellt sich eine Müdigkeit und Wahrnehmungsblindheit gegenüber diesen Hinweisen ein – eine „Banner Blindness“.^[30] Werden nun Medieninhalte zunehmend – sowohl für die digitale als auch für die analoge Welt – unter dem Einfluss von KI-Systemen erstellt, droht der ursprüngliche Zweck der Kennzeichnungspflicht, nämlich die Empfänger darüber zu informieren, dass sie KI-Produkten ausgesetzt sind, durch ein einsetzendes „KI-Banner Blindness“verwässert und ausgehöhlt zu werden.^[31] Es kommt zu einem technikaversen Deepfake-Fatigue der Rezipienten.

Doch selbst wenn die Kennzeichnung wahrgenommen wird, bedeutet dies nicht zwangsläufig, dass hieraus die richtigen Schlüsse gezogen werden: Studien zeigen, dass nicht gekennzeichnete Inhalte von den Rezipienten als vertrauenswürdiger wahrgenommen werden als gekennzeichnete Inhalte; Nutzer schreiben nicht gekennzeichneten Inhalten zudem einen höheren Wahrheitsgehalt zu – sie nehmen an, dass nicht gekennzeichnete Inhalte „echt“ seien, während gekennzeichnete Inhalte als weniger authentisch gelten („implied trust/truth effect“).^[32] Dabei macht die Kennzeichnungspflicht lediglich kenntlich, ob ein audio-visueller Inhalt unter Einfluss von KI-Systemen erstellt wurde – sei es durch synthetische Generierung oder durch bloße assistierende Bearbeitung. Die Kennzeichnung könnte damit paradoxerweise die angestrebte Integrität des Informationsökosystems untergraben, indem sie die Authentizität gekennzeichneter Inhalte infrage stellt und zugleich bei ungekennzeichneten Inhalten ein chimärisches Gefühl von Vertrauenswürdigkeit erzeugt.

Diese Undifferenziertheit in der Kennzeichnungspflicht führt letztlich auch zu einer Gleichstellung kreativwirtschaftlicher Qualitätsinhalte mit KI-generierten Inhalten – ein Effekt, den der europäische Gesetzgeber durch den Schutz des Informationsökosystems ebenso verhindern wollte. Stattdessen sollte die Kennzeichnungspflicht gerade die Möglichkeit eröffnen, menschliche Kreativleistungen in Zeiten zunehmender KI-Inhalte hervorzuheben und einer Gleichsetzung aus mit urheberrechtlich fragwürdigen Datensätzen erstellten Deepfakes (im eigentlichen Sinne) entgegenzutreten.^[33]

IV. Lösungsvorschlag: Normzweckorientierte Kennzeichnungspflicht

Die drohende Gefahr einer hypertrophen Kennzeichnungspflicht für KI-Inhalte zeigt, dass eine ausgewogene Regulierung unerlässlich ist. Statt in einer puristischen Lesart der Norm eine maximale Kennzeichnungspflicht zu fordern, sind ausgeglichene Interpretationsansätze hinsichtlich der einzelnen Deepfake-Kriterien erforderlich, die einerseits zur Erreichung des Regelungszwecks – der Warn-, Hinweis- und Schutzfunktion vor KI-generierten oder manipulierten Inhalten – beitragen, andererseits der Praxis klare Leitlinien für die Kennzeichnungsobligation bieten und dabei zugleich hinreichenden Spielraum zur sachgerechten Anwendung im Einzelfall bieten. Dies ist angesichts des hohen Strafrahmens bei einem Verstoß gegen die Kennzeichnungspflicht nach Art. 99 Abs. 4 lit. g) KI-VO auch zwingend notwendig.

1. Beeinflussungsgrad: Keine Kennzeichnungspflicht bei assistierender KI-Anwendung

Zunächst sollten rein assistierende KI-Anwendungen von der Kennzeichnungspflicht nach Art. 50 Abs. 4 UAbs. 1 KI-VO ausgenommen werden. Hierunter fällt der Einsatz von KI zur Bearbeitung von Medieninhalten in einer rein unterstützenden Funktion, die lediglich der Automatisierung manueller Prozesse oder der Optimierung mechanischer Arbeitsschritte dient, ohne dabei die kreative Eigenleistung zu ersetzen oder die inhaltliche Substanz und Aussagekraft des Medieninhalts zu verändern. Typische Beispiele hierfür sind bildbearbeitende Anwendungen wie die Optimierung und Korrektur von Fotografien, die unterstützende Objekterkennung und Hintergrundentfernung sowie die Restauration und Rekonstruktion visueller Medieninhalte, sofern diese Prozesse keine inhaltliche Veränderung oder kreative Neugestaltung bewirken.^[34]Im Bereich auditiver Inhalte zählen hierzu etwa die Rauschreduzierung, das Entfernen von Störgeräuschen oder der Einsatz KI-gestützter Übersetzungssoftware. Demgegenüber unterfällt die automatische Erstellung von Untertiteln dem Anwendungsbereich des Art.  50 Abs.  4 UAbs.  2 KI-VO, entfaltet jedoch mangels Vorliegens eines öffentlichen Interesses ebenso keine Kennzeichnungspflicht.

Ein solcher unterstützender KI-Einsatz könnte bereits aus dem sachlichen Anwendungsbereich der Verordnung herausfallen, sofern er nicht die Kriterien eines KI-Systems gemäß Art. 3 Nr. 1 KI-VO erfüllt. Nach ErwG 12 S. 2 sind mitunter einfachere herkömmliche Softwaresysteme und klassische Programmierungsansätze, die ausschließlich auf von natürlichen Personen definierten Regeln zur automatisierten Ausführung von Operationen beruhen, nicht vom Anwendungsbereich der KI-VO erfasst. Dies schließe etwa klassische Bildbearbeitungsprogramme wie Photoshop aus, weshalb insoweit keine Kennzeichnungspflicht nach Art. 50 Abs. 4 KI-VO bestünde.^[35] Jedoch zeigt sich, dass selbst herkömmliche Standardprogramme vermehrt KI-basierte Funktionen integrieren. Diese Entwicklung führt dazu, dass die Trennlinie zwischen herkömmlichen Softwaresystemen und KI-Systemen zunehmend verschwimmt, was angesichts des disruptiven Charakters der Technologie erhebliche Herausforderungen für die Abgrenzung und damit auch für die Reichweite der Kennzeichnungspflichten mit sich bringen würde.

Stattdessen lassen sich rein assistierende KI-Anwendungen von vornherein nicht unter die Legaldefinition des Deepfakes gemäß Art.  3 Nr.  60 KI-VO subsumieren. Ein solcher Einsatz von KI führt weder zur Erzeugung noch – was hier entscheidend ist – zur Manipulation von Medieninhalten. Der Begriff der Manipulation – in der englischen Fassung als „manipulated“, in der französischen als „manipulé“ und in der italienischen als „manipolato“ bezeichnet – impliziert nach seinem Wortsinn eine gezielte, bewusste Einflussnahme mit dem Zweck, den Adressaten in eine bestimmte Richtung zu lenken oder zu beeinflussen.^[36] Eine rein assistierende KI-Anwendung hingegen greift nicht in die inhaltliche Substanz oder den gedanklichen Gehalt des Medieninhalts ein. Sie vermag es daher weder, den Rezipienten über dessen Aussagegehalt zu täuschen, noch dessen Wahrnehmung oder Entscheidungsfindung zu beeinflussen. Vielmehr dient sie ausschließlich der Automatisierung und Effizienzsteigerung repetitiver, mechanischer Arbeitsprozesse – ohne dabei eine substanziell verändernde Wirkung auf den Medieninhalt auszuüben.

Dies lässt sich auch nicht entgegenhalten, dass Art.  50 Abs.  2 S.  3 KI-VO ausdrücklich eine Kennzeichnungspflicht für Anbieter von KI-Systemen – als Pendant zu Art. 50 Abs. 4 KI-VO – ausschließt, sofern die betreffenden KI-Systeme lediglich eine unterstützende Funktion bei der Standardbearbeitung erfüllen oder die vom Betreiber bereitgestellten Eingabedaten sowie deren Semantik nicht wesentlich verändern. Nach einer Stimme verdeutliche dies, dass dem Gesetzgeber dieser Anwendungsfall von KI-Systemen bewusst war und er sich – der systematischen Logik folgend – gezielt gegen eine Ausweitung der Bereichsausnahme auf Art. 50 Abs. 4 UAbs. 1 KI-VO entschieden hat.^[37] Doch betreffen Art. 50 Abs. 2 und Abs. 4 der KI-VO gerade unterschiedliche Regelungskomplexe, die daher einen systematischen Umkehrschluss nicht zulassen. Dies folgt bereits aus den unterschiedlichen Verpflichtungsadressaten der Transparenzpflichten.

Zudem spricht der Schutzzweck der Norm dafür, diese Ausnahmeregelung auch auf die Kennzeichnungspflicht von Betreibern von KI-Systemen nach Art.  50 Abs.  4 KI-VO zu erstrecken. Insbesondere die Wahrung der Integrität des Informationsökosystems und das hierauf gestützte Vertrauen wird durch eine Kennzeichnung rein assistierender KI-Anwendungen nicht gestärkt. In diesen Fällen bleibt die Integrität der Inhalte auch ohne Kennzeichnung unberührt.^[38] Vielmehr könnte eine überbordende Kennzeichnungspflicht, wie bereits dargelegt, gegenteilige Effekte erzeugen: Das Vertrauen in das Informationsökosystem könnte durch eine Überflutung mit Kennzeichnungen geschwächt werden. Vor diesem Hintergrund erscheint es sachgerecht, die Ausnahmevorschrift des Art. 50 Abs. 2 S. 3 KI-VO für rein assistierenden KI-Einsatz im Wege einer teleologischen Extension auch auf die Kennzeichnungspflicht der Betreiber nach Art. 50 Abs. 4 UAbs. 1 KI-VO anzuwenden.

2. Bezugsobjekt: Keine Kennzeichnungspflicht bei Fiktionen

Die Legaldefinition in Art. 3 Nr. 60 KI-VO fordert als weitere Voraussetzung, dass der durch KI erzeugte oder manipulierte audio-visuelle Medieninhalt „wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt“. Der betreffende Inhalt muss folglich eine Ähnlichkeit zu einer wirklichen Entität aufweisen. Mit dieser Formulierung werden zwei unbestimmte Rechtsbegriffe in die Verordnung eingeführt, die dadurch erhebliche Auslegungs- und Abgrenzungsprobleme mit sich bringen:

Zum einen sind KI-Inhalte von der Kennzeichnungspflicht nach Art. 50 Abs. 4 UAbs. 1 KI-VO ausgenommen, sofern sie keine hinreichende Ähnlichkeit zur dargestellten Entität aufweisen. Dies wirft zentrale Fragen hinsichtlich der praktischen Ausgestaltung auf: Welcher Grad an Ähnlichkeit ist erforderlich, um die Kennzeichnungspflicht auszulösen, und nach welchem Maßstab ist diese Ähnlichkeit zu beurteilen?^[39] Diese Unsicherheiten werden durch die terminologische Inkonsistenz innerhalb der KI-VO noch verstärkt, denn während Art. 3 Nr. 60 KI-VO lediglich von einer Ähnlichkeit spricht, fordert der zugehörige ErwG 134 eine „merkliche“ Ähnlichkeit zum Bezugsobjekt.^[40] Ob hiermit eine Konkretisierung des Bewertungsmaßstabs beabsichtigt war, bleibt offen.

Zum anderen verlangt die Legaldefinition, dass der KI-generierte oder -manipulierte Bild-, Ton- oder Videoinhalt eine wirkliche Entität abbildet. Die englische Sprachfassung verwendet insoweit den Begriff „existing“, wodurch sich dieses Kriterium eindeutig auf reale, tatsächlich existierende Personen, Objekte, Orte, Einrichtungen sowie auf gegenwärtige oder vergangene Ereignisse bezieht.^[41] Erfasst werden demnach beispielsweise Darstellungen, die reale Personen des öffentlichen Lebens (wie der Olaf-Scholz-Deepfake) oder existierende Orte (wie das gefälschte Bild einer Explosion am Pentagon in Washington) betreffen.

Weitaus komplexer gestaltet sich jedoch die Abgrenzung der „Wirklichkeit“ zur „Fiktion“. Zur Klärung dieser Unterscheidung ist erneut auf das Telos der Regelung, nämlich den Schutz der Integrität des Informationsökosystems, abzustellen. Um diesem Schutzzweck – insbesondere der Abwehr von Desinformation, Täuschung und sonstigem Missbrauch – gerecht zu werden, erscheint es geboten, auch fingierte Darstellungen der Lebensrealität in den Anwendungsbereich des Regelungskomplexes einzubeziehen. Dies betrifft synthetisch erzeugte Inhalte, die zwar keine tatsächlich existierende Person, kein reales Objekt oder Ereignis abbilden, aus Sicht des Rezipienten jedoch plausibel erscheinen und folglich als real existierend wahrgenommen werden könnten.^[42] Ein Beispiel hierfür wären mittels KI erzeugte, menschlich wirkende Models, die für Werbezwecke erstellt und in realistische Umgebungen eingefügt werden.^[43]

Demgegenüber sind jedoch offensichtlich fiktive KI-Inhalte, die keinerlei Bezug zur Realität aufweisen, von der Kennzeichnungspflicht auszunehmen.^[44] Dies entspricht nicht nur dem Regelungswortlaut, der ausdrücklich nur „wirkliche“ Phänomene als Bezugsobjekte erfasst, sondern auch dem Schutzzweck der Norm: Die Integrität des Informationsökosystems wird nicht beeinträchtigt, wenn es sich um offensichtlich lebensferne und irreale Darstellungen handelt. Beispiele hierfür wären die synthetische Darstellung außerirdischen Lebens, übermenschlicher Wesen^[45]oder visuell absurder Szenarien, wie Menschen ohne Raumanzug auf dem Mond oder Bilder eines Weltuntergangs, die erkennbar keinen Realitätsbezug aufweisen.^[46]Die in Art. 50 Abs. 4 UAbs. 1 S. 3 KI-VO vorgesehene Privilegierung für offensichtlich „fiktionale“ KI-Inhalte, die im Umkehrschluss zwar eine weniger eingreifende, aber dennoch bestehende Kennzeichnungspflicht impliziert, steht dieser Auslegung nicht entgegen. Der Begriff „fiktional“ bezieht sich ausweislich des ErwG 134 S. 2-3 auf Deepfakes, die dem Schutz der Meinungs-, Kunst- oder Wissenschaftsfreiheit unterfallen sollen, nicht jedoch auf rein „fiktive“, in der Realität nicht existierende KI-Inhalte, die von der Kennzeichnungspflicht ausgenommen sind.

3. Täuschungscharakter: Keine Kennzeichnungspflicht bei offensichtlichen Deepfakes

Art. 3 Nr. 60 KI-VO verlangt als weiteres konstitutives Merkmal, dass ein Deepfake „einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“. Erforderlich ist demnach ein objektives Täuschungspotenzial, das beim Rezipienten den irrigen Eindruck erweckt, die durch ein KISystem erzeugte oder manipulierte Darstellung einer wirklichen Person, eines Gegenstands, Ortes, einer Einrichtung oder eines Ereignisses entspreche der Wirklichkeit und sei damit authentisch. Fehlt es an diesem Täuschungscharakter, entfällt folglich auch die Kennzeichnungspflicht gemäß Art. 50 Abs. 4 UAbs. 1 KI-VO. Dies betrifft insbesondere KI-generierte oder -manipulierte Medieninhalte, deren synthetischer Ursprung aufgrund ihrer offensichtlichen Künstlichkeit nicht zu verkennen ist.^[47]Paradebeispiele hierfür sind die auf Social Media zirkulierten humoristisch gestalteten Deepfakes, die Olaf Scholz etwa als Bodybuilder oder Rapper inszenieren – Darstellungen, deren synthetische Herkunft unzweifelhaft erkennbar ist.

Diese Auslegung findet nicht nur im Wortlaut der Regelung ihren Niederschlag, sondern wird auch durch die Systematik und den Schutzzweck des Art.  50 KI-VO gestützt. So befreit Art. 50 Abs. 1 S. 1 Hs. 2 KI-VO Anbieter von KI-Systemen, die für die direkte Interaktion mit Menschen bestimmt sind, von der Kennzeichnungspflicht, wenn der KI-Einsatz des Systems aufgrund der konkreten Nutzungsumstände und des Kontextes offenkundig ist. Dieser Gedanke lässt sich folgerichtig auf die Kennzeichnungspflicht nach Art. 50 Abs. 4 UAbs. 1 KI-VO übertragen: Ist für den Rezipienten zweifelsfrei erkennbar, dass es sich um einen KI-generierten oder manipulierten Medieninhalt handelt, fehlt es am Täuschungspotenzial, sodass auch die Integrität des Informationsökosystems nicht beeinträchtigt wird. Ohne die Möglichkeit einer Irreführung besteht kein schützenswertes Interesse an einer Kennzeichnung – folglich bleibt der Schutzzweck der Norm unangetastet und die Kennzeichnungspflicht muss entfallen.

Das Kriterium des Täuschungscharakters von Medieninhalten wirft – wenngleich es der notwendigen Begrenzung einer zu erwartenden überbordenden Kennzeichnungspflicht dienlich ist – erhebliche Abgrenzungsschwierigkeiten auf. Dies liegt maßgeblich daran, dass der individuelle Empfängerhorizont, allem voran die Technologieaffinität des Rezipienten sowie die jeweiligen kontextuellen Umstände, entscheidend dafür ist, ob der synthetische Ursprung des Medieninhalts zutreffend erkannt wird.^[48] Diese hieraus resultierenden Unsicherheiten hinsichtlich der Bestimmung des maßgeblichen Empfängerhorizonts werden durch die regulatorischen Unschärfen des Gesetzgebers zusätzlich verstärkt: Art. 3 Nr. 60 KI-VO verweist lediglich auf „eine Person“ als Bezugspunkt für die Einschätzung des Täuschungspotenzials von Deepfakes, ohne jedoch eine nähere Spezifizierung in Bezug auf die Zielgruppe oder den situativen Kontext vorzunehmen.^[49] Anders verhält es sich hingegen bei der Ausnahmeregelung nach Art. 50 Abs. 1 S. 1 Hs. 2 KI-VO, die durch die ausdrückliche Bezugnahme auf „eine angemessen informierte, aufmerksame und verständige natürliche Person“ sowie durch die Ausführungen in ErwG 132 S. 2-3 näher den Empfängerhorizont konkretisiert. Letztlich bedarf es auch in Art. 50 Abs. 4 i.V.m. Art. 3 Nr. 60 KI-VO einer umfassenden Einzelfallbetrachtung, die sowohl die kontextuellen Rahmenbedingungen der Verbreitung des Deepfakes – etwa im Rahmen eines deskriptiven Nachrichtendienstes oder einer kommerziellen Werbeanzeige – als auch die spezifische Zielgruppe berücksichtigt, sei es in Form von Medieninhalten für ein technologieaffines Fachjournal oder einer Publikation für Kinder.

V. Ausblick: Selbstregulierung der Industrie

Die vorangehende Analyse hat gezeigt, dass entgegen dem offenen Wortlaut der Vorschrift eine überbordende Kennzeichnungspflicht sämtlicher KI-generierter oder bloß KI-unterstützter Medieninhalte abzulehnen ist. Eine derart weitreichende Offenlegungspflicht würde Verbraucher verunsichern, die Kreativwirtschaft benachteiligen und letztlich zu einer technikaversen Deepfake-Fatigue führen. Stattdessen ist der Schutzzweck des Art. 50 Abs. 4 UAbs. 1 KI-VO als maßgebliches Kriterium für eine interessengeleitete Interpretation der Transparenzvorschriften heranzuziehen: Eine Kennzeichnung ist weder bei rein assistierender KI-Anwendung sachgerecht noch für fiktive KI-Inhalte oder offensichtliche Deepfakes erforderlich. Eine solche Auslegung könnte als Leitlinie für die im kommenden Jahr erwarteten Praxisleitfäden des AI Office dienen, die gemäß Art. 50 Abs. 7 KI-VO eine wirksame Umsetzung der Kennzeichnungspflichten nach Art. 50 KI-VO sicherstellen sollen.

Neben der Frage des Regelungsgegenstandes von Deepfakes – dem „Ob“ der Kennzeichnung – stellt sich für die Praxis insbesondere die Frage der konkreten Umsetzung im Falle einer Kennzeichnungspflicht – das „Wie“ der Kennzeichnung. Auch in diesem Bereich lässt der europäische Gesetzgeber die Verpflichtungsadressaten, abgesehen von den wenig ergiebigen Vorgaben in Art. 50 Abs. 5 KI-VO, weitgehend im Unklaren. Angesichts der Vielzahl an Abgrenzungsfragen ist daher absehbar, dass weder die Leitlinien des AI Office noch die bereits stark ausgelasteten Gerichte diesen komplexen Fragenkatalog rechtsbestimmt und zugleich praktikabel beantworten können. Um der Praxis dennoch eine hinreichende Rechtssicherheit zu bieten und gleichzeitig eine notwendigerweise flexible, wenngleich kasuistische Einzelfallbetrachtung zu ermöglichen, sollte auch die Option einer privaten Rechtsdurchsetzung in Betracht gezogen werden.^[50] Ein solcher, dem europäischen Gesetzgeber wohlbekannter und bewährter selbstregulatorischer Ansatz könnte den gordischen Knoten lösen, den diese disruptive Technologie geschaffen hat.

^{[1] Fernandez, UFITA 2021, 392 (396, 402); Thiel, ZRP 2021, 202 (203); Erdogan, MMR 2024, 379 (380).}

^{[2] Kumkar/Rapp, ZfDR 2022, 199 (200); Kumkar/Griesel, KIR 2024, 117; Erdogan, MMR 2024, 379 (380).}

^{[3] Kumkar/Rapp, ZfDR 2022, 199 (202–203); Kumkar/Griesel, KIR 2024, 117.}

^{[4] Block, EuCML 2024, 184 (185); Kumkar/Rapp, ZfDR 2022, 199 (202); Kumkar/ Griesel, KIR 2024, 117; Kraetzig, CR 2024, 207 (Rn. 3).}

^{[5] Fernandez, UFITA 85 (2021), 392 (397, 403); Block, EuCML 2024, 184 (185); Kumkar/Rapp, ZfDR 2022, 199 (202–203).}

^{[6] Fernandez, UFITA 85 (2021), 392 (397); Kraetzig, CR 2024, 207 Rn. 3; Kumkar/Griesel, KIR 2024, 117 (118); Hinderks, ZUM 2022, 110; Linardatos, GPR 2022, 58 (68).}

^{[7] Vasse’i, RDi 2024, 406 (Rn. 37); Fernandez, UFITA 85 (2021), 392 (397); Łabuz, Policy & Internet 2024, S. 7; Block, EuCML 2024, 184 (185).}

^{[8] Block, EuCML 2024, 184 185; Kumkar/Rapp, ZfDR 2022, 199 (201); Kumkar/ Griesel, KIR 2024, 117, 118; Vasse’i, RDi 2024, 406 (Rn. 35–39).}

^{[9] Tagesschau, Gefälschtes Kanzler-Video: Bundesregierung verärgert über Satireaktion, 27.11.2023, abrufbar unter https://www.tagesschau.de/inland/satireaktion-kanzleramt-ki-video-100.html.}

^{[10] Zeit Online, Sorge nach Telefonaten mit Fake-Klitschko, 25.06.2022, abrufbar unter https://www.zeit.de/news/2022-06/25/giffey-telefoniert-mit-falschem-klitschko.}

^{[11] Tilson/Eichinger, BKR 2024, 648.}

^{[12] Thiel, ZRP 2021, 202 (203)}

^{[13] Kumkar/Griesel, KIR 2024, 117 (118).}

^{[14] Grünke et al., Demokratiekompetenz stärken – Herausforderung Künstliche Intelligenz und die Vermittlung von Medienkompetenz, 2024, S. 25, 28.}

^{[15] Kumkar/Griesel, KIR 2024, 117 (118); Grünke et al., Demokratiekompetenz stärken – Herausforderung Künstliche Intelligenz und die Vermittlung von Medienkompetenz, 2024, S. 27.}

^{[16] Hentsch/Rodenhausen, MMR 2024, 714; Wiedemann/Stocks, GRUR 2025, 360; Grünke et al., Demokratiekompetenz stärken – Herausforderung Künstliche Intelligenz und die Vermittlung von Medienkompetenz, 2024, S. 29-30.}

^{[17] KOM (2021) 206 final, S. 4; eingehend Merkle, RDi 2024, 414.}

^{[18] ErwG 8 S. 4 der KI-VO.}

^{[19] Becker, CR 2024, 353 Rn. 47}

^{[20] Becker, CR 2024, 353 Rn. 67}

^{[21] Hinderks, ZUM 2022, 110 (111-112); Kraetzig, CR 2024, 207 Rn. 16; Kumkar/Griesel, KIR 2024, 117 (121).}

^{[22] KOM (2021) 206 final, S. 17; Becker, CR 2024, 353 Rn. 45; Łabuz, Policy & Internet 2024, S. 9.}

^{[23] Łabuz, Policy & Internet 2024, S. 9}

^{[24] Block, EuCML 2024, 184 (187–188, 191); Łabuz, Policy & Internet 2024, S. 7–9.}

^{[25] Becker, CR 2024, 353 Rn. 69; differenzierend Borges, CR 2024, 633 Rn. 39.}

^{[26] Kumkar/Griesel, KIR 2024, 117 (119).}

^{[27] KOM (2021) 206 final, S. 4.}

^{[28] Becker, CR 2024, 353 Rn. 68, 73; Merkle, RDi 2024, 414 Rn. 46.}

^{[29] Bundesrechtsanwaltskammer, Stellungnahme Nr. 06/2025, S. 3}

^{[30] Bitkom e.V., Pressemitteilung vom 25.03.2024: Drei Viertel sind von CookieBannern genervt, abrufbar unter https://www.bitkom.org/Presse/Presseinformation/Drei-Viertel-von-Cookie-Bannern-genervt.}

^{[31] Google, Determining trustworthiness through context and provenance, 2024, https://static.googleusercontent.com/media/publicpolicy.google/de//resources/determining_trustworthiness_en.pdf, S. 17.}

^{[32] Google, Ibid, S. 16-17; Karaboga et al., Deepfakes und manipulierte Realitäten, 2024, S. 336.}

^{[33] Becker, CR 2024, 353 Rn. 60; Vasse’i, RDi 2024, 406 Rn. 43–47.}

^{[34] Becker, CR 2024, 353 Rn. 57; Kumkar/Griesel, KIR 2024, 117 (125}

^{[35] Kumkar/Griesel, KIR 2024, 117 (119).}

^{[36] Duden, abrufbar unter https://www.duden.de/rechtschreibung/manipulieren.}

^{[37] Becker, CR 2024, 353 Rn. 71.}

^{[38] Kumkar/Griesel, KIR 2024, 117 (120).}

^{[39] Kumkar/Griesel, KIR 2024, 117 (120).}

^{[40] Łabuz, Policy & Internet 2024, S. 5–6}

^{[41] Borges, CR 2024, 633 Rn. 42.}

^{[42] Borges, CR 2024, 633 Rn. 46-47.}

^{[43] Becker, CR 2024, 353 Rn. 70.}

^{[44] Borges, CR 2024, 633 Rn. 45; Hentsch/Rodenhausen, MMR 2024, 714 (718).}

^{[45] Becker, CR 2024, 353 Rn. 70; Hentsch/Rodenhausen, MMR 2024, 714 (718)}

^{[46] Borges, CR 2024, 633 Rn. 45.}

^{[47] Kumkar/Griesel, KIR 2024, 117 (120).}

^{[48] Kumkar/Griesel, KIR 2024, 117 (120).}

^{[49] Block, EuCML 2024, 184 (189).}

^{[50] Bundesrechtsanwaltskammer, Stellungnahme Nr. 06/2025, S. 7.}