Aufsatz : Was Unternehmen über die KI-Verordnung wissen müssen : aus der RDV 5/2024, Seite 257 bis 260

Was ist KI?

Nach der Definition der KI‑VO (Verordnung über Künstliche Intelligenz) ist KI eine besondere, insbesondere autonome und deshalb unbeherrschbare Technik, die sich ohne menschliches Zutun verändern kann. Die juristische und rechtlich maßgebliche Definition der KI‑VO stimmt zwar nicht in jedem Einzelfall mit den zahlreichen unterschiedlichen Begriffsbestimmungen überein, die zur Abgrenzung von KI und einfacher Software vorgeschlagen wurden. Im Kern geht es dem Rechtsakt aber um den Schutz natürlicher Personen vor den Risiken der Technologie, was die Anknüpfung an andere besonders gefährliche Merkmale rechtfertigt.

Was ist nicht KI?

In vielen Fällen ist die KI‑VO gar nicht einschlägig, weil es nicht um KI im Sinne der KI‑VO geht. Manche Systeme gleichen nur Muster ab, ohne für den autonomen Betrieb angelegt und anpassungsfähig zu sein. Gemeint ist damit Software, die sich nicht selbst verändern kann. Sie unterfällt dem KI-Recht erst gar nicht.

Was hat es mit KI-Modellen und KI-Systemen auf sich?

Die KI‑VO gilt für KI-Modelle und KI-Systeme. KI-Modelle sind große Datenpools. Aus diesen Pools leiten KI-Systeme i.S.d. Art. 3 Nr. 1 KI‑VO Inhalte ab, seien es Texte, Töne oder Bilder. KI-Systeme sind wie Leitungen, die man an den Tank anschließt. Der Verwender, sprich der Betreiber, „promptet“ das KI-System durch eine Eingabe und bestimmt, was aus dem Datenpool abgezapft wird.

Was ist KI mit allgemeinem Verwendungszweck (GPAI)?

KI-Systeme mit allgemeinem Verwendungszweck (engl. General Purpose Artificial Intelligence Systems, kurz GPAI-Systeme) haben gem. Art. 3 Nr. 66 KI‑VO keinen spezifischen Verwendungszweck. Man kann sie – wie ChatGPT – für beliebige Zwecke nutzen. Der Bot kann Liebes- und Hassgedichte schreiben, berufliche oder schulische Aufgaben übernehmen.

Wie funktioniert KI?

KI basiert auf Computeranwendungen, die auf große Datenpools zugreifen und so in einer für Menschen gut verständlichen Weise Ergebnisse erzeugen. Im Fokus stehen derzeit Anwendungen, die wie ChatGPT Inhalte in menschlicher Sprache oder wie Dall-E Bilder hervorbringen, die man von menschlich erzeugten Inhalten von außen nicht mehr unterscheiden kann.

Für wen gilt das KI-Recht?

Die KI-Verordnung gilt für jeden, der KI-Systeme beruflich in eigener Verantwortung einsetzt. Sie regelt nämlich den Betrieb, sprich die Verwendung, von KI-Systemen und legt für „Betreiber“ Pflichten fest, z.B. nach Art. 50 Abs. 3 und 4 KI‑VO. Wer als Handwerker seine Mitarbeiter oder Kunden per Sprach-KI anspricht oder sich einen Werbeflyer von einer Bild-KI erzeugen lässt, ist Betreiber, denn er verwendet ein KI-System für berufliche Zwecke i.S.d. Art. 3 Nr. 4 KI‑VO.

Wann ist eine Verwendung privat?

Wer KI für rein private Zwecke verwendet, ist in Einklang mit Art. 3 Nr. 4 KI‑VO nicht Betreiber von KI. Für ihn gilt die KI‑VO nicht. Allerdings muss man aufpassen. Lehrer, die ihren Schülern die Verwendung von ChatGPT zur Unterstützung bei den Hausaufgaben zur Verfügung stellen, sind Betreiber von KI-Systemen. Schließlich sind Hausaufgaben keine Privatsache, sondern werden im Rahmen der staatlichen Schulpflicht gemacht. Wer am Arbeitsplatz ein privat angeschafftes GPAI-System i.S.d. Art. 3 Nr. 66 KI‑VO verwendet, handelt beruflich und nicht privat. Das leuchtet ein, denn ein dienstlicher Text, der auf einem privaten Computer mit privater Software geschrieben wird, ist ja auch nicht privat. Derartige Verwendungen müssen zwischen Arbeitgeber und Beschäftigten abgestimmt sein.

Was bedeutet es, ein KI-System zu betreiben?

Wer als Schreiner eine Sägemaschine verwendet, der betreibt sie im Rechtssinne. Wer bei der Arbeit ein KI-System verwendet, der betreibt es dementsprechend.

Muss jeder KI-Kompetenz nachweisen?

Die KI‑VO schreibt jedem, der ein KI-System wie ChatGPT beruflich in eigener Verantwortung verwendet, also betreibt, vor, KI-Kompetenz (Art. 4 KI‑VO) zu besitzen und zu vermitteln. Da diese Pflicht für Betreiber, also Verwender, von KI-Systemen gilt, sind nicht nur Unternehmen und Behörden, sondern auch natürliche Personen verpflichtet, die ein KI-System wie ChatGPT nicht zu persönlichen Zwecken nutzen. Diese Pflicht muss im Februar 2025 umgesetzt sein, Art. 113 UAbs. 3 lit. a) KI‑VO.

Was bedeutet KI-Kompetenz konkret?

Konkrete Fragen, die jeder beim Umgang mit KI-Systemen wie ChatGPT mit Blick auf die KI-Kompetenz beantworten können sollte, lauten etwa wie folgt:

• Was ist ein KI-System?
• Was bedeutet Autonomie von KI?
• Warum kann KI nicht denken und trotzdem mit mir sprechen?
• Welche Nutzung von KI-Systemen ist gefahrlos möglich? Wo muss ich aufpassen?
• Was bedeutet „prompten“ und wie geht das?
• Wie setze ich mich mit KI-Ergebnissen auseinander?
• Wie behalte ich als Mensch die Kontrolle über das Werkzeug KI?
• Was bedeutet der Einsatz von KI im beruflichen Alltag? Wo kann mir die Technik helfen, wo nicht?

Was ist der rechtliche Ansatz der KI‑VO?

Die KI‑VO wählt einen rechtlichen Ansatz, der aus zwei Kernelementen besteht. Sie steckt zunächst einen gesetzlichen Rahmen für die Entwicklung und den Betrieb Künstlicher Intelligenz ab und ordnet die Nutzung der Technik in Risikoklassen ein. Sodann löst die KI‑VO das Problem der Übernahme von (menschlicher) Verantwortung bei maschineller Hilfe, indem sie den Menschen in die Pflicht nimmt, die autonome Technik selbstbestimmt zu stoppen, wenn es sein muss.

Jenseits der Grenzen dieses Rechtsrahmens zum Schutz der Menschen und ihrer Rechte herrscht Freiheit zum Einsatz von KI, soweit nicht das von der KI‑VO unberührte und unabhängig davon geltende sonstige Recht – etwa das Datenschutz- oder Urheberrecht – ohnehin Grenzen setzt.

Ist KI gefährlich?

Dafür kommt es auf den konkreten Verwendungszweck an. Von diesem macht die KI‑VO auch die rechtlichen Grenzen des Einsatzes abhängig und den bestimmt derjenige, der die KI verwendet.

Wie funktioniert der risikobasierte Ansatz der KI‑VO?

Die KI‑VO stuft die von KI ausgehenden möglichen Risiken in drei Kategorien ein. Sie lauten wie in einer Pyramide erstens risikolos und erlaubt (Artt. 51 ff. KI‑VO), zweitens hochriskant (Artt. 6 ff. KI‑VO) und nur unter strengen Voraussetzungen zulässig (Artt. 6 ff. KI‑VO) und drittens verboten (Art. 5 KI‑VO). Ist der Einsatzzweck hochriskant, gelten sehr strenge und spezifische Pflichten für den Betrieb eines KI-Systems nach Art. 26 KI‑VO.

Wann ist KI nicht riskant?

Auch GPAI ist von der KI‑VO in Artt. 51 ff. erfasst. Sie ist aber von der besonderen und spezifischen Regulierung für KI freigestellt, weil sie für einen Zweck verwendet wird, den die KI‑VO nicht als hochriskant klassifiziert. In diesem Fall darf man KI verwenden, ohne dass die KI‑VO dafür besondere Regeln aufstellt. Das liegt daran, dass diese Nutzung kein oder nur ein geringes Risiko für Rechte und Freiheiten der Menschen beinhaltet.

Wann ist KI hochriskant?

Wann KI hochriskant ist, bestimmt das Recht selbst und benennt dafür konkrete Bereiche, vgl. Art. 6 Abs. 1 und Abs. 2 i.V.m. Anhang III KI‑VO. So ist etwa KI, die die Bedingungen von Arbeitsverhältnissen beeinflussen kann, oder die für die Bewertung von Lernergebnissen im Bildungsbereich, also bei Schülern, Auszubildenden oder Studierenden verwendet wird, hochriskant. Weitere hochriskante Bereiche sind unter anderem Gesundheit und Justiz.

Da man GPAI für beliebige Zwecke verwenden kann, verlangt der Einsatz dieser KI jedem, der sie verwendet, eine schwierige Entscheidung ab: Es muss festgestellt werden, ob die Verwendung von GPAI im konkreten Fall hochriskant ist. Das hängt allein vom Zweck der Verwendung ab.

Gibt es Ausnahmen von der Einordnung einer KI als hochriskant?

Das Gesetz enthält Ausnahmen von der Einstufung als hochriskant (Art. 6 Abs. 3 KI‑VO). Das ist dann der Fall, wenn die KI nur unmaßgebliche Hilfsaufgaben übernimmt und ein zuvor gefundenes menschliches Ergebnis optimiert, aber nicht beeinflusst.

Wann darf man hochriskante KI konkret verwenden?

Wenn man KI verwendet, die als hochriskant eingestuft ist, dann muss man die strengen Pflichten einhalten, die die KI‑VO daran knüpft. Diese bestehen nach Art. 26 KI‑VO etwa darin, passende Eingabedaten auszuwählen (Abs. 4), den Betrieb des KI-Systems zu überwachen (Abs. 5), von dem System erzeugte Protokolle aufzubewahren (Abs. 6) und von der Verwendung des Systems betroffene Arbeitnehmer zu informieren (Abs. 7). Zudem muss eine menschliche Aufsicht installiert werden (Abs. 2). Behörden müssen sich schließlich mit der Frage auseinandersetzen, wie der Einsatz des KI-Systems die Grundrechte der betroffenen Personen beeinflusst (sog. Grundrechte-Folgenabschätzung gem. Art. 27 KI‑VO).

Wo lauert das größte Risiko für Verwender von KI?

Setzt man als Arbeitgeber oder als Beschäftigter unter Missachtung betrieblicher Anweisungen GPAI ein, dann muss man genau auf die Verwendungszwecke achten. Die KI‑VO besagt nämlich, dass jeder, der GPAI eigenmächtig zu einem Zweck einsetzt, der als hochriskant einzustufen ist, „Anbieter“ von KI wird, Art. 25 Abs. 1 lit. c) KI‑VO. Er muss dann die komplexen, auf die Hersteller zugeschnittenen Pflichten aus Art. 16 KI‑VO erfüllen. Dazu zählt etwa, die Anforderungen an ein Risikomanagementsystem (Art. 9 KI‑VO), an Daten-Governance (Art. 10 KI‑VO), technische Dokumentationen und Aufzeichnungen (Art. 11 KI‑VO) sowie Transparenzanforderungen (Art. 13 KI‑VO) zu erfüllen. Diese sind für einfache Verwender aber kaum zu stemmen.

Woran erkennt man hochriskante Anwendungen?

Oft kann man Hochriskantes und nicht Hochriskantes nur schwer auseinanderhalten. Als Faustformel kann man aber festhalten: Immer dann, wenn der Einsatz der KI einen Menschen in Rechten betreffen kann, also etwa bei der Bewertung in Beruf oder Schule oder bei der Erbringung öffentlicher Leistungen, sollte man zurückhaltend sein (vgl. Anhang III KI‑VO). Sich von der KI eine Geschichte erzählen oder einen Reisetipp geben zu lassen, ist demgegenüber unproblematisch.

Wann ist KI verboten?

Die verbotenen Zwecke legt die KI‑VO ebenso fest wie die hochriskanten Zwecke. Verbotene Praktiken sind in Art. 5 KI‑VO normiert. Dazu zählt etwa sog. Social Scoring, bei dem Menschen per KI manipuliert und klassifiziert werden und von dieser Klassifizierung deren staatliche Behandlung abhängig gemacht wird, Art. 5 Abs. 1 lit. c) KI‑VO.

Wer haftet, wenn etwas bei der Verwendung von KI schiefgeht?

Ein Verstoß gegen Pflichten der KI‑VO kann nach dieser mit enormen Bußgeldern in der Spitze in Höhe von vielen Millionen Euro belegt werden (vgl. Artt. 99 und 101 KI‑VO). Nach Art. 99 Abs. 1 KI‑VO erlassen die Mitgliedstaaten nach den Vorgaben der KI‑VO Vorschriften für Sanktionen bei Verstößen. Da zahlreiche Normen der KI‑VO dem Schutz der Menschen dienen, die von den Anwendungen betroffen sind, kann zudem die Haftung der Betreiber nach dem Schadenersatzrecht des Bürgerlichen Gesetzbuches eintreten, wenn diese gegen Normen der KI‑VO verstoßen. Da dieselben Handlungen mit Datenverarbeitungen verbunden sind, dürfte zusätzlich auch an die Haftung auf Schadensersatz nach der DS‑GVO (Art. 82 DS‑GVO) zu denken sein.

Ab wann ist das KI-Recht anwendbar?

Die KI‑VO ist seit dem 1. August 2024 geltendes Recht. Damit sich Staat, Gesellschaft und Wirtschaft an den neuen Rechtsrahmen gewöhnen können, wird er in Stufen wirksam. Die Berechnung aller Geltungsfristen hat am 2. August 2024 begonnen, Art. 113 UAbs. 2 KI‑VO.

Welches Recht muss man neben dem KI-Recht beachten?

Wer KI-Systeme verwendet, der muss nicht nur die Regeln der KI‑VO einhalten. Da bei der Verwendung von KI-Systemen Texte und Bilder entstehen, deren Vorlagen geschützt sind und auf Inhalte zugegriffen wird, die geschützt sind, muss man etwa zusätzlich das Urheberrecht und das Markenrecht beachten. Das gilt bei der Verwendung von KI ohnehin und ebenso wie das Datenschutzrecht, wenn personenbezogene Daten verarbeitet werden (Art. 2 Abs. 7 KI‑VO). Das Verbraucherschutzrecht, das Arbeitsrecht, das Schulrecht und das Jugendschutzrecht gelten ebenso.

Der Fahrplan zur Geltung der KI‑VO

Bereits ab dem 2. Februar 2025 müssen gem. Art. 113 UAbs. 3 lit. a) KI‑VO Anbieter und Betreiber von KI-Systemen – letzteres ist jeder, der KI im beruflichen Kontext in eigener Verantwortung nutzt – sicherstellen, dass ihr Personal über ausreichende KI-Kompetenz i.S.d. Art. 4 KI‑VO verfügt. Die KI‑VO verlangt damit ein grundlegendes Verständnis für die Systeme sowie alle Fähigkeiten und Kenntnisse, die ihren sachkundigen Einsatz ermöglichen. Wer KI-Systeme verwendet, soll sich der Chancen von KI, aber auch ihrer Risiken und möglicher Schäden bei ihrem Einsatz bewusst sein. Unternehmen und Behörden, die KI-Systeme in ihre Prozesse integrieren wollen oder sie bereits integriert haben, sollten deshalb schon jetzt ein Konzept zur Weiterbildung ihrer Mitarbeiter entwickeln.

Ebenfalls ab dem 2. Februar 2025 gelten die Verbote für bestimmte KI-Praktiken nach Art. 5 KI‑VO. Die Verwendung von KI-Systemen zur unterschwelligen Beeinflussung, zur sozialen Bewertung oder etwa zur Ableitung von Emotionen ist ab diesem Tag untersagt. Der Gesetzgeber begründet die vorgezogene Geltung mit dem unannehmbaren Risiko, das von diesen Praktiken ausgeht. Wer KI-Systeme einsetzt, sollte sich so früh wie möglich mit der Frage auseinandersetzen, ob die konkrete Verwendung einer der verbotenen Praktiken unterfällt. So ist etwa von einer verbotenen Ableitung von Emotionen auszugehen, wenn die Prüfungsangst von Schülern oder die Zufriedenheit von Arbeitnehmern durch einen KI-basierten Chatbot ermittelt wird. Eine falsche Einschätzung führt zwar zunächst nicht zu staatlichen Sanktionen, da die Sanktionsvorschriften erst zu einem späteren Zeitpunkt Geltung beanspruchen. Sie kann aber bereits Schadenersatzansprüche auslösen.

Am 2. August 2025 wird sodann gem. Art. 113 UAbs. 3 lit. b) KI‑VO der infrastrukturelle Grundstein für die umfängliche Geltung der KI‑VO gelegt: Ab diesem Tag gelten die Vorschriften der KI‑VO, die die Durchsetzung des Rechtsakts sicherstellen sollen. Der Staat muss nach Art. 70 Abs. 2 KI‑VO bis zum 2. August 2025 deshalb eine Leitungsstruktur aufbauen und Verfahren etablieren, sodass er die Einhaltung der KI‑VO überwachen kann. Dazu muss er insbesondere die zuständige Marktüberwachungsbehörde benennen. In Deutschland deutet derzeit einiges auf die Bundesnetzagentur hin, die Datenschutzaufsichtsbehörden haben allerdings ebenfalls ein Interesse an der Übernahme der Aufsicht angemeldet.

Ein Jahr später, am 2. August 2026, beginnt nach Art. 113 UAbs. 2 KI‑VO die Geltung des größten Teils des Rechtsakts. Ab diesem Tag müssen Hochrisiko-KI-Systeme die besonderen Anforderungen an Transparenz, Datenqualität, Genauigkeit, Robustheit und vieles mehr (Artt. 8 ff. KI‑VO) erfüllen. Für bestimmte KI-Systeme gelten ab diesem Tag zudem besondere Transparenzpflichten (Art. 50 KI‑VO). Insbesondere der Einsatz von KI-Systemen zur Generierung von Inhalten wie Texten, Bildern, Videos oder Musik muss dann grundsätzlich kenntlich gemacht werden. Unternehmen und Behörden, die KI-Systeme einsetzen, sollten diesen Tag rot im Kalender markieren. Denn eine Vielzahl der dann geltenden Vorschriften betrifft Hochrisiko-KI-Systeme. Darunter fallen etwa Systeme, die bestimmungsgemäß im Bildungssektor oder im Beschäftigungskontext eingesetzt werden. Werden KI-Systeme zu einem der genannten Zwecke verwendet, müssen die verantwortlichen Betreiber, das heißt die Unternehmen und Behörden, unter anderem einen Einsatz im Einklang mit der Betriebsanleitung sicherstellen und eine menschliche Aufsicht installieren, die den Betrieb überwacht (Art. 26 Abs. 2 KI‑VO). Für Behörden, die KI-Systeme in hochriskanten Anwendungsbereichen einsetzen, tritt die Pflicht hinzu, sich über die Auswirkungen des KI-Einsatzes auf die Grundrechte der betroffenen Personen nachweislich zu vergewissern (Grundrechte-Folgenabschätzung nach Art. 27 KI‑VO). Die Umsetzung dieser Pflichten dürfte einige Organisation beanspruchen. Vorbereitende Maßnahmen sollten deshalb schon jetzt ergriffen werden.

Ab dem 2. August 2027 finden die Vorschriften für Hochrisiko-KI-Systeme gem. Art. 113 UAbs. 3 lit. c) KI‑VO auch Anwendung auf KI-Systeme, die als Sicherheitsbauteile spezifisch regulierter Produkte dienen oder selbst entsprechende Produkte sind.

Für bestimmte Systeme, die vor dem 2. August 2027 in Verkehr gebracht oder in Betrieb genommen wurden, gelten besondere Ausnahmen mit Blick auf die Einhaltung der Vorschriften der KI‑VO, Art. 111 Abs. 1 KI‑VO. Für diese läuft eine letzte Frist am 31. Dezember 2030 ab.