Aufsätze : Konzepte zur Umsetzung der rollen- und kontextspezifischen Anforderungen an die KI-Kompetenz gemäß Art. 4 KI-VO : aus der RDV 1/2025, Seite 26 bis 30

b) Rolle von Unternehmen mit Hinblick auf KI-Systeme

Zweitens sollten Beschäftigte die Rolle ihres Unternehmens mit Hinblick auf das jeweilige KI-System verstehen, insbesondere ob das Unternehmen als Anbieter oder Betreiber des KI-Systems fungiert. Wie bereits zu Anfang des Aufsatzes erwähnt, gilt laut Art. 3 Nr. 3 KI-VO eine Person oder Organisation als Anbieter eines KI-Systems, sofern sie „ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KISystem unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich“. Demgegenüber ist eine Person oder Organisation Betreiber eines KI-Systems, wenn sie „ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“. In anderen Worten, Anbieter von KI-Systemen entwickeln KISysteme selber und kontrollieren daher auch die Daten, auf denen die KI-Systeme unterliegenden KI-Modelle trainiert werden. Betreiber hingegen kaufen KI-Systeme lediglich ein, oder lizenzieren diese von Anbietern, ohne die KI-Systeme dabei aber selber zu entwickeln oder maßgeblich weiterzuentwickeln. Dementsprechend unterscheiden sich auch die Anforderungen an die KI-Kompetenz von Anbietern und Betreibern von KI-Systemen, da Anbieter mitunter eine deutlich höhere technische KI-Kompetenz von Beschäftigten ausweisen müssen, insbesondere mit Hinblick auf die angemessene Auswahl von Trainingsdaten und KI-Modellen. Gleichzeitig sind die Grenzen zwischen Anbietern und Betreibern von KI-Systemen fließend: Sofern eine Organisation ein KI-System unter ihrem eigenen Namen oder seiner Handelsmarke in Verkehr bringt, gilt diese nicht mehr als Betreiber sondern als Anbieter des Systems. Sich dessen bewusst zu sein sollte ebenso Teil der grundlegenden KI-Kompetenz sowohl von Beschäftigten als auch Organisationen sein, die KI-Systeme betreiben.

c) Bewusstsein für die Chancen, Risiken und mögliche Schäden von KI

Drittens müssen Beschäftigte ein Bewusstsein entwickeln für die Chancen, Risiken und möglichen Schäden, die mit dem Einsatz von KI-Systemen einhergehen. Dies könnte als das Herzstück der KI-Kompetenz gemäß KI-Verordnung bezeichnet werden, da es hierbei nicht nur darum geht KI-Systeme sachkundig, sondern auch verantwortungsbewusst einzusetzen.

Die Zentralität dieser Maßgabe wird in ErwG 20 hervorgehoben, wonach KI-Kompetenz „allen einschlägigen Akteuren in der KIWertschöpfungskette die Kenntnisse vermitteln [sollte], die erforderlich sind, um die angemessene Einhaltung und die ordnungsgemäße Durchsetzung der Verordnung sicherzustellen“.

d) Unterscheidung von Hochrisiko-KI-Systemen

Viertens und letztens sollten Beschäftigte wissen, wann immer sie mit Hochrisiko-KI-Systemen hantieren. Nicht nur sind mit der Entwicklung und dem Betrieb von Hochrisiko-KI-Systemen besonders hohe Auflagen verbunden.^[6] Auch hebt die KI-VO im Hinblick auf Hochrisiko-KI-Systeme die besondere Bedeutung von KI-Kompetenz hervor. So sind Betreiber von Hochrisiko-KI-Systemen laut Art.  26 Nr.  2 KI-VO gefragt, „natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, die menschliche Aufsicht [über Hochrisiko-KI-Systeme zu übertragen]“ und ihnen „die erforderliche Unterstützung zukommen“ zu lassen. Darüber hinaus betont der Gesetzgeber in ErwG 91, dass Betreiber von Hochrisiko-KISystemen sicherzustellen haben, „dass die Personen, denen die Umsetzung der Betriebsanleitungen und die menschliche Aufsicht gemäß dieser Verordnung übertragen wurde, über die erforderliche Kompetenz verfügen, insbesondere über ein angemessenes Niveau an KI-Kompetenz, Schulung und Befugnis, um diese Aufgaben ordnungsgemäß zu erfüllen“.

3. Zwischenfazit

Alle Organisationen, die KI-Systeme in der EU anbieten oder betreiben, müssen dafür Sorge tragen, dass ihre Beschäftigten und alle Personen, die in ihrem Auftrag mit KI-Systemen hantieren, über ein ausreichendes Maß an KI-Kompetenz verfügen. Der Gesetzgeber definiert KI-Kompetenz als die Fähigkeit, KI-Systeme sachkundig einzusetzen und sich ihrer Chancen, Risiken und möglichen Schäden bewusst zu sein. Dabei umfassen die Grundanforderungen an die KI-Kompetenz gemäß Art. 4 KI-VO mindestens ein Verständnis 1) der Definition von KI-Systemen, 2) der Rolle, die eine Organisation im Hinblick auf das KI-System einnehmen kann und insbesondere ob die Organisation als Anbieter oder Betreiber des KI-Systems fungiert, 3) der Chancen, Risiken und möglichen Schäden, die mit der Entwicklung und Implementierung von KI-Systemen einhergehen sowie 4) der Unterscheidung zwischen regulären KI-Systemen und Hochrisiko-KI-Systemen gemäß KI-VO.

II. Rollen- und kontextspezifische Anforderungen

Über die Grundkenntnisse hinaus stellt der Gesetzgeber rollen- und kontextspezifische Anforderungen an die KI-Kompetenz. So verlangt Art. 4 KI-VO, dass Beschäftigte nicht nur über ein ausreichendes Maß an KI-Kompetenz verfügen, sondern auch, dass dabei „ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind“. In anderen Worten, was KI-Kompetenz in der Praxis bedeutet, ist kontextspezifisch und ist insbesondere abhängig vom Hintergrund der Beschäftigten und dem Kontext, im dem die KISysteme eingesetzt werden. Darüber hinaus muss auch die Perspektive der von KI-Systemen Betroffenen in Erwägung gezogen werden. Was bedeutet dies in der Praxis?

1. Hintergrund der Beschäftigten

Art.  4 KI-VO betont, dass bei der Vermittlung von KI-Kompetenz die technischen Kenntnisse, die Erfahrung, die Ausbildung sowie die Schulung von Beschäftigten in Betracht gezogen werden müssen. Dies macht insofern Sinn, als dass bei Beschäftigten mit einem technischen Hintergrund zumindest zu vermuten ist, dass diese bereits über ein besseres Grundverständnis der Funktionsweise von Softwaresystemen verfügen und dementsprechend auch von Hause aus kompetenter mit KI-Systemen umgehen können. Gleichzeitig gehen mit technischen Rollen oft auch höhere Ansprüche an die KI-Kompetenz einher, beispielsweise wenn Beschäftigte KI-Systeme selbst von Grund auf entwickeln oder weiterentwickeln.

2. Kontext der KI-Systeme

Der Kontext, in dem KI-Systeme eingesetzt werden, ist insbesondere für eine Beurteilung der Chancen, Risiken und möglichen Schäden, die mit dem Einsatz von KI-Systemen einhergehen, relevant. Sofern es sich bei einem KI-System um ein Hochrisiko-KI-System gemäß KI-VO handelt, so gehen mit dessen Entwicklung und Inbetriebnahme per Definition höhere Risiken für die Grundrechte, die Sicherheit oder die Gesundheit von Betroffenen einher. Dementsprechend gewichtiger sind die Anforderungen an die KI-Kompetenz. Eine kontextspezifische Risikoanalyse ist aber auch über Hochrisiko-KI-Systeme hinaus unabdingbar: Sofern beispielsweise KI-Systeme mit allgemeinem Verwendungszweck (engl.: General-Purpose Artificial Intelligence Systems, kurz: GPAIS) zum Einsatz kommen, erschließt sich ihr Risiko fast ausschließlich aus dem Kontext ihrer Anwendung.^[7]

3. Perspektive der Betroffenen

Über den Hintergrund von Beschäftigten und den Kontext, in dem ein KI-System eingesetzt werden soll, hinaus, verlangt Art. 4 KI-VO, dass Anbieter und Betreiber sich auch in die Rolle derjeniger versetzen, die von der Entwicklung oder dem Einsatz von KI-Systemen betroffen sind. Damit verfolgt KI-Kompetenz gemäß Art. 4 KI-VO einen ähnlichen Ansatz wie Datenschutz-Folgenabschätzungen (DSFAs) in Art. 35 DS-GVO. Auch bei letzterer sind Verantwortliche für die Datenverarbeitung in ihrer Risikobeurteilung gefragt, den Standpunkt der Personen einzunehmen, deren Daten sie zu verarbeiten planen. Die entsprechende Anforderung in der KI-VO könnte man daher auch als „Empathieklausel“ beschreiben und verlangt zumindest insofern ein Umdenken von Beschäftigten, als dass diese nicht nur die betrieblichen Interessen des Arbeitgebers im Auge behalten, sondern sich auch in die Lage der von KI-Systemen betroffenen Personen versetzen müssen.

III. Fallstudie: KI im Kundenservice

Was ein rollen- und kontextgerechter Umgang mit KI-Kompetenz bedeutet, wird im Folgenden anhand einer Fallstudie illustriert, in der ein Unternehmen einen KI-basierten Chatbot einsetzen möchte, um den Kundenservice zu verbessern. Diese Fallstudie wird zunächst aus Perspektive der Grundanforderungen an die KI-Kompetenz analysiert: Welche Chancen, Risiken und mögliche Schäden gehen mit der Entwicklung und Implementierung des KI-basierten Chatbots einher? In einem Folgeschritt werden aus der Analyse rollen- und kontextspezifische Anforderungen an die KI-Kompetenz abgeleitet.

1. Chancen, Risiken und mögliche Schäden von KI

Eine Chance, die das Unternehmen mit dem Einsatz des KI-basierten Chatbots verbindet, ist die Verfügbarkeit den Kundenservice zu erhöhen, da der KI-basierte Chatbot ganzjährig 24 Stunden am Tag erreichbar wäre. Darüber hinaus könnte der KI-basierte Chatbot, je mehr er mit denselben Kunden interagiert, deren individuelle Präferenzen immer besser „kennenlernen“ und ihnen so einen individuelleren Service bieten.

Ein Risiko, was mit dem Einsatz des KI-basierten Chatbots einhergeht, ist, dass der Chatbot Kundenanfragen falsch oder unangemessen beantwortet, beispielsweise Rabatte anbietet, die das Unternehmen gar nicht machen wollte, oder sich in einem Gespräch auf Themen einlässt, die für den geschäftlichen Austausch belanglos sind.

Mögliche Schäden umfassen, dass Kunden mit Falschinformationen ausgestattet werden oder in Gespräche mit dem Chatbot involviert werden, die unangemessen oder gar beleidigend sind. Dies wiederum könnte dem Ruf und der Marke des Unternehmens schaden und schlimmstenfalls zu Haftungsansprüchen führen.

2. Rollen- und kontextspezifische Anforderungen

Welche rollen- und kontextspezifischen Anforderungen an die KI-Kompetenz ergeben sich aus diesem Szenario? Dies kommt unter anderem darauf an, ob das Unternehmen als Anbieter oder Betreiber des KI-Systems fungiert.

Sollte das Unternehmen als Anbieter des KI-Systems agieren, so müssen die Hintergründe und Rollen der Beschäftigten angemessen für den gesamten Lebenszyklus eines KI-Systems sein. Einige Beschäftigte werden betriebswirtschaftliche Kompetenzen aufweisen müssen, z.B. die Fähigkeit, das spezifische Anwendungsproblem zu definieren, welches das KI-System lösen soll, und Erfolgskriterien festzulegen. Ebenso werden aber auch Beschäftigte mit technischen Kenntnissen gebraucht, z.B. der Statistik und Data Science sowie des maschinellen Lernens, um zu bestimmen, welche Daten erforderlich und welche KI-Modelle geeignet sind, um das KI-System zu bauen. Darüber hinaus muss bei der Entwicklung des KI-Systems der Kontext in Betracht gezogen werden, in dem das KI-System eingesetzt werden soll. Wie konkret soll das KISystem, in dem Fall ein KI-basierter Chatbot für den Kundenservice, auf eine besondere Branche, z.B. den Textilfachhandel, zugeschnitten sein? Je unspezifischer das KI-System ist, desto flexibler ist der Anwendungsbereich. Gleichzeitig erhöht sich damit aber auch das Risiko, dass das KI-System nicht konkret genug oder auch unangemessen auf Kundenanfragen reagiert.

Der Anbieter des KI-Systems könnte sich dafür entscheiden, den Anwendungsbereich des KI-basierten Chatbots bewusst offenzuhalten, gegebenenfalls gar ein GPAI-System auf den Markt zu bringen. In dem Fall obliegt es dem Betreiber, das KISystem nach zu trainieren, also ein sogenanntes „Finetuning“ vorzunehmen, um einen kontextgerechten Einsatz zu gewährleisten. Sofern der Betreiber des KI-Systems das KI-System dann aber unter seinem eigenen Namen oder Handelsmarke in Betrieb nimmt wird er laut Art. 3 Nr. 3 KI-VO selbst zum Anbieter des Systems. Darüber hinaus könnte der Betreiber laut Art. 25 Nr. 1 lit. c) zum Anbieter eines Hochrisiko-KI-Systems mutieren, sofern er die Zweckbestimmung des KI-Systems so verändert, „dass das betreffende KI-System zu einem Hochrisiko-KI-System im Sinne von Artikel 6 wird“.^[8] Sich des fließenden Übergangs zwischen Anbietern und Betreibern von KI-Systemen bewusst zu sein, sollte, wie oben bereits erwähnt, aus genau diesem Grunde Teil der Grundkenntnisse der KI-Kompetenz sein.

Zu guter Letzt gehört zu den rollen- und kontextspezifischen Anforderungen an die KI-Kompetenz auch die Pflicht, die Perspektive der Betroffenen in Betracht zu ziehen: Welche Erwartungen und Bedürfnisse haben die Kunden? Wie kann anbieterseitig sichergestellt werden, dass auch diejenigen, die mit dem KI-System interagieren, dies sachkundig tun und sich der Chancen, Risiken und möglichen Schäden des KI-Systems bewusst sind? Natürlich können Anbieter und Betreiber von KI-Systemen Dritte, die mit ihren KI-Systemen interagieren, nur eingeschränkt schulen. Allerdings sollten sie, im Einklang mit den Bestimmungen aus Art.  50 KI-VO, Nutzerinnen und Nutzern gegenüber zumindest transparent machen, dass es sich jeweils um ein KI-System handelt und die Funktionsweise sowie Limitationen des KI-Systems in einer das KI-System begleitenden Gebrauchsanleitung erläutern. Auf diese Art und Weise wird auch die KI-Kompetenz derjeniger, die mit dem KI-System interagieren, gestärkt.

IV. Praxistipps für die Umsetzung

KI-Kompetenz gemäß Art. 4 KI-VO ist eine umfassende Schulungsanforderung, die sowohl der Vermittlung von Grundkenntnissen als auch einer rollen- und kontextspezifischen Sensibilisierung von Beschäftigten bedarf. Diese Anforderung wird bereits zum 2. Februar 2025 anwendbar.

Um die Umsetzung von Art. 4 KI-VO handhabbar zu halten, bietet sich ein mehrstufiger Ansatz an: Zunächst sollten Unternehmen in eine Basisschulung investieren, welche die Grundlagen der KI-Kompetenz vermittelt und auf alle Beschäftigten ausgerichtet ist. Diese Schulung sollte prägnant sein, sowohl auf ein nicht-technisches als auch nicht-juristisches Publikum ausgerichtet sein und primär darauf abzielen, ein Grundverständnis zu schaffen 1) von KI-Systemen, so wie sie die KI-VO definiert, 2) der Rolle, die ein Unternehmen im Hinblick auf ein KI-System einnehmen kann, 3) der Chancen, Risiken und möglichen Schäden, die mit KI-Systemen einhergehen sowie 4) der Unterscheidung zwischen regulären KISystemen und Hochrisiko-KI-Systemen.

In einem nächsten Schritt sollten sich Unternehmen Gedanken darüber machen, inwiefern und in welchen Anwendungsbereichen rollen- und kontextspezifische Schulungen angeboten werden sollten. Im Einklang mit dem risikobasierten Ansatz der KI-VO empfiehlt sich dabei, weiterführende Schulungen für Personengruppen zu priorisieren, die im Auftrag des Unternehmens mit Hochrisiko-KI-Systemen hantieren, nicht zuletzt, weil mit einem sachfremden Einsatz von Hochrisiko-KI-Systemen auch das Risiko besonders gravierender Schäden und entsprechend hoher Strafzahlungen einhergeht. Darüber hinaus sollten Unternehmen überlegen, ob sie weiterführende Schulungen für bestimmte Rollenprofile anbieten sollten, insbesondere für Softwareentwickler und Data Scientists, die nicht nur ein rechtliches und normatives, sondern auch ein technisches Verständnis der Anforderungen haben sollten, die mit der verantwortungsvollen Entwicklung und Implementierung von KI-Systemen einhergeht.^[9]

In Ermangelung weiterer Richtlinien vom Gesetzgeber empfiehlt sich, Schulungen der KI-Kompetenz Teil der jährlichen Compliance-Schulungen werden zu lassen, die Unternehmen bereits durchführen müssen, um beispielsweise die gesetzlichen Anforderungen an Datenschutz und Informationssicherheit zu erfüllen. Dies wiederum sollte die Bereitstellung von Nachweisen erleichtern, sollte die Aufsichtsbehörde danach fragen. Zwar sind keine direkten Strafen für die Nichteinhaltung von Art.  4 KI-VO aufgeführt. Doch Unternehmen sollten sich darüber im Klaren sein, dass bei Schäden, die durch eine fehlerhafte oder gar fahrlässige Entwicklung und Implementierung von KI-Systemen entstehen, eine Kausalitätsvermutung zwischen der fehlenden Schulung und dem entstandenen Schaden aufgestellt werden kann.^[10] Gleichzeitig wird gerade durch die Schulung von Beschäftigen im sachkundigen und verantwortungsvollen Umgang mit KI-Systemen auch das Risiko von Fehlverhalten minimiert. Eine Investition in die KIKompetenz ist daher durchaus nicht nur aus regulatorischer, sondern auch aus geschäftlicher Perspektive von Vorteil.

V. Zusammenfassung

Art.  4 KI-VO ist eine umfassende Schulungsanforderung, die zum 2. Februar 2025 in Kraft tritt. Dabei verlangt Art. 4 KI-VO sowohl den sachkundigen Umgang mit KI-Systemen als auch ein Grundverständnis ihrer Chancen, Risiken und möglichen Schäden. Ob jemand KI-kompetent ist, erschließt sich letztlich aus der Anwendung: Denn die Anforderungen an die KI-Kompetenz variieren, je nach Hintergrund der Beschäftigten, dem Kontext, in dem KI-Systeme eingesetzt werden sowie die Art und Weise, auf die Dritte von KI-Systemen betroffen sind. Die KI-VO trägt diesem Umstand Rechnung, indem sie nicht nur Grundkenntnisse der KI-Kompetenz fordert, sondern auch rollen- und kontextspezifische Weiterbildungen. Eine Investition in die KIKompetenz von Beschäftigten lohnt sich dabei nicht aus regulatorischer, sondern auch geschäftlicher Perspektive, da KI-Systeme nur dann erfolgreich entwickelt und implementiert werden können, sofern Beschäftigte sachkundig und im Einklang mit rechtlichen und ethischen Anforderungen mit ihnen umzugehen wissen.

_{[1] Für einen Überblick der verschiedenen Umsetzungsfristen der KI-VO, s. Schwarmann/Keber/Zenner-Schwartmann/Kurth, KI-VO: Leitfaden für die Praxis, Teil I, Kap. 1 Rn. 1 ff.}

_{[2] Für weiterführende Erläuterung zur Unterscheidung zwischen Anbietern und Betreibern, s. Schwartmann/Keber/Zenner-Keber/Zenner, KI-VO: Leitfaden für die Praxis, Teil II, Kap. 1 Rn. 19 ff}

_{[3] Zu den Anforderungen an KI-Kompetenz, s. auch Wendt/Wendt, Das neue Recht der Künstlichen Intelligenz, § 5 Rn. 46 ff.}

_{[4] Für eine ausführliche Behandlung der Grundanforderungen an die KI-Kompetenz, s. Cipierre, RDV 5/2024.}

_{[5] Zum Verhältnis zwischen KI-VO und DS-GVO, s. Schwartmann/Keber/ZennerSchwartmann/Köhler, KI-VO: Leitfaden für die Praxis, Teil II Kap. 3 Rn. 3 ff.}

_{[6] S.  zu den Pflichten von Anbietern und Betreibern von Hochrisiko-KI-Systemen weiterführend Schwarmann/Keber/Zenner-Kremer/Haar, KI-VO: Leitfaden für die Praxis, Teil II, Kap. 1 Rn. 364 ff.}

_{[7] Zur Zweckbestimmung eines GPAI-Systems, s. auch Schwartmann/Zenner, EuDIR 1/2025}

_{[8] Zur Zweckänderung im Sinne von Art. 25 Abs. 1 lit. c) KI-VO, s. auch Schwartmann/Zenner, EuDIR 1/2025.}

_{[9] Zur Operationalisierung von KI-Kompetenz, s. auch Hense/Mustać, AI Act kompakt: Compliance, Management & Use Cases in der Unternehmenspraxis, Teil I, Kap. 1 Abschn. 1 Abs. e) UAbs. (1) ff.}

_{[10] Zur Rechtsfolge bei Nichtbeachtung, s. auch Fleck, KIR 3/2024.}