Aufsatz : Künstliche Intelligenz im Automobil – Rechtsrahmen und Implikationen von diskriminierender KI : aus der RDV 1/2026, Seite 22 bis 28

Die EU macht seit 2022 verschiedene Assistenzsysteme zur Pflicht in Neufahrzeugen. Ab 2024 zählen u.a. Notbremsund Spurhalteassistenten, Müdigkeitserkennung, sowie Unfalldatenspeicher zur Standardausstattung. Die zunehmende Systemverantwortung ab Level 3 und die Pflichtausstattung machen eine juristische Neubewertung der Verantwortlichkeit und Diskriminierungsgefahren durch KI-Systeme erforderlich.^[8]

KI ermöglicht durch Fusion aus Kamera-, Radar- und LiDAR-Sensorik und deren Daten eine präzise Umfeldwahrnehmung von Fahrzeugen. Die KI erkennt und klassifiziert dabei Objekte wie Fußgänger in Echtzeit und bewertet deren Verhalten.^[9] Weitere Einsatzbereiche sind die Trajektorieplanung welche das Verhalten anderer Verkehrsteilnehmer prognostiziert und darauf reagiert, die Fahrzeuglokalisierung, Sprachsteuerung und die Sicherheitsüberwachung von Fahrsystem.^[10] Schwächen bestehen vor allem in der Objekterkennung bei ungünstigen Bedingungen oder gezielter Manipulation der Umwelt.^[11]Eine diversifizierte und technisch robuste Trainingsdatenbasis ist somit für derartige Systeme unerlässlich.

II. Maschinelles Lernen (ML) und neuronale Netzwerke

Um die enge Verzahnung von Technik und Recht sowie deren Problemstellungen nachvollziehen zu können ist es unausweichlich auch die technischen Gegebenheiten von Beginn an mit einzubeziehen.

Moderne KI-Systeme, wie z.B. für das SAE-Level 3, basieren überwiegend auf maschinellem Lernen. Hierbei lernt das System, anhand großer Mengen annotierter Daten Muster zu erkennen, etwa zur Identifikation von Fußgängern.^[12] Besonders leistungsfähig, aber schwer durchschaubar, sind neuronale Netzwerke, bei denen Daten durch mehrere Schichten künstlicher Neuronen verarbeitet werden (Deep Learning). Zunächst sind die Gewichte der Neuronen zufällig gesetzt, erst durch wiederholte Anpassung via Backpropagation, einem Rückkopplungsverfahren bei dem das falsche Ergebnis wieder zurück durch jede Schicht und in die einzelnen Neuronen geschickt wird, lernt das Netzwerk, die Parameter so zu optimieren, dass der Output dem gewünschten Ergebnis entspricht.^[13] Zwar ermöglichen sie so eine präzise Objekterkennung, ihre Entscheidungen sind jedoch oft nicht nachvollziehbar (Blackbox), ein rechtliches Problem in Bezug auf Haftung und Diskriminierung.^[14] Die Qualität und Vielfalt der Trainingsdaten ist entscheidend. Werden bestimmte Gruppen, etwa PoC, nicht ausreichend berücksichtigt, drohen systematische Erkennungsfehler.

III. Convolutional Neural Networks (CNNs)

CNNs als spezialisierte Klasse der neuronalen Netzwerke sind auf die Verarbeitung von Bilddaten fokussiert und bilden das technische Rückgrat der Objekterkennung. Sie analysieren Bildinhalte Schicht für Schicht und Lernen mit Hilfe spezieller Optimierungsverfahren, visuelle Merkmale zuverlässig zu identifizieren.^[15] Um reines Auswendiglernen (Overfitting) zu vermeiden und die Robustheit für unbekannte Daten zu erhöhen, werden Validierungsmethoden und gezielte Datenveränderungen (Data Augmentation) eingesetzt. Dennoch können vorhandene Verzerrungen in den Trainingsdaten reproduziert werden, weshalb Fairness und Diskriminierungsfreiheit fortlaufend kontrolliert werden müssen.^[16]

IV. Diskriminierung durch KI

Für die rechtliche Bewertung diskriminierender Entscheidungen autonomer Fahrzeugsysteme ist eine klare Definition von Diskriminierung notwendig. Das Verständnis des AGG und des Art. 3 GG als zentrale Normen zur Bekämpfung von Diskriminierungen werden dazu herangezogen. Zu beachten gilt, dass anders als bei menschlichen Akteuren das Motiv einer KI irrelevant ist, maßgeblich ist allein das Ausgabeergebnis und dessen Wirkung.^[17]

Diskriminierung im Sinne des AGG liegt vor, wenn eine ungerechtfertigte Ungleichbehandlung aufgrund geschützter Merkmale erfolgt, § 3 AGG. Diese in § 1 AGG niedergeschriebenen Merkmale, etwa ethnische Herkunft, Behinderung oder Alter sind auch in Art.  3 Abs.  3 GG normiert. Diskriminierungen werden nach dem AGG in unmittelbare (§ 3 Abs. 1 AGG) und mittelbare Benachteiligung (§ 3 Abs. 2 AGG) unterschieden. Im Kontext der KI ist insbesondere die mittelbare Diskriminierung durch scheinbar neutrale Systeme relevant, wenn PoC etwa systematisch seltener als Fußgänger erkannt werden. Auch eine präferenzbedingte Diskriminierung durch voreingenommene Entwicklerentscheidung kann sich negativ auswirken.

Das AGG ist grundsätzlich technologieneutral anwendbar, jedoch erschwert die Intransparenz vieler KI-Systeme die Zurechnung. In der Literatur wird zunehmend gefordert, spezifische gesetzliche Regelungen für algorithmusbasierte Diskriminierung zu schaffen, etwa zur Erweiterung des AGG oder durch neue Diskriminierungskategorien.^[18] Dennoch dient das AGG aufgrund seiner breiten Merkmalsdefinition als geeigneter erster Prüfungsmaßstab.

Grundsätzlich entstehen Diskriminierungen durch KI-Systeme in (teil-) autonomen Fahrzeugen häufig durch unausgewogene Trainingsdaten. Unterrepräsentationen, etwa bei Hautfarbe, Kleidung oder Lichtverhältnissen, führen dazu, dass bestimmte Personengruppen wie PoC seltener korrekt erkannt werden.^[19] Auch gesellschaftliche Vorurteile, die in den Datensätzen enthalten sind, sog. Bias, können sich durch das maschinelle Lernen systematisch verstärken.^[20] Physikalische Einschränkungen, etwa bei der Beleuchtung, verstärken diesen Effekt zusätzlich. Hinzu kommen Probleme durch falsche Modellarchitekturen, etwa wenn Ausgabeschichten zu wenig differenzierte Kategorien zulassen oder die FeatureExtraktion nicht robust genug ist, um die Vielfalt menschlicher Erscheinungsformen zu erfassen.^[21]

V. Rechtliche Regelungen zu KI in Fahrzeugen

Neben produkthaftungsrechtlichen Normen bilden branchenspezifische Regelungen und die DS‑GVO einen zentralen Rechtsrahmen für die Entwicklung und Nutzung von KI-Systemen beim (teil-) autonomen Fahren.

1. Datenschutz-Grundverordnung (DS‑GVO)

Die DS‑GVO schützt, wenn sie anwendbar ist, auch vor diskriminierenden Datenverarbeitungen. Bild- und Videodaten zur Fußgängererkennung gelten regelmäßig als personenbezogene Daten, Art. 2, 4 Nr. 1 DS‑GVO, wenn identifizierbare Merkmale wie z.B. Gesichtsgeometrie oder Gangbild enthalten sind.^[22] Dies ist durch die bildliche Aufnahme des Fußgängers gegeben. Anonymisierte Daten, etwa durch Unkenntlichmachung von Gesichtern oder ersetzen menschlicher Konturen, können teilweise ausreichen, doch sind reale, unveränderte Verkehrsdaten oft unverzichtbar, um die Leistungsfähigkeit der KI zu sichern. Ziel sollte es jedoch sein stetig mit anonymisierten Daten auszukommen. Die Nutzung besonderer Kategorien personenbezogener Daten (Art. 9 DS‑GVO), wie biometrische Merkmale oder ethnische Herkunft, ist bei der Umfelderkennung nicht primärer Zweck, wird jedoch relevant, wenn gezielt zur Vielfaltserhöhung entsprechende Merkmale erhoben werden.^[23] Mithin ist grundsätzlich von personenbezogenen Daten auszugehen und im jeweiligen Einzelfall abzuschätzen, ob eine Identifizierung möglich ist.

Verantwortlicher im Sinne des Art. 4 Nr. 7 DS‑GVO ist in der Regel der Fahrzeughersteller, bei Kooperationen mit Drittfirmen kann eine gemeinsame Verantwortlichkeit (Art.  26 DS‑GVO) vorliegen.^[24]

Ferner muss eine Verarbeitung gem. Art. 4 Nr. 2 DS‑GVO durch den Verantwortlichen stattfinden. Der Begriff der Verarbeitung ist weit auszulegen und umfasst Speicherung, Übermittlung, Löschung sowie jede sonstige Nutzung, auch temporär im Fahrzeug.^[25] Ergänzend verpflichtet § 1 g StVG den Halter autonomer Fahrzeuge zur Speicherung spezifischer Betriebs- und Umweltdaten, insbesondere bei Unfällen oder kritischen Ereignissen.

Da die Verarbeitung durch KI-Systeme regelmäßig automatisiert erfolgt, könnte Art. 22 DS‑GVO und somit das Verbot der Verarbeitung einschlägig sein, wenn Entscheidungen, etwa zur Erkennung eines Fußgängers, ausschließlich automatisiert getroffen werden und rechtliche Wirkung entfalten.^[26] Ziel dieser Vorschrift ist es, die besondere Schutzbedürftigkeit Betroffener zu wahren und zu verhindern, dass Menschen zum bloßen Objekt algorithmischer Entscheidungen degradiert werden. Es ist daher zu klären, ab welchem SAE-Level nicht mehr von einem hinreichenden menschlichen Einfluss ausgegangen werden kann, der eine Anwendung dieser Norm entgegenstünde.

Ausnahmen bestehen aktuell bei SAE-Level 3 und niedriger. Die verpflichtende Eingriffsmöglichkeit sowie das Richten der Aufmerksamkeit des Fahrers auf den Straßenverkehr entkräften das Bestehen einer ausschließlich automatisierten Verarbeitung.^[27]Der Mensch hat faktisch die Möglichkeit und die Pflicht sich gegen die Entscheidung des Fahrzeuges zu wenden und die Hoheit zu übernehmen.

Ab dem SAE-Level 4 fährt das Fahrzeug in definierten Betriebsbereichen ohne Eingriffspflicht des Menschen. Der Mensch hat keinen hinreichenden Einfluss mehr auf die Entscheidung. In diesen Phasen werden Entscheidungen, auch sicherheitskritische, vollständig durch das System getroffen. Hier liegt in der Praxis erstmals eine rein automatisierte Entscheidung i.S.v. Art. 22 DS‑GVO vor, etwa wenn ein Fahrzeug autonom einen Ausweich- oder Bremsvorgang durchführt, der zu einem Unfall mit Personen- oder Sachschaden führt.

Mit dem SAE-Level 5 tritt Vollautonomie ohne menschliche Eingriffsmöglichkeit ein. Jede Fahrentscheidung ist dadurch eine ausschließlich automatisierte Entscheidung. Damit ist Art. 22 DS‑GVO hier grundsätzlich einschlägig, und ein Verbot besteht, sofern keine Ausnahme nach Art.  22 Abs.  2 lit. b) DS‑GVO greift (z.B. gesetzliche Erlaubnis, wie § 1 g StVG, und geeignete Schutzmaßnahmen durch den Hersteller). Abhilfe könnte durch eine steigende Sensorfusion die entsprechende Nutzung von weiterentwickelten Systemen bringen, die rein mit anonymisierten Daten auskommen.

Ferner muss die Verarbeitung auf einer Rechtsgrundlage des Art.  6 DS‑GVO beruhen. Trainingsdaten stützen sich meist auf die Einwilligung, Art. 6 Abs. 1 lit. a) DS‑GVO, im Straßenverkehr greift häufig nur die Interessenabwägung nach Art. 6 Abs. 1 lit. f) DS‑GVO.

Im aktiven Straßenverkehr kann sich die Datenverarbeitung nach Art. 6 Abs. 1 lit. f) DS‑GVO auf das berechtigte Interesse des Herstellers stützen, vorausgesetzt die Rechte des Betroffenen überwiegen nicht.^[28] Wird auf Pseudonymisierung verzichtet, muss das Interesse des Herstellers an einer effektiven Objekterkennung mit dem Recht auf informationelle Selbstbestimmung vereinbar sein. Dabei gilt der Erforderlichkeitsgrundsatz und es ist zu prüfen, ob der Zweck auch durch mildere, gleich wirksame Mittel erreicht werden kann.

Der Verantwortliche muss dafür einen legitimen Zweck verfolgen. Dieser kann rechtlicher, tatsächlicher, wirtschaftlicher Natur sein oder einen allgemeinen Nutzen haben. Der Automobilhersteller verfolgt primär ein wirtschaftliches Interesse an der Marktreife seines Produktes, sowie das übergeordnete Ziel, die Verkehrssicherheit zu erhöhen und Unfälle zu vermeiden.^[29] Zur Erreichung des legitimen Zwecks benötigt es einem ebenso legitimen Mittel. Erst die Außenraumüberwachung ermöglicht es dem Fahrzeug zu „sehen“ und auf Situationen zu reagieren. Mithin ist sie geeignet, den Zweck zu erreichen.

Ferner muss die Verarbeitung erforderlich sein, um berechtigte, schutzwürdige, Interessen zu wahren, und es darf kein gleich wirksames milderes Mittel bestehen.^[30] Ein solches könnte die Pseudonymisierung der Bilddaten sein, die nach Art. 25 Abs. 1 und 2 DS‑GVO ein zentrales Element der Datenminimierung darstellt. Unterbleibt sie, muss der Verantwortliche begründen, warum dies nicht möglich oder zumutbar war. Hohe Sicherheitsanforderungen, wie etwa die notwendige Verarbeitungsgeschwindigkeit in dynamischen Verkehrssituationen, können eine Verarbeitung ohne Pseudonymisierung rechtfertigen, da Verzögerungen zu Fehlentscheidungen führen könnten. Auch für die präzise Trajektorievorhersage ist eine detaillierte Datenerhebung derzeit erforderlich. In Zukunft könnte ein breiterer Datenpool, etwa in einer „Smart-City“, eine stärkere Pseudonymisierung oder Anonymisierung ermöglichen.

Bei der Abwägung ist das allgemeine Interesse am autonomen Verkehr ebenfalls zu beachten. Maßgeblich sind Art und Umfang der Verarbeitung, die Umstände, die Möglichkeit zur Vermeidung der Erfassung, so wie die Zahl der Betroffenen. Fußgänger können sich der Umgebungserkennung kaum entziehen, oft ohne überhaupt von der Verarbeitung zu wissen werden sie Teil dieser. Ein Ausweichen wäre praktisch unzumutbar, zudem ist im öffentlichen Raum ein unbestimmter, großer Personenkreis betroffen.^[31]

Aus Sicht des Verarbeiters spricht für die Datenverarbeitung, das nur der unmittelbare Fahrzeugumkreis erfasst und unnötige Daten anonymisiert oder gar nicht erhoben werden. Die Speicherung erfolgt in der Regel nicht dauerhaft, sondern nur bei Unfällen. Aufgrund der Fahrzeugbewegung ist die Erfassung einzelner Personen nur kurzzeitig und betrifft ausschließlich den öffentlichen Raum, nicht die Privat- oder Intimsphäre.^[32] Der Eingriff in die informationelle Selbstbestimmung wiegt daher geringer. Zudem dient die Verarbeitung sicherheitsrelevanten Zielen im Interesse der Betroffenen sowie der Allgemeinheit. Mithin überwiegen die Interessen des Verantwortlichen und eine Verarbeitung auf Grundlage des Art. 6 Abs. 1 lit. f) DS‑GVO ist zunächst einschlägig.^[33]

Führt die Datenverarbeitung zu diskriminierenden Ergebnissen, ist die Interessenabwägung jedoch stets zugunsten der betroffenen Person zu entscheiden. Solche Ergebnisse verstoßen regelmäßig gegen die Grundsätze aus Art. 5 Abs. 1 lit. a) DS‑GVO (Rechtmäßigkeit, Treu und Glauben) sowie gegen Art. 25 DS‑GVO (Privacy by Design).

Ferner gelten die Datenschutzgrundsätze der DS‑GVO uneingeschränkt. Rechtmäßigkeit, Transparenz, Zweckbindung und Datenminimierung müssen ebenso beachtet werden wie präventive technische und organisatorische Maßnahmen nach Art. 24 und 25 DS‑GVO. Trotz der Black-Box-Problematik bleibt der Verantwortliche stets zur Auskunft und Nachvollziehbarkeit nach Art. 12-15 DS‑GVO verpflichtet und muss die Funktionsweise erläutern können. Die Verletzung datenschutzrechtlicher Pflichten kann infolgedessen zu Schadenersatzansprüchen nach Art. 82 DS‑GVO sowie zu Bußgeldern gem. Art. 83 DS‑GVO führen.

Ein Problem bleibt die Beweislast, der Betroffene muss die Ursächlichkeit der Diskriminierung durch das System darlegen, was ihm durch technische Intransparenz erschwert wird.^[34] Es besteht somit ein rechtliches Risiko für Hersteller, wenn systemische Diskriminierungen nachweisbar sind.

2. Branchenspezifische Regelungen

Neben allgemeinen Gesetzen existieren zahlreiche technische Normen und Richtlinien, die speziell auf die Sicherheitsanforderungen von (teil-) autonomen Fahrzeugen zugeschnitten sind.

Zu beachten ist z.B. die von der UNECE als Vorschriften für Typengenehmigungen von Fahrzeugen erlassene UNECE RE 157, welche die automatisierten Spurhaltesysteme (SAE-Level 3) regelt und u.a. die Pflicht zur Datenaufzeichnung bei lernfähigen Algorithmen festlegt.^[35] Ferner die UNECE R152, welche Notbremsassistenzsysteme betrifft. Schwachstellen dieser Normen ist ein Fokus auf normale Testbedingungen, das Auslassen von Umgebungsstörungen oder komplexen Verkehrsszenarien, eine fehlende Berücksichtigung von prozessualen Schwächen der KI und zu hohe zugelassene Fehlerquoten im Hinblick auf eine steigende Automatisierung.^[36]

Als zentrale ISO-Normen sind die ISO 26262 anzusehen, welche sich mit der funktionalen Sicherheit elektronischer Systeme und Fehlern von sicherheitsrelevanten Komponenten beschäftigt, sowie die ISO/PAS 21448 (SOTIF), welche die ISO 26262 um besondere Fehlfunktionen von KI-Systemen ergänzt und die funktionalen Grenzen prüft. Die SOTIF fördert eine Use-Case-basierte Gefahrenanalyse, etwa für die Fußgängererkennung.^[37] Problematisch ist jedoch, dass sich die Norm noch stark an der Rolle des Fahrers als Rückfallebene orientiert (SAE-Level 3), obwohl sich die Verantwortung zunehmend auf das System selbst verlagert.

Die im Dezember 2024 veröffentlichte ISO 8800 ergänzt die SOTIF und schließt eine wesentliche Regelungslücke zur funktionalen Sicherheit von KI in Straßenfahrzeugen. Sie soll die Entwicklung, Prüfung und den Betrieb von KI-Systemen über den gesamten Lebenszyklus hinweg, von der Trainingsphase bis zum Einsatz im Fahrzeug, standardisieren und befindet sich aktuell in der Anwendung.^[38] Ihr Ziel ist es, durch frühzeitige Regulierung diskriminierende Tendenzen zu vermeiden und die Qualität der Daten sowie die Sicherheit auch in Extremsituationen sicherzustellen. Sie klärt die Frage, wie und mit welcher Genauigkeit eine KI im Fahrzeug funktionieren muss damit kein Unfall geschieht. Besonders relevant ist die Festlegung technischer Anforderungen bereits in frühen Entwicklungsphasen. Damit schafft die ISO 8800 erstmals eine fundierte und frühe Grundlage für sichere, innovative KI-Anwendungen in der Automobilbranche.^[39] Es bleibt somit abzuwarten, ob sie ihre Wirkung in diesem Bereich vollends entfalten kann.

3. Einordnung in deutsches Verfassungsrecht

Das Grundgesetz verpflichtet den Staat zur Gleichbehandlung (Art. 3 Abs. 1 GG) und verbietet Diskriminierung u. a. aufgrund der „Rasse“ (Art. 3 Abs. 3 GG). Im Verhältnis zwischen Privaten, etwa zwischen betroffenen Fußgängern und Fahrzeugherstellern, gilt Art.  3 GG nicht unmittelbar. Eine mittelbare Drittwirkung kann nur unter engen Voraussetzungen greifen, etwa wenn ein strukturelles Machtgefälle besteht und eine Teilhabe am gesellschaftlichen Leben systematisch ausgeschlossen wird.^[40]

Im vorliegenden Fall einer potenziellen KI-Diskriminierung durch fehlerhafte Objekterkennung ist eine solche Drittwirkung nicht ohne Weiteres anzunehmen. Weder ist der Automobilhersteller funktional mit dem Staat vergleichbar, noch ist ein gezielter und gewollter Ausschluss von Personen mit bestimmten Merkmalen erkennbar.^[41] Zwar kann der Ausschluss von PoC durch algorithmische Verzerrungen faktisch zu Nachteilen führen, doch fehlt es bei SAE-Level 4-5 an der vollständigen Abhängigkeit der betroffenen Person vom System. Um eine derartige Angewiesenheit des Fußgängers bejahen zu können, müssten sämtliche im Straßenverkehr befindliche Fahrzeuge autonom sein und keine Lenkeinrichtung mehr besitzen. Der Straßenverkehr und damit alle in Verbindung stehenden Partizipanten wären somit wesentlich davon abhängig, dass die Systeme sicherheitskritische Aufgaben fehlerfrei ausführen und keine Diskriminierung vornehmen.

Die Rechtsprechung des BVerfG zur mittelbaren Drittwirkung (etwa Stadionverbot-Urteil) wird diskutiert, lässt sich aber nur eingeschränkt übertragen. Eine strukturelle Überlegenheit, wie sie bei KI-gestützten Entscheidungen denkbar ist, müsste aktiv genutzt werden, um Diskriminierung zu bewirken oder in Kauf zu nehmen, was hier mangels bewusster Gestaltung nicht vorliegt.^[42]

Eine grundrechtliche Haftung des Herstellers über Art. 3 GG scheidet aus. Fraglich ist, ob diese Schutzlücke durch das einfachgesetzliche Antidiskriminierungsrecht zu schließen ist.

4. Allgemeines Gleichbehandlungsgesetz

Das Allgemeine Gleichbehandlungsgesetz (AGG) schützt vor Diskriminierung u.a. wegen der ethnischen Herkunft, des Geschlechts oder einer Behinderung. Zwar ist das AGG technologieneutral formuliert und grundsätzlich auf KI übertragbar, sein Anwendungsbereich ist jedoch u. a. auf bestimmte schuldrechtliche Konstellationen beschränkt (§ 19 AGG).^[43] Die Diskriminierung durch KI im Außenraum eines (teil-) autonomen Fahrzeugs, etwa bei nicht Erkennung eines Fußgängers, fällt mangels Vertragsbeziehungen nicht unter den Schutzbereich des AGG. Anders kann dies im Bereich des Interieur-Sensing sein, etwa bei Benachteiligungen durch Gestensteuerung oder Müdigkeitserkennung, da hier ein verträgliches Schuldverhältnis angenommen werden kann.^[44]

Die geschützten Merkmale des § 1 AGG sind grundsätzlich für KI-Anwendungen geeignet, eine Erweiterung auf neue technische Diskriminierungsdimensionen könnten jedoch erforderlich werden und wird diskutiert.

Adressat des AGG ist derjenige, der Einfluss auf das System nimmt, regelmäßig wäre dies also der Fahrzeughersteller.

Die Antidiskriminierungsstelle kann Betroffene unterstützen, besitzt aber keine Auskunftspflicht gegenüber Unternehmen, was den Rechtsschutz Betroffener einschränkt.^[45]Beweiserleichterungen (§ 22 AGG) entlasten Betroffene nur teilweise, da die Grundtatsache der Diskriminierung weiterhin selbst zu belegen ist.^[46]Ansprüche auf Schadens- und Entschädigungszahlungen (§ 21 AGG) sind somit bei erfolgreicher Geltendmachung möglich, auch für immaterielle Schäden.

Ferner kann eine mittelbare Diskriminierung durch KI unter engen Voraussetzungen gerechtfertigt sein, etwa bei Erreichung eines legitimen Ziels durch verhältnismäßige Mittel (§ 3 Abs. 2 AGG) bei der Airbagauslösung von kleinwüchsigen Menschen.^[47] Unmittelbare Benachteiligung wegen der ethnischen Herkunft hingegen sind grundsätzlich nicht gerechtfertigt (§ 20 AGG).

Die Analyse zeigt, trotz technikoffener Formulierungen weist das AGG Schutzlücken bei KI-bedingten Diskriminierungen auf, insbesondere außerhalb vertraglicher Beziehungen. Eine risikobasierte Erweiterung des Anwendungsbereichs oder die Schaffung neuer spezifischer Regelungen sollte weiterhin in Betracht gezogen werden.

VI. § 823 BGB als Auffanganspruch

Sofern das AGG keine Anwendung findet, bleibt Betroffenen lediglich der zivilrechtliche Weg über § 823 Abs.  1 BGB, um Schadenersatz für Folgen der durch die KI verursachten Diskriminierung geltend zu machen. Im Falle einer physischen Schädigung, bei der Nichterkennung eines Fußgängers durch ein (teil-) autonomes Fahrzeug, sind die Rechtsgüter Körper oder Gesundheit regelmäßig betroffen. Die Entscheidung des KI-Systems, trotz Vorhandenseins eines Fußgängers sowohl in der realen Situation als auch in den Daten, nicht abzubremsen stellt ein aktives Tun dar, nicht bloß ein Unterlassen da es sich bewusst zur Weiterfahrt entscheidet. Zusätzlich kann das Unterlassen der Fehlerbehebung durch den Automobilhersteller als Handlung aufgrund seiner Garantenstellung gesehen werden.^[48] Kausalität, Rechtswidrigkeit und Verschulden, insbesondere in Form fahrlässiger Produktfreigabe oder unzureichender Validierung durch den Hersteller, sind in der Regel ebenfalls zu bejahen.^[49] Gleiches gilt für Systeme der Level 3, teilweise bis Level 4, welche den Fahrer als Überprüfendes und eingreifendes Organ besitzen, wenn dieser gem. § 276 Abs. 2 BGB seine im Verkehr erforderliche Sorgfalt außer Acht lässt.

Die deliktische Haftung kann sich je nach Automatisierungsgrad sowohl gegen den Fahrer bzw. Halter (insbesondere bei Level 3-4 mit Eingriffspflicht) als auch gegen den Hersteller richten. Die Herstellerhaftung gewinnt dabei zunehmend an Bedeutung, da dieser letztlich die KI in Verkehr bringt und damit das Risiko setzt. Die Halterhaftung nach § 7 StVG bleibt daneben bestehen, wobei Versicherer im Innenverhältnis Rückgriff gegen den Hersteller nehmen könnten.

Diese Konstellation zeigt, dass trotz Lücken im Antidiskriminierungsrecht zumindest über das Deliktrecht eine individuelle Kompensation erreichbar ist, gleichwohl ohne präventive Wirkung.

VII. Einfluss der KI-VO

Die im Juni 2024 in Kraft getretene KI-VO schafft erstmals einen umfassenden EU-Rechtsrahmen für den Einsatz von KI. Ziel ist ein grundrechtsschützender, risikobasierter Umgang mit KI bei gleichzeitiger Innovationsförderung (Art. 1 KI-VO). Erfasst werden alle Akteure entlang der KI-Wertschöpfungskette, auch Fahrzeug-KI wie Objekterkennungs- oder Interieur-Sensing-Systeme (Art. 2 KI-VO).^[50]

Die Verordnung unterscheidet vier Risikoklassen, wobei Hochrisiko-KI strenge Vorgaben etwa zur Datenqualität und Transparenz erfüllen muss (Art.  6-14 KI-VO).^[51] Fahrzeug-KI zählt zwar aufgrund ihres hohen Risikos für die Gesundheit, Sicherheit oder Grundrechte von Menschen zur HochrisikoKategorie, ist jedoch vom Anwendungsbereich ausgenommen, da sie bereits durch sektorale Harmonisierungsrechtsvorschriften (etwa EU-VO 2018/858 oder 2019/2144) reguliert sind (Anhang I Teil B KI-VO).^[52] Die Ausnahme, auf Initiative der Automobilindustrie, soll Innovationshemmnisse vermeiden, birgt aber die Gefahr von neuen Regelungslücken, insbesondere im Bereich des Diskriminierungsschutzes.

Durch die Ausnahme der Fahrzeug-KI vom Anwendungsbereich der KI-VO greifen zentrale Schutzmechanismen wie Anforderungen an Trainingsdaten (Art. 10 KI-VO), Protokollierung (Art. 12 KI-VO) oder menschliche Aufsicht (Art. 14 KI-VO) nicht. Stattdessen gelten UNECE-Regelung und ISO-Normen wie ISO 26262 oder SOTIF, die jedoch diskriminierungsrelevante Aspekte bislang wenig berücksichtigen.

Zwar setzt die neue ISO 8800 erste Maßstäbe zur Berücksichtigung von Bias und Trainingsdatenqualität, doch ist ihre Umsetzung noch lückenhaft, insbesondere bei bereits eingesetzten Systemen. Der Ansatz der branchenspezifischen Eigenregulierung ist zwar zu begrüßen, jedoch verbleiben, wie aufgezeigt, dadurch noch immer Schutzlücken. Aktuelle Standards adressieren primär funktionale und zu wenig ethische oder diversitätsbezogene Anforderungen.

Kaum umzusetzen ist die in Art.  14 KI-VO vorgesehene menschliche Aufsicht. Sie ist im Straßenverkehr kaum praktikabel, insbesondere bei plötzlichen Gefahrensituationen durch den Einsatz von Teleoperatoren, etwa in SAE-Level 4 Fahrzeugen.^[53] Zudem besteht hier das Risiko des Automatisierungsbias, also der unkritischen Übernahme von KI-Entscheidungen durch den Teleoperator.^[54]

VIII. Fazit und Präventionsstrategien

Diskriminierung durch KI in (teil-)autonomen Fahrzeugen, insbesondere gegenüber PoC, sind systemisch bedingt und bislang rechtlich unzureichend adressiert. Hauptursachen sind unausgewogene Trainingsdaten und technische Grenzen der Bilderkennung. Zwar liefern die eingesetzten CNNs präzise Ergebnisse, doch ihre Intransparenz erschwert den rechtlichen Nachweis diskriminierender Entscheidungen.

Für Diskriminierungsfreie KI tragen Entwickler und Fahrzeughersteller besondere Verantwortung. Vielfältiger Trainingsdaten, gegebenenfalls synthetisch ergänzt, sowie optimierte Bildverarbeitung und Sensorfusion können die Erkennung unterrepräsentierter Gruppen verbessern.  Zugleich sind dabei datenschutzrechtliche Vorgaben (Art. 9 DS‑GVO) und die Vermeidung indirekter Diskriminierung zu beachten.

Da die KI-VO Fahrzeug-KI nicht erfasst, ist die Vertiefung ihrer Schutzprinzipien insbesondere zur Datenqualität und Protokollierung, in Normen wie die ISO 8800 erforderlich. Auch klare Dokumentationspflichten und vertragliche Regelungen zwischen Herstellern und Zulieferern sind nötig, um Nachbesserungen zu erleichtern und Haftungsfragen abzusichern.

Rechtlich bestehen Schutzlücken, weder das AGG noch Art.  3 GG greifen wirksam und datenschutzrechtliche Mittel entfalten häufig erst post hoc Wirkung. § 823 Abs. 1 BGB bietet betroffenen zivilrechtlichen Schutz, jedoch keine präventive Wirkung. Umso wichtiger wird ein Zusammenspiel aus technischer Verbesserung, verbindlichen Standards und datenethischer Verantwortung angesehen, um einen diskriminierungsfreien KI-Einsatz im Straßenverkehr zu gewährleisten.

_{[1] APTIV, Insights, Unsere Geschäftsbereiche, Juli 2024.}

_{[2] People of Color (PoC) ist eine internationale Selbstbezeichnung für Menschen mit Rassismuserfahrung bzw. solche, die als nicht-weiß wahrgenommen werden. In dieser Arbeit bezieht sich der Begriff ausschließlich auf sichtbare Hautmerkmale – ohne jede rassistische Konnotation, vgl. Amnesty International, Glossar für diskriminierungssensible Sprache; Universität zu Köln, Chancengerechtigkeit – Antidiskriminierung.}

_{[3] Li/Chen/Zhang/Sarro/Zhang/Liu. Bias Behind the Wheel, S. 22.}

_{[4] Vgl. SAE, J3016, S.6.}

_{[5] Vgl. Becker; Kamal, Selbst ist das Auto, S. 26.}

_{[6] Vgl. Becker; Kamal, Selbst ist das Auto, S. 27}

_{[7] KBA, Gesetzgebung zum autonomen Fahren}

_{[8] Vgl. TÜV Rheinland, Assistenzsysteme: Welche es gibt und was 2024 Pflicht wird.}

_{[9] Dietmayer, Autonomes Fahren, S. 426-429.}

_{[10] Lehrstuhl für Regelungstechnik TU München, Trajektorieplanung fürs Autonome Fahren.}

_{[11] DataScientest, Adversarial Examples im Machine Learning.}

_{[12] Schmid, Maschinelles Lernen, Bayerisches Forschungsinstitut für Digitale Transformation (bidt)}

_{[13] Vgl. Raveling, Was ist ein neuronales Netz?, WFB Wirtschaft Förderung Bremen. Zwar ermöglichen sie so eine präzise Objekterkennung.}

_{[14] Vgl. Schmid, Maschinelles Lernen, Bayerisches Forschungsinstitut für Digitale Transformation (bidt).}

_{[15] Databricks, Faltungsschichten}

_{[16] Shorten/Koshgoftaar, A survey in Image Data Augemntation for Deep Learning, S. 9.}

_{[17] Budelacci, Maschinen haben kein Gewissen. Sie kennen nur 0 und 1, HSLU, Februar 2023}

_{[18] Männing/Hambel, Wie diskriminierend ist Künstliche Intelligenz?, CMS Deutschland Blog}

_{[19] Spiecker/Towfigh, Automatische Benachteiligung, S. 25.}

_{[20] Vgl. Holland, Amazon: KI zur Bewerbungsprüfung benachteiligte Frauen.}

_{[21] Wilson/Hoffmann/Morgenstern, Predictive Inequity in Object Detection, Februar 2019, S. 2-3}

_{[22] Steege/Winkler, Rechtsfragen zu Testfeldern zur Erforschung automatisierter und vernetzter Mobilität, NZV, 2024, S. 353, Rn. 59.}

_{[23] ADAC, Müde oder abgelenkt? Diese Sensoren passen auf, 2022.}

_{[24] Sydow/Marsch/Helfrich, DS‑GVO/BDSG, 3. Aufl. 2022, Art. 26 DS-GVO Rn. 4}

_{[25] Möller, Die Außenraumüberwachung autonom verkehrender Fahrzeuge, DAR 2021, 608-609}

_{[26] Sydow/Marsch/Helfrich, DS‑GVO/BDSG, 3. Aufl. 2022, Art. 22 DS-GVO Rn. 43.}

_{[27] Sydow/Marsch/Helfrich, DS‑GVO/BDSG, 3. Aufl. 2022, Art. 22 DS-GVO Rn. 44.}

_{[28] Möller, Die Außenraumüberwachung autonom verkehrender Fahrzeuge, DAR 2021, 608.}

_{[29] Vgl. Möller, Die Außenraumüberwachung autonom verkehrender Fahrzeuge, DAR 2021, 610.}

_{[30] Vgl. VG Mainz, Urt. v. 24.9.2020 – 1 K 584/19.MZ, BeckRS 2020, 28535 Rn. 35}

_{[31] Vgl. Möller, Die Außenraumüberwachung autonom verkehrender Fahrzeuge, DAR 2021, 610.}

_{[32] Vgl. Möller, Die Außenraumüberwachung autonom verkehrender Fahrzeuge, DAR 2021, 610.}

_{[33] Vgl. Ehmann/Selmayr/Heberlein, 3. Aufl. 2024, Art. 6 DS‑GVO Rn. 47.}

_{[34] Vgl. AG Bochum, Beschl. v. 11.3.2019 – 65 C 485/18, Rn. 5.}

_{[35] Steininger, Studie Rechtliche Fragestellungen des automatisierten Fahrens, innocam.NRW, S. 9.}

_{[36] Gesmann-Nuissl/Tacke, Funktionale Sicherheit KI-basierter Systeme im Automobilsektor, S. 87.}

_{[37] Gesmann-Nuissl/Tacke, Funktionale Sicherheit KI-basierter Systeme im Automobilsektor, S. 87.}

_{[38] Held/Bossert/Lenzen/Sutter, KI in sicherheitskritischen Automobilanwendungen, September 2024}

_{[39] Köllner, Christiane, Was leistet der Standard ISO/PAS 8800?, Springer Professional, August 2024.}

_{[40] Spiecker/Towfigh, Automatische Benachteiligung, S. 35}

_{[41] Vgl. Härtel, Digitalisierung im Lichte des Verfassungsrechts, LKV 2019, S. 49.}

_{[42] Spiecker/Towfigh, Automatische Benachteiligung, S. 35}

_{[43] MüKoBGB/Thüsing, 9. Aufl. 2021, AGG § 19 Rn. 1.}

_{[44] Lehbrink, Manuel, Bei BMW kann man Sitzheizung jetzt als Abonnement buchen}

_{[45] Spiecker/Towfigh, Automatische Benachteiligung, S. 47.}

_{[46] MüKoBGB/Thüsing, 9. Aufl. 2021, AGG § 22 Rn. 6}

_{[47] MüKoBGB/Thüsing, 9. Aufl. 2021, AGG § 22 Rn. 6.}

_{[48] MüKoBGB/Wagner, 9. Aufl. 2024, BGB § 823 Rn. 221}

_{[49] MüKoBGB/Wagner, 9. Aufl. 2024, BGB § 823 Rn. 86.}

_{[50] Schwartmann/Keber/Zenner/Keber/Zenner, KI-VO Leitfaden, S. 42, Rn. 18-20}

_{[51] Schwartmann/Keber/Zenner/Schwartmann/Köhler, KI-VO Leitfaden, S.  53, Rn. 53.}

_{[52] Schwartmann/Keber/Zenner/Schwartmann/Pottkämper, KI-VO Leitfaden, S. 80, Rn. 158.}

_{[53] DLR, Teleoperation hilft, wenn das autonome Fahrzeug nicht weiterweiß}

_{[54] Schwartmann/Keber/Zenner/Schwartmann/Keber/Köhler, KI-VO Leitfaden, S. 136, Rn. 344.}