Künstliche Intelligenz (KI) revolutioniert die Art und Weise, wie Unternehmen arbeiten, Entscheidungen treffen und mit Kunden interagieren. Doch wie jede bahnbrechende Technologie bringt auch KI Risiken mit sich, die rechtlich reguliert werden müssen. Die Europäische KI-Verordnung (KI-VO, auch bekannt als AI Act) legt den Fokus auf den Schutz von Grundrechten und definiert daher klare Grenzen für den Einsatz bestimmter Praktiken. Artikel 5 der KI-VO listet verbotene KI-Praktiken auf, die Unternehmer kennen und verstehen sollten, um rechtliche Risiken zu vermeiden. Diese Verbote sind in zehn Tagen schlagend (ab 2. Februar 2025).
Im Folgenden bieten wir einen Überblick über diese Praktiken und deren Relevanz für Unternehmen.
Die acht Gebote des AI Acts
1. Du sollst keine Gedanken lenken – Unterschwellige Beeinflussung (Art. 5 Abs. 1 lit. a Var. 1 KI-VO; ErwGr 29)
Die erste verbotene Praktik betrifft den Einsatz von KI-Systemen, die Menschen auf eine unterschwellige Weise beeinflussen, sodass diese wesentliche Verhaltensänderungen vornehmen, die ihnen schaden könnten. Dabei kann es sich um subtile Mechanismen handeln, wie beispielsweise die Nutzung spezifischer psychologischer Trigger, um Kaufentscheidungen zu forcieren. Ein prägnantes Beispiel wäre eine Werbekampagne, die gezielt die kognitive Verarbeitung von Nutzern manipuliert, um sie emotional zu beeinflussen. Unternehmen müssen daher sicherstellen, dass ihre KI-gestützten Marketingstrategien nicht nur rechtlich einwandfrei, sondern auch ethisch vertretbar sind. Dies erfordert eine enge Zusammenarbeit zwischen Entwicklungsteams, Marketingabteilungen und juristischen Beratern, um die Risiken frühzeitig zu minimieren und langfristig Vertrauen bei den Konsumenten aufzubauen.
2. Du sollst die Schutzlosen nicht täuschen – Ausnutzen von Vulnerabilität (Art. 5 Abs. 1 lit. b KI-VO)
Besonders schutzbedürftige Personengruppen wie Kinder, ältere Menschen oder Menschen mit Behinderungen dürfen nicht durch KI-Systeme ausgenutzt werden. Ein Beispiel hierfür wäre, KI einzusetzen, um Produkte gezielt an Kinder zu vermarkten, indem deren emotionale Unreife manipuliert wird, oder Senioren durch irreführende Angebote zu benachteiligen. Unternehmen, die solche Technologien entwickeln oder einsetzen, sollten Mechanismen einbauen, die sicherstellen, dass solche Praktiken verhindert werden. Dies kann durch regelmäßige Audits, ethische Leitlinien und eine intensive Schulung der beteiligten Entwicklerteams erreicht werden.
3. Du sollst nicht richten – Soziale Bewertung (Art. 5 Abs. 1 lit. c KI-VO)
Die soziale Bewertung oder Einstufung von Personen durch KI-Systeme, etwa basierend auf ihrem Verhalten oder sozialen Merkmalen, ist ebenfalls verboten. Solche Bewertungen könnten dazu führen, dass Personen in sozialen oder wirtschaftlichen Kontexten diskriminiert werden. Beispielsweise könnte eine KI, die Kreditentscheidungen trifft, systematisch Bewerber aus bestimmten sozialen Schichten benachteiligen, wenn sie nicht neutral programmiert ist. Unternehmen sollten daher sicherstellen, dass ihre KI-Systeme auf objektiven und rechtlich zulässigen Kriterien basieren. Dies erfordert eine ständige Überprüfung der eingesetzten Algorithmen sowie deren Trainingsdaten, um unbewusste Vorurteile (Bias) zu vermeiden.
4. Du sollst nicht vorverurteilen – Prädiktive Polizeiarbeit (Art. 5 Abs. 1 lit. d KI-VO)
KI-Systeme, die für prädiktive Polizeiarbeit eingesetzt werden, sind ebenfalls streng reguliert. Solche Technologien zielen darauf ab, Verbrechen vorherzusagen, basierend auf Mustern oder persönlichen Merkmalen. Doch gerade in diesem Bereich ist die Gefahr von Diskriminierung und falschen Vorhersagen besonders hoch. Obwohl Unternehmen selten direkt in der Strafverfolgung tätig sind, besteht für diejenigen, die solche Systeme entwickeln, eine erhebliche Verantwortung. Hier sind besonders transparente Entwicklungsprozesse sowie eine enge Abstimmung mit staatlichen Stellen und Aufsichtsbehörden notwendig, um Haftungsrisiken und rechtliche Konflikte zu vermeiden.
5. Du sollst nicht heimlich Gesichter horten – Ungezielte Sammlung von Gesichtsbildern (Art. 5 Abs. 1 lit. e KI-VO)
Das sogenannte Scraping von Gesichtsbildern, also das ungezielte Auslesen und Speichern von Daten aus Überwachungsaufnahmen, stellt eine weitere verbotene Praktik dar. Diese Methode kann erhebliche datenschutzrechtliche und ethische Fragen aufwerfen, insbesondere wenn die Betroffenen keine Zustimmung zur Datensammlung gegeben haben. Unternehmen, die KI-Systeme zur Gesichtserkennung einsetzen, müssen sicherstellen, dass diese Systeme nur auf rechtmäßig erhobenen Daten basieren. Darüber hinaus sollten klare Richtlinien zur Datenspeicherung, -nutzung und -löschung implementiert werden, um den gesetzlichen Anforderungen zu genügen und das Vertrauen der Öffentlichkeit nicht zu gefährden.
6. Du sollst nicht in die Seele blicken – Emotionserkennung (Art. 5 Abs. 1 lit. f KI-VO; ErwG 44)
Der Einsatz von KI zur Erkennung und Analyse von Emotionen ist nur unter strengen Voraussetzungen erlaubt. Besonders kritisch wird dies in Arbeitsumfeldern oder Bildungseinrichtungen gesehen, wo Machtungleichgewichte ausgenutzt werden könnten. Solche Technologien könnten dazu verwendet werden, beispielsweise die Produktivität von Arbeitnehmern zu überwachen oder das Verhalten von Schülern zu analysieren, was erhebliche Datenschutz- und Ethikfragen aufwirft. Unternehmen sollten sorgfältig prüfen, ob der Einsatz solcher Technologien gerechtfertigt ist, und sicherstellen, dass sie sich strikt an die rechtlichen und ethischen Vorgaben halten.
7. Du sollst nicht nach Äußerlichkeiten urteilen – Biometrische Kategorisierung (Art. 5 Abs. 1 lit. d KI-VO; ErwG 30)
Die Kategorisierung von Menschen anhand biometrischer Daten, wie z. B. der Ableitung von Rasse, Religion oder politischer Einstellung, ist verboten. Diese Praktik kann leicht zu Diskriminierung und sozialer Spaltung führen. Unternehmen, die biometrische Daten verwenden, sollten Mechanismen entwickeln, um sicherzustellen, dass solche sensiblen Informationen weder gespeichert noch verarbeitet werden. Eine transparente Kommunikation mit den Nutzern und eine klare Trennung von zulässigen und unzulässigen Anwendungen biometrischer Technologien sind hier entscheidend.
8. Du sollst keinen Schatten über Menschen werfen – Biometrische Echtzeit-Fernidentifizierung (Art. 5 Abs. 1 lit. h KI-VO; ErwG 32, 33, 38)
KI-Systeme, die zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen eingesetzt werden, sind streng reguliert und nur in Ausnahmefällen erlaubt, wie z. B. zur Abwehr unmittelbarer Gefahren. Die Entwicklung solcher Systeme sollte mit höchster Sorgfalt und unter strenger Einhaltung der gesetzlichen Vorgaben erfolgen. Unternehmen müssen dabei besonders die gesellschaftlichen und ethischen Auswirkungen solcher Technologien berücksichtigen und eng mit Regulierungsbehörden zusammenarbeiten, um Missbrauch zu verhindern.
Auswirkungen auf Unternehmen
Die verbotenen KI-Praktiken zielen darauf ab, ethische Standards im Umgang mit KI zu sichern und den Missbrauch dieser Technologien zu verhindern. Für Unternehmen bedeutet dies, dass sie die Risiken ihrer KI-Anwendungen umfassend bewerten müssen. Es empfiehlt sich, interne Compliance-Strukturen aufzubauen, die sicherstellen, dass KI-Systeme im Einklang mit der KI-VO entwickelt und genutzt werden. Ein zentraler Punkt ist dabei die Transparenz. Unternehmen sollten klare Prozesse für die Entwicklung und den Einsatz von KI-Systemen etablieren, die alle Beteiligten – vom Entwickler bis zum Endnutzer – einbeziehen. Regelmäßige Audits und Bewertungen der KI-Anwendungen können helfen, potenzielle Risiken frühzeitig zu erkennen und zu beheben.