Von Roland Wiring*)

Künstliche Intelligenz (KI) hat fast alle Lebensbereiche erreicht: Mobilität, Handel, Gesundheit – um nur einige zu nennen. Das Recht hinkt hinterher. So manche Besonderheit KI-gesteuerter Produkte erfasst es bisher nicht adäquat. Das soll sich ändern. Am 21. April 2021 veröffentlichte die EU-Kommission den Entwurf einer EU-Verordnung über künstliche Intelligenz. Das ist eine Weltpremiere: Die Verordnung wäre der erste konsolidierte Rechtsrahmen für Systeme mit künstlicher Intelligenz überhaupt.

Die Kommission verfolgt das ehrgeizige Ziel, Europa zum globalen Zentrum für vertrauenswürdige künstliche Intelligenz zu machen und gleichzeitig die europäische Wettbewerbsfähigkeit zu steigern. Die Verordnung soll also die Entwicklung von KI-Systemen fördern und zugleich Sicherheit und Schutz für Menschen und Unternehmen gewährleisten. Flexible und verhältnismäßige Vorschriften sollen die spezifischen Risiken adressieren, die von KI-Systemen ausgehen.

Dabei sieht die Verordnung eine möglichst neutrale und zukunftssichere Definition dessen vor, was unter den Begriff des KI-Systems fällt. Ziel ist, den Anwendungsbereich möglichst schlank an neue technische Entwicklungen anpassen zu können. Der Rechtsrahmen soll sowohl für öffentliche als auch private Akteure innerhalb und außerhalb der EU gelten, sofern das KI-System in der Union in Verkehr gebracht wird oder Menschen in der EU von seiner Verwendung betroffen sind.

Inhaltlich folgt die Verordnung einem risikobasierten Ansatz. Dabei wird zwischen KI-Anwendungen unterschieden, die ein inakzeptables Risiko, ein hohes Risiko und ein geringes oder minimales Risiko verursachen. Die Verbotsliste umfasst alle KI-Systeme, deren Verwendung ein inakzeptables Risiko birgt. Das soll dann der Fall sein, wenn ihre Nutzung einen Verstoß gegen die Werte der Union darstellt. Verbote gelten etwa für Verwendungen, die ein erhebliches Potenzial haben, Personen zu manipulieren oder auszunutzen. Nicht erlaubt ist beispielsweise KI-systembasiertes Social Scoring für allgemeine Zwecke.

In der Praxis dürften die meisten Abgrenzungs- und Auslegungsthemen bei den spezifischen Regeln für KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder die Grundrechte natürlicher Personen darstellen, auftreten. Dazu soll zum Beispiel die Verwendung von KI-Systemen im Bereich der kritischen Infrastruktur zählen. Dem Entwurf ist eine Liste von KI-Systemen mit hohem Risiko beigefügt. Diese kann fortlaufend aktualisiert werden, um sie an die Entwicklung der KI-Anwendungsfälle anzupassen.

Zu Hochrisikosystemen sollen auch Sicherheitskomponenten von Produkten gehören, die unter sektorale Rechtsvorschriften der Union fallen. Der Entwurf geht davon aus, dass von solchen Produkten ein hohes Risiko ausgeht, wenn sie gemäß diesen Vorschriften einer Konformitätsbewertung durch Dritte unterzogen werden müssen. Dieser Aspekt ist vor allem für Produkte im Gesundheitsbereich relevant. Zu den in der Anlage aufgeführten sektoralen Vorschriften gehören die für Medizinprodukte und In-vitro-Diagnostika. Damit wird voraussichtlich ein Großteil der im Gesundheitswesen schon angewandten und gerade entwickelten KI-Anwendungen als Hochrisiko-KI-Systeme eingestuft werden.

Derartige Hochrisiko-KI-Systeme sind zulässig, sofern bestimmte verbindliche Anforderungen erfüllt werden und eine Konformitätsbewertung durchgeführt wird. Vorgesehen sind zudem strenge verbindliche Vorgaben in Bezug auf die Qualität der verwendeten Datensätze, die technische Dokumentation und das Führen von Aufzeichnungen, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit.

Für KI-Systeme, die nur ein geringes Risiko darstellen, gelten besondere Transparenzverpflichtungen. Beispielsweise soll den Nutzern beim Umgang mit Chatbots bewusst sein, dass sie mit künstlicher Intelligenz agieren, sie sollen daraufhin selbst entscheiden können, ob und wie sie die Anwendungen nutzen wollen.

Der Entwurf sieht für KI-Systeme mit minimalem Risiko, welche praktisch die größte Gruppe darstellen, eine freie Nutzung vor.

Eine erhebliche praktische Folge der neuen Regelungen ist die Beschränkung des Marktzugangs: Bevor KI-Systeme, die mit einem hohen Risiko behaftet sind, in der EU in Verkehr gebracht werden dürfen, müssen sich die Anbieter einer Konformitätsbewertung unterziehen. Dabei geprüft werden qualitativ hochwertige Datensätze, Dokumentation, Transparenz und Bereitstellung von Informationen, menschliche Aufsicht, Robustheit, Genauigkeit und Sicherheit. Weiterhin werden die einzelnen Akteure verpflichtet, festzustellen, ob ihre KI-Systeme den Anforderungen entsprechen. Dazu gehört die Einrichtung eines Qualitätsmanagementsystems und eines Systems zur Überwachung nach dem Inverkehrbringen. Um eine Konformität zu kennzeichnen, müssen die KI-Systeme letztlich mit einer CE-Kennzeichnung versehen werden.

Grundsätzlich muss der Anbieter das Verfahren zur Konformitätsbewertung durchführen. Aus Gründen der öffentlichen Sicherheit oder des Schutzes von Leben und Gesundheit natürlicher Personen können Marktaufsichtsbehörden auch selbst aktiv werden. Sie können somit das Inverkehrbringen oder die Inbetriebnahme von KI-Systemen, die keiner Konformitätsbewertung unterzogen wurden, individuell genehmigen.

Dass die neuen Regelungen ernst zu nehmen sein werden, zeigen die angedrohten Konsequenzen bei Nichteinhaltung: Für den Fall, dass KI-Systeme in Verkehr gebracht oder in Betrieb genommen werden, die den Anforderungen der Verordnung nicht genügen, sollen die Mitgliedstaaten wirksame Sanktionen, einschließlich Geldbußen, festlegen und diese der Kommission mitteilen. Dafür werden in der Verordnung gestaffelte Schwellenwerte festgelegt. Bei gravierenden Verstößen können diese bis zu 30 Mill. Euro oder 6% des gesamten weltweiten Vorjahresumsatzes betragen.

Der Entwurf der KI-Verordnung fügt sich nahtlos in die Reihe von Maßnahmen ein, mit denen die EU-Kommission­ seit einigen Jahren das Thema KI vorantreibt – von der Veröffentlichung der europäischen KI-Strategie im Jahr 2018 bis zum Weißbuch zu KI aus dem Jahr 2020. Der Entwurf sorgt schon jetzt weit über die EU hinaus für Aufsehen. Er könnte perspektivisch als Vorlage für ähnliche Maßnahmen auf der ganzen Welt dienen.

Die geplante Verordnung erlegt Anbietern und Nutzern weitreichende Verpflichtungen in Bezug auf alle KI-Systeme auf, verbietet bestimmte KI-Praktiken vollständig, statuiert besondere Verpflichtungen in Bezug auf KI-Systeme mit hohem Risiko und schafft einen neuen Rahmen von Regulierungsbehörden sowie Test-, Überwachungs- und Compliance-Prozessen. Durch die weit gefasste Definition von KI-Systemen dürfte die Verordnung erhebliche Auswirkungen auf sämtliche Bereiche der Wirtschaft erlangen, nicht nur auf die digitalen.

Im nächsten Schritt werden die Vorschläge der Kommission vom Europäischen Parlament und dem Europäischen Rat in einem umfangreichen Verfahren debattiert und abgestimmt. Es ist mit Diskussionen und Änderungen zu rechnen.

Die teils umfangreichen Verpflichtungen dürften sich für einige – gerade kleinere – Unternehmen belastend auswirken, was Innovationen erschweren könnte. Auch trägt das neue Governance- und Durchsetzungsregime zu einer weiteren Verstärkung der Regulierungsintensität bei. Hier wäre eine Nachjustierung, gerade mit Blick auf Doppelprüfungen – etwa im Bereich der Medizinprodukte –, sinnvoll.

In der einen oder anderen Form verabschiedet werden wird die Verordnung aber wohl in jedem Fall. Wann ist schwer zu prognostizieren. Solche Prozesse können durchaus 18 bis 24 Monate dauern. Auch wenn noch etwas Zeit bleibt: Jedes im Bereich KI aktive Unternehmen ist gut beraten, die Entwicklungen genau zu verfolgen und sich frühzeitig auf Änderungen des Rechtsrahmens einzustellen.

*) Dr. Roland Wiring ist Partner der Wirtschaftskanzlei CMS Deutschland in Hamburg.