GastbeitragKünstliche Intelligenz im Gesundheitswesen

Balanceakt zwischen Regulierung und Innovationsförderung

Der AI Act hat das Potenzial, viele Probleme im Gesundheitswesen zu lösen. Ob dabei der Balanceakt zwischen Regulierung und Innovationsförderung gelingt, wird insbesondere von der praktischen Umsetzung abhängen.

Balanceakt zwischen Regulierung und Innovationsförderung

Zwischen Regulierung und Innovationsförderung

Künstliche Intelligenz im Gesundheitswesen: Wird die neue europäische Regulierung zur Lösung oder zum Problem?

Von Gunnar Sachs und Sabrina Vivekens *)

KI ist gekommen, um zu bleiben. Auch im Gesundheitswesen. Dort ist ihr Einsatz nicht mehr wegzudenken und erstreckt sich über sämtliche Bereiche von der Forschung und Entwicklung, über Diagnostik und Therapie bis hin zur Pflege. Ein Paradebeispiel ist der Einsatz von KI in der Radiologie. Hier ist die Entwicklung so weit vorangeschritten, dass gut trainierte KI in der Bildauswertung bereits sehr verlässlich Anomalien (wie etwa bestimmte Tumore) erkennen kann, wobei die Präzision inzwischen das Niveau erfahrener Radiologen und Radiologinnen erreicht.

Weitere mögliche Einsatzbereiche sind etwa die KI-gestützte Entwicklung neuer Medikamente (z.B. zur effizienteren Bestimmung geeigneter Wirkstoffkandidaten) und personalisierter Therapien (z.B. in der Krebsforschung), KI-gestützte Frühwarnsysteme (z.B. für epileptische Anfälle) sowie die Unterstützung im stationären und ambulanten (Pflege-) Bereich (z.B. KI-gestütztes Monitoring zur Vorhersage eines drohenden Multiorganversagens).

Effizienz steigt

Die Chancen liegen auf der Hand: KI kann zu einer effizienteren und qualitativ hochwertigeren Gesundheitsversorgung beitragen. Das Effizienzsteigerungspotential von KI wird daneben zu einer Ökonomisierung von Arbeitsprozessen und damit einhergehenden Kosteneinsparungen auf allen Ebenen des Gesundheitswesens führen. Nicht zuletzt wird der Einsatz von KI auch dem Personalmangel im Gesundheitswesen abhelfen können. KI im Gesundheitswesen kann so zur Effizienzsteigerung bei gleichzeitiger Einsparung der wertvollsten Ressourcen: Personal, Zeit und Geld führen.

Doch ihr Einsatz im Gesundheitswesen ist eine Medaille mit zwei Seiten und birgt neben Chancen auch Herausforderungen und Risiken. Die Gesundheit ist des Menschen höchstes Gut, und gesundheitsbezogene Daten sind besonders schutzwürdig. Zugleich erfordern der Einsatz und die stete Verbesserung von KI im Gesundheitswesen aber gerade die Verarbeitung gesundheitsbezogener Daten. Je höher die Datengenauigkeit und -qualität beim Training (input) von KI ist, desto verlässlicher sind die damit zu erzielenden Ergebnisse (output). „Schlechte“ Daten oder zu geringe Datenmengen beim KI-Training können schlimmstenfalls zu Gesundheitsrisiken in KI-gestützten Therapien führen.

Zudem müssen KI-Systeme hinreichend robust sein, vor digitalen Angriffen geschützt werden und über verlässliche Back-up-Optionen verfügen. Denn mit der zunehmenden Entlastung des Gesundheitswesens durch KI steigt zugleich auch dessen KI-Abhängigkeit und Vulnerabilität. KI bedarf daher einer angemessenen Regulierung, die nicht nur die Risiken adressiert, sondern zugleich genügend Raum für die mit KI verbundenen Entwicklungschancen lässt.

Drehkreuz

Diesen Balanceakt zwischen Regulierung und Innovationsförderung soll der am 21. Mai 2024 verabschiedete „EU Artificial Intelligence Act“ (AI Act) meistern. Bei dem AI Act, der voraussichtlich noch im Juli 2024 in Kraft treten wird, handelt es sich um die weltweit erste umfassende KI-Regulierung. Er schafft einen in allen europäischen Mitgliedstaaten unmittelbar anwendbaren und vollharmonisierten Rechtsrahmen, der Europa dabei helfen soll, weltweit zu einem Drehkreuz für KI zu werden.

Ähnlich wie die europäische Datenschutz-Grundverordnung (DSGVO), die zunächst als Überregulierung und Wettbewerbsnachteil für Europa im internationalen Datenverkehr gesehen wurde, sich dann aber global zum Maßstab für Datenschutz entwickelt hat und vielfach (z.B. Brasilien oder Kalifornien) nachgeahmt wurde, soll auch der AI Act weltweit Maßstäbe setzen. Und wie die DSGVO hat auch der AI Act einen extraterritorialen Anwendungsbereich und gilt für innerhalb und außerhalb der EU ansässige Anbieter, die KI-Systeme auf dem europäischen Markt in Verkehr bringen, aber auch für EU- und Nicht-EU-Anbieter und Betreiber von KI-Systemen, wenn die damit erzeugten Ergebnisse in der EU verwendet werden sollen.

Abgestufte Risikoregulierung

Der AI Act folgt dabei dem bekannten und bewährten Prinzip der abgestuften Risikoregulierung und unterscheidet zwischen verschiedenen Risikoklassen von KI-Systemen mit entsprechend assoziiertem Anforderungsumfang. Ein Großteil medizinischer KI-Lösungen wird künftig voraussichtlich als Hochrisiko-Systeme im Sinne des AI Act eingestuft werden.

Dabei knüpft der AI Act an die europäische „Medical Devices Regulation" (MDR) an und sieht vor, dass alle Medizinprodukte, die nach der MDR Konformitätsbewertungsverfahren bei einer Benannten Stelle durchlaufen müssen, grundsätzlich als Hochrisiko-System im Sinne des AI Act gelten. Für solche Hochrisiko-KI-Systeme sieht der AI Act strenge Vorgaben vor (z.B. spezifische Anforderungen an Risiko- und Qualitätsmanagementsysteme, Technische Dokumentationen, Aufsichts-, Kennzeichnungs-, Melde- und Überwachungspflichten).

Hoher Aufwand

Die Umsetzung des AI Act im Gesundheitswesen dürfte daher einen erheblichen Zeit- und Kostenaufwand erfordern, der insbesondere die Anbieter und Betreiber von KI-gestützten Medizinprodukten neben den diesen bereits nach der MDR obliegenden Pflichten zusätzlich belasten wird. Zwar erlaubt der AI Act Herstellern von Medizinprodukten, auf bereits unter der MDR etablierte Systeme und Strukturen aufzubauen (wobei im Falle unweigerlich auftretender Überschneidungen gelten soll, dass Sicherheitsrisiken von KI-Systemen nach den Anforderungen des AI Act und solche des Medizinproduktes in seiner Gesamtheit nach den Anforderungen der MDR zu bewerten sind).

Insbesondere für KMUs und Start-ups könnten die neuen Anforderungen des AI Act kaum zu bewältigende Hürden darstellen und Wettbewerbsnachteile begründen. Zwar sieht der AI Act Entlastungen für diese Unternehmen vor, allerdings bleibt abzuwarten, ob diese Entlastungen in der praktischen Umsetzung den gewünschten Erfolg bringen.

Hinzu kommt, dass die Hersteller KI-gestützter Medizinprodukte (zunächst noch) weitgehend in Eigenregie bestimmen können und müssen, ob ihre Produkte nach dem AI Act rechtskonform sind – was viele Fragen aufwirft. Konformitätsbewertungsverfahren unter Hinzuziehung Benannter Stellen bilden derzeit noch die Ausnahme nach dem AI Act. Dies ist nicht zuletzt Konsequenz und Lehre aus den Erfahrungen bei der Umsetzung der MDR, mit deren Geltungsbeginn die Notifizierungen der Benannten Stellen ungültig wurden und Letztere neu zu benennen waren – was zu einem erheblichen Engpass bei den für Konformitätsbewertungsverfahren noch zur Verfügung stehenden Benannten Stellen führte.

Im Praxistest

Die Frage, ob der AI Act das Gesundheitswesen fördern oder zunächst eher behindern wird, bemisst sich folglich danach, wie die neuen rechtlichen Vorgaben einschließlich der darin angelegten Ausnahmen und Erleichterungen in der Praxis umgesetzt und in den Mitgliedstaaten gelebt werden. Hier werden vor allem auch die noch ausstehenden Umsetzungs-Rechtsakte der Kommission sowie die Arbeit des neu gegründeten „AI Office“ eine entscheidende Rolle spielen. Sie werden (noch) unbestimmte Rechtsbegriffe greifbarer und Ausnahmeregelungen (insbesondere auch jene für KMUs und Start-ups) praktisch handhabbar machen müssen, um eine pragmatische und innovationsfreundliche Umsetzung des AI Acts zu ermöglichen.

Ein Beispiel für eine im Gesundheitswesen wichtige Ausnahmeregelung ist etwa, dass KI-Systeme dann nicht mehr in der „Hochrisiko“-Klasse einzustufen sind, wenn von ihnen kein erhebliches Gesundheitsrisiko ausgeht (wie etwa bei reine Wartungszwecke erfüllenden KI-Systemen in MRTs, die anderenfalls auf einer Stufe mit zur Diagnostik bestimmten Systemen stünden).

Zusammenspiel

Schließlich wird auch das Zusammenspiel zwischen dem AI Act und weiteren europäischen Regelungen entscheidend sein, um das erklärte Ziel zu erreichen, Europa zu einem Weltdrehkreuz für KI zu machen. Dies gilt insbesondere für die künftige Regulierung der Haftung für KI sowie die Bestrebungen zur Schaffung eines Europäischen Datenraums zur besseren Nutzung von Gesundheitsdaten.

Der AI Act hat das Potential, viele Probleme im Gesundheitswesen zu lösen. Ob dabei der Balance-Akt zwischen Regulierung und Innovationsförderung gelingt, wird insbesondere von der praktischen Umsetzung und dem dafür noch erforderlichen weiteren rechtlichen Beiwerk abhängen.

*) Dr. Gunnar Sachs ist Partner, Dr. Sabrina Vivekens Rechtsanwältin in der Kanzlei Clifford Chance.

*) Dr. Gunnar Sachs ist Partner, Dr. Sabrina Vivekens Rechtsanwältin in der Kanzlei Clifford Chance.

Dr. Gunnar Sachs ist Partner, Dr. Sabrina Vivekens Rechtsanwältin in der Kanzlei Clifford Chance.