Schalast | AI (KI) in Healthcare & Life Sciences

In der Healthcare- und Life Sciences-Branche steht das Thema KI aktuell im Fokus. Auf allen Ebenen wird ihr für die Zukunft eine tragende Rolle vorhergesagt. So soll KI Mediziner bei Diagnose und Therapie unterstützen, oder den Einzelnen beim Gesundheits- und Krankheitsmanagement. Die Medizin- und Pharmaindustrie soll sie bei Forschung und Entwicklung auf ein neues Level heben. Sie gilt als „revolutionärer Hoffnungsträger“. Einige sprechen sogar davon, dass die Branche vor einer „Neuerfindung“ steht.

Die Anzahl von „Digital-Health“-/ „Digital-Medicine“ Apps, die es unabhängig von Zeit und Raum möglich machen sollen, Vitalwerte und sogar Symptome zu „tracken“ („selftracking“) steigt rasant. Die dadurch gesammelten Daten können, wenn sie denn an entsprechende Systeme – etwa  von behandelnden Ärzten oder Krankenhäusern – weitergeleitet werden, durch Einsatz der KI wichtige Erkenntnisse für Diagnosen und Therapien liefern. Die KI wird damit zum digitalen Assistenten.

Eine auf KI gestützte App ,die dem Patienten „Therapieanweisungen“ gibt, ist mittlerweile keine Science-Fiction mehr, sondern stellt zunehmend die Realität dar. So kann eine App beispielsweise auf Basis des Blutzuckerwertes eines Patienten, den sie automatisch von dessen Blutzuckermessgerät erhält, darauf abgestimmte Ernährungsvorschläge mit einer entsprechenden Insulindosis unterbreiten.  Überdies sind KI-Anwendungen bei der Auswertung von bildgebenden Verfahren (z.B. CT, MRT) durch “Deep Learning“ bereits etabliert und unterstützen Ärzte bei Routineaufgaben. Denn die KI ist dem menschlichen Auge mittlerweile überlegen. In naher Zukunft werden mobile bildgeführte KI-Diagnosesysteme (sog. „Image-Guided Medical Diagnosis“) „Ferndiagnosen“ erlauben.  Es wird zudem der Ansatz verfolgt, durch roboterassistierte Telechirurgie schon bald Operationen standortunabhängig über das Internet durchführen zu können, wobei die KI chirurgische Daten aus multimodalen Quellen in Echtzeit analysieren soll.

Daraus ergeben sich jedoch erhebliche rechtliche Herausforderungen:

KI-Software als Medizinprodukt

Wenn KI – Software zu medizinischen Zwecken eingesetzt wird, stellt diese ein Medizinprodukt dar, unabhängig davon, ob die KI lediglich integrierter Teil eines Medizinproduktes ist (sog. embedded software) oder sie schon ein eigenständiges Medizinprodukt (sog. stand-alone software) etwa in Form einer App darstellt.

KI-Software, die medizinischen Zwecken dient, unterliegt den Anforderungen der Medical Device Regulation (MDR) bzw. der Verordnung (EU) 2017/745 über Medizinprodukte (MP-VO). Art. 2 Nr. 1 der MDR/ MP-VO umfasst ausdrücklich Software und legt den Fokus auf die medizinische Zweckbestimmung, die bei KI gestützten eHealth-Apps regelmäßig zu bejahen sein wird. Die Zweckbestimmung bestimmt der Hersteller der App. Diese wiederum entscheidet darüber, welcher Risikoklasse gemäß der MP-VO diese zuzuordnen ist. Die MP-VO kennt vier Risikoklassen (I, IIa, IIb; III), welche sich nach dem Risiko was durch die Anwendung für den Anwender ausgeht, richten. Keine Medizinprodukte sind lediglich sog. Lifestyle-Apps, die z.B. Fitnessdaten tracken.

Die App wird also einer Risikoklasse zugeordnet, auf deren Grundlage sich der Ablauf des sog. Konformitätsbewertungsverfahren (Art. 52 Abs. 1 MP-VO) vor einer staatlich autorisierten Stelle sog. „Benannte Stellen“ (z.B. TÜV Nord/ Süd, DEKRA etc.) bestimmt. Diese Stellen führen  Prüfungen und Bewertungen durch, und erteilen dem Medizinprodukt abschließend eine CE-Zertifizierung. Es wird bei der Bestimmung der Risikoklasse im Kern danach gefragt, welchen potenziellen gesundheitlichen Schaden eine Software bzw. App anrichten könnte. Mit in Kraft treten der MP-VO wurde die Zuordnung zu einer Risikoklasse zum einen verschärft, zum anderen gilt die Regel, dass im Zweifel immer die höhere Risikoklasse anzunehmen ist.  Anhang VIII Kap. 3, Nr. 6.3, Regel 11 der MP-VO bestimmt, dass Software, die zur Entscheidungsfindung bei Therapie und Diagnostik herangezogen wird oder physiologische Prozesse überwacht, mindestens der Risikoklasse IIa unterliegt. Daher hat bei enger rechtlicher Auslegung der MP-VO kaum eine „KI-Medizin-App“ noch die Chance, in die Risikoklasse I eingestuft zu werden.

Die MDR/MP-VO in der Praxis am Beispiel der sog. "DiGAs"

In der Praxis zeichnet sich ein anderes Bild ab. So sind einige der sog. Digitalen Gesundheitsanwendungen (DiGAs), die nach § 33a SGB V als Medizinprodukte der Risikokassen I und IIa erstattungsfähig durch die gesetzliche Krankenversicherung (GKV) sind der Risikoklassen I zugeordnet, obwohl man bei enger Auslegung des Gesetzeswortlautes eigentlich zu einer Risikoklasse IIa käme. Die Praxis zeigt daher, dass in Realität ein größerer Gestaltungsspielraum besteht, als die MP-VO zunächst vermuten lässt. DiGAs sind natürlich aufgrund ihrer Verordnungsfähigkeit besonders attraktiv für Arzt und Patient („App auf Rezept“). Startups und etablierte Hersteller von Apps sollten das im Blick haben. Zwar muss mittels einer evidenten Studie nachgewiesen werden, dass die App eine echte „Wirksamkeit“ hat und somit einen Versorgungsnutzen, jedoch wird diese dann auch im sog. „Fast-Track-Verfahren“ seitens des BfArM zugelassen. Gelistet sind diese dann im DiGA-Verzeichnis beim Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM), welches aktuell 55 zugelassene DiGA verzeichnet (Stand 11/2023).

Auswirkungen der anvisierten KI-Verordnung (KI-VO/AIA – E) auf Medizinprodukte

Der Europarat  hat einen Ausschuss für Künstliche Intelligenz (Committee on Artificial Intelligence) gebildet, der ein  rechtlich bindendes Instrument zur Regulierung von KI schaffen soll und der unter anderem die KI-VO  (Artificial Intelligence Act, COM(2021) 206 – „AIA-E“) zum Gegenstand hat. Dabei ist das Verhältnis KI-VO zu der MDR und den nationalen Ergänzungsvorschriften noch nicht vollständig geklärt.  Die Definition von KI in dem Entwurf der KI-VO dürfte für Medizinprodukte deutlich zu weit gehen. Die KI-VO legt vier verschiedene Risikoklassen fest. Gemäß Art. 6 Abs. 1, b. i.V.m. Anhang II, Nr. 11 KI-VO sind solche Medizinprodukte Hochrisiko-KI-Systeme, die nach der MDR einem Konformitätsbewertungsverfahren durch eine Benannte Stellen bedürfen und somit alle KI-Medizin-Apps aber der Risikoklasse IIa. KI gesteuerte Medizin-Apps stellen ab der Risikoklasse IIa demnach immer ein „Hochrisiko-KI-System“ im Sinne der KI-VO dar.

Eine Vielzahl von KI-basierten Medizinprodukten wird somit als „Hochrisiko-KI-System“ im Sinne der KI-VO zu qualifizieren sein.  Im Ergebnis erfolgt die Einstufung nach der KI-VO somit unabhängig vom tatsächlichen Risiko, das bei der Verwendung des Medizinproduktes besteht. Die MDR und der Entwurf der KI-VO sind mithin nicht harmonisch.

Im Gegensatz zur MDR verwendet die KI-VO auch nicht primär den Begriff des „Herstellers“, sondern den des „Anbieters“. Für den Hersteller enthält Art. 24 KI-VO die Vorgabe, dass er die Pflichten eines Anbieters innehat, wenn er die KI unter seinem Namen in Verkehr bringt. Nach der KI-VO müssen zudem Hochrisiko-KI-Systeme ein eigenes Konformitätsbewertungsverfahren durchlaufen. Die KI-VO stellt neue Anforderungen, die über die MDR hinausgehen. Dies wird im Ergebnis zu einer erheblichen Mehrbelastung der App-Entwickler im Konformitätsbewertungsverfahren und zu gesteigerten Kosten führen, denn es müssen im Ergebnis neben den hohen Anforderungen der MDR zusätzlich die geseigerten Pflichten der KI-VO erfüllt werde. Akteure müssen daher rechtzeig sicherstellen, ob ihre auf KI basierte App den gesteigerten Sicherheitsanforderungen der kommenden KI-VO entspricht und ihre Compliance-Systeme rechtzeitig anpassen.

Haftung für KI-Medizinprodukte

Mithin stellt sich die Frage, wer haftet eigentlich für ein KI-Medizinprodukt, an dessen Entwicklung auf dem Weg bis zur Anwendung am Menschen zahlreiche Akteure mitgewirkt haben? Die MDR selbst enthält keine Haftungsvorschriften; § 31 MDR verweist hingegen auf die Produkthaftungsrichtlinie (ProdHaft-RL) und somit auf das (noch geltende) Produkthaftungsgesetz (ProdHaftG). So kommt grundsätzlich eine Produkt- (§§ 1, 4 I 1 ProdHaftG) und eine Deliktshaftung (§§ 823 I, 823 II BGB) in Verbindung mit Normen aus der MDR in Betracht. Die Deliktshaftung nach § 823 I BGB beinhaltet eine sog. verschuldensabhängige Produzentenhaftung für Konstruktions-, Fabrikations-, Instruktionsfehler oder die Verletzung von Produktbeobachtungspflichten. § 1 ProdHaftG sieht im Gegensatz hierzu eine nichtvertragliche, verschuldensunabhängige Haftung für den Fall vor, dass durch ein fehlerhaftes Produkt jemand getötet, dessen Körper oder Gesundheit verletzt, oder eine andere Sache als das fehlerhafte Produkt beschädigt wird.

Der EU-Entwurf der neuen Produkthaftungsrichtlinie (COM/2022/495 – ProdHaft-RL-E) erfasst grundsätzlich auch sämtliche Produkte der Healthcare und Life Sciences Branche und somit sämtliche Produkte, die neue digitale (KI-) Technologien nutzen. Im Bereich der Medizinprodukte ist die Klarstellung in Art. 4 Nr. 1 des Entwurfs allerdings keine Neuerung. Die MDR/ MP - VO normiert Software bereits als Medizinprodukt.

Mit dem die KI-VO ergänzenden Entwurf einer „Richtlinie über KI-Haftung“ (COM/2022/496) der EU-Kommission wird die bestehende nichtvertragliche, verschuldensunabhängige Haftung auf Basis der ProdHaftRL-E um einen zivilrechtlichen Rahmen für Schäden durch KI-Systeme erweitert. Im Ergebnis werden jedoch die KI-VO und die KI-Haftungs-VO weniger Relevanz besitzen als die neue ProdHaftRL.

Für Hochrisiko-Medizinprodukte hatte der Europäische Gerichtshof (EuGH) am 05. März 2015 (Az. C-503/13 und C-504/13) entschieden, dass von einem (potentiell) fehlerhaft prodozierten Medizinprodukt (hier: Herzschrittmacher und Implantierbare KardioverterDefibrillatoren) auf die Fehlerhaftigkeit aller Geräte desselben Modells geschlossen werden kann. Eine Übertragung dieser Rechtsprechung auf KI-Medizinprodukte ist wahrscheinlich.

KI in Pharma

Pharmaunternehmen versprechen sich aus KI-Technologien eine beschleunigte und kostengünstige Arzneimittelentwicklung. Der Bereich der personalisierten Medizin wird dabei als ein zukünftig bedeutender Einsatzbereich von KI-Software angesehen. So kann z.B. KI-Software, die spezifisch auf die Anwendung einer ganz bestimmten Arzneitherapie „trainiert“ ist, den Arzt bei der Wirkstoffzusammensetzung und Dosierung unterstützen. KI wird bereits zum Design neuer Medikamente eingesetzt („silico molecular modeling“). In deren Rahmen zu Beginn der Arzneimittelentwicklung die chemische Struktur eines in Betracht kommenden Wirkstoffmoleküls mit bekannten Molekülen in Computersimulationen abgeglichen und Vorhersagen dazu getroffen werden, welche Wirkungen die Substanz im Körper wahrscheinlich auslösen wird. Auch setzten Pharmahersteller KI bereits ein, um Lieferketten resilienter zu machen.

In der Konsequenz stellt sich die Frage, ob eine KI-Software, die zur Entwicklung von neuen Arzneimitteln eingesetzt wird, ihrerseits einer eigenen arzneimittelrechtlichen Zulassung bedarf. Teilweise wird vertreten, dass die Software als Bestandteil des Arzneimittels mitzuzulassen ist. Bislang sind die rechtlichen Fragen in diesem Bereich jedoch noch nicht geklärt.

Fazit

Die Anforderungen zur Erfüllung der verschiedenen Rechtsvorschriften für KI-Systeme im Sektor Healthcare and Life Sciences sind zu Recht hoch, da diese den Schutz von Leben und Gesundheit gewährleisten sollen. Auch die aufgezeigte „Disharmonie“ zwischen bestehenden und kommenden Rechtsverordnungen sorgt für zunehmende Komplexität. Umso wichtiger ist eine frühzeitige Einbeziehung von Rechtsexperten im Rahmen des Entwicklungsprozesses in diesem hoch regulierten Bereich.

Mehr zu unseren Healthcare & Life Sciences Themen finden Sie hier.