Deutsch 
English 
Français 
EU AI Act – für eine bessere digitale Welt?
Der neuen EU AI Act (1) ist mehr als eine weitere Richtlinie, die das regulatorische Korsett für Unternehmen der Life Science- und MedTech-Branche einschnürt. Diese EU AI Act läutet, nach Einschätzung von Kevin Schawinski (2), Gründer der Modulos AG (3) und Experte für die Datenqualität von KI-Anwendungen, einen Shift ein hin zu einer vollkommen neuen Daten-Philosophie, so der Tenor beim HCS Live-Talk der Healthcare Shapers. Warum ist das so, und was heißt das für Unternehmen aller Branchen, die automatisierte Entscheidungssysteme entwickeln und nutzen möchten?
Es geht im Kern um den Schutz der Bürger. Denn automatisierte Entscheidungssysteme können Leben und Gesundheit maßgeblich beeinflussen, wenn aus großen Datenmengen mit Methoden der Künstlichen Intelligenz (KI) und des Maschinellen Lernens (ML) Empfehlungen abgeleitet werden, z. B. medizinische Diagnosen, die Eignung für Jobs, die Kreditwürdigkeit von Bürgern und Unternehmen etc.. Und die EU denkt dabei durchaus groß: Sie will mit dem EU AI Act den Grundstein legen für eine „bessere“, digitale Welt – auch außerhalb der EU.
„Faire“ KI-Anwendung – bessere, digitale Welt?
KI-Anwendungen sollen überall auf der Welt und in allen Lebensbereichen – Gesundheit, Finanzen, Infrastruktur und Bildung – die bürgerlichen Grundrechte wahren. Keine Bevölkerungsgruppe soll durch die Nutzung automatisierter, KI-gestützter Entscheidungssysteme benachteiligt werden. Das ist ein großer Anspruch, der den vielen Chancen und den großen potenziellen Risiken dieser neuen Anwendungen Rechnung tragen und der den Grundstein legen soll für Vertrauen und Akzeptanz in diese Systeme.
Für Entwickler heißt das: Wer KI-Systeme trainiert, muss dies mit Daten tun, die die höchstmögliche Qualität aufweisen, die valide sind, alle relevanten Bevölkerungsgruppen einschließen und Ergebnisse erzeugen, die mit den Grundrechten von EU-Bürgern vereinbar sind. Die erforderlichen Maßnahmen zur Einhaltung dieser Standards sind bereits im Entwicklungsprozess zu dokumentieren und bei unangekündigten Audits den Nationalen AI Regulatoren ggfls. offenzulegen, sonst drohen empfindliche Strafen.
KI – keine Spielwiese für Entwickler
Was bezweckt die EU damit? KI-Systeme sollen keine Spielwiese für Entwickler werden, denn die Gefahr ist viel zu groß, das Vertrauen in diese zukunftsweisenden Technologien zu verspielen. Deshalb wird Data Science grundsätzlich reguliert, wenn KI-Anwendungen mit „hohem Risiko“ entwickelt werden. Was „hohes Risiko“ genau bedeutet, bleibt gesetzgeberisch absichtlich vage, um Hersteller grundsätzlich für die hohen Anforderungen an die Qualität der verwendeten Daten zu sensibilisieren, auch wenn weniger risikobehaftete KI-Anwendungen entwickelt werden. Wer KI-Methoden in der Entwicklung von Produkten und Services nutzt, muss zeigen, dass er die Risiken sorgfältig analysiert hat und den Kontext umfassend einschätzen kann, in dem z. B. automatisierte Entscheidungshilfen genutzt werden. Fragen zur möglichen Verzerrung von Daten (Bias), zu potenziellen Störgrößen, die unliebsames “Grundrauschen” (Noise) verursachen, sowie zur Respräsentativität (Repräsentanz) der Daten muss der Hersteller überzeugend beantworten können. Potenzielle Risiken, die sich aus der KI-Anwendung für Bürger ableiten, müssen eingeschätzt und durch entsprechende Maßnahmen mitigiert werden können. Denn die Anwendungen sollen diskriminierungsfrei funktionieren, bei Frauen ebenso gut, wie bei Männern, unabhängig von Alter oder Hautfarbe, Bildungsstatus, Einkommen etc.
Damit ist der EU AI Act nach Einschätzung des Experten für Data-centric AI – Kevin Schawinski – nicht die Bremse, die durch hohe Regulierungshürden Innovation abwürgt. Vielmehr setzt dieser zukunftsweisende EU AI Act die schützenden Rahmenbedingungen, damit KI-Anwendungen ihre Potentiale zum Nutzen aller Bürger entfalten können. Der EU AI Act hat nach Einschätzung von Kevin Schawinski das Potential, als globaler Standard weltweit exportiert zu werden, wie die Europäische Datenschutzgrundverordnung. Die GDPR hat sich als Qualitätsstandard etabliert, der in globalen Märkten akzeptiert wird und als Gütesiegel für den Schutz der persönlichen Daten der Anwender gilt. Der EU AI Act kann der nächste Exportschlager werden und einen Beitrag leisten für „faire“ KI-Anwendungen in einer besseren, digitalen Welt.
Quellen:
- EU AI Act – Artificial Intelligence Act: Council calls for promoting safe AI that respects fundamental rights, Press Release Dec 2022
- Kevin Schawinski. LinkedIn Profile
- Modulos AG, Zurich. Data-centric AI enterprise platform that helps to find the errors, noise and bias in data so fairer and better AI can be built even faster.
Beim HCS Live Talk dabei sein?
Die HCS Live-Talks – einmal im Monat, 60 Minuten – bieten die Chance, sich mit Experten zu vernetzen und auszutauschen, oder selbst eine innovative Idee oder ein Produkt zur smarten Nutzung von Daten im Healthcare Kontext einzubringen. Gerne direkt anmelden oder bei Fragen Günther Illert, Dr. Ursula Kramer oder Brigitte Lippmann aus dem Netzwerk kontaktieren. Die Teilnahme an den HCS Live Talks ist kostenlos.
- Veröffentlicht in Digitalisierung, Healthcare Shapers LIVE Talk, Patientenorientierung
EU Artificial Intelligence Act (AIA) – Impact für Medizinprodukte-Hersteller?
Künstliche Intelligenz (KI), oder Englisch „Artificial Intelligence (AI)“, hat sich zu einem regelrechten Hype entwickelt. Und das nicht nur, weil es cool klingt, sondern weil man mit aktuellen Methoden der KI ganz praktische Aufgaben des täglichen Lebens unterstützen oder sogar automatisieren kann – Aufgaben, die bisher dem Menschen, und hier sogar absoluten Spezialisten, vorbehalten waren. Genau dieses – „die Maschine kann nun, was sonst nur Menschen konnten“- hat wohl die EU auf den Plan gerufen, denn auch Maschinen können und werden Fehler machen. Und genau wie bei Menschen, ist nicht jeder Maschine in jeder Angelegenheit blind zu vertrauen. Im April 2021 hat die EU-Kommission ihren Entwurf für eine Verordnung über Künstliche Intelligenz (Artificial Intelligence Act, AI Act) veröffentlicht. Die neue vorgeschlagene Regulierung erfasst sehr breit zahlreiche Produktbereiche, darunter Medizinprodukte gemäß EU 2017/745 (MDR) und In-Vitro-Diagnostika gemäß EU 2017/746 (IVDR). Wie viele der aktuell bereits auf dem Markt verfügbaren Medizinprodukte bereits KI einsetzen, ist schwer abzuschätzen. Betrachtet man das Marketing von Medizinprodukten, sind es bereits sehr viele, und die Zahl wird wahrscheinlich weiterhin stark zunehmen. Die Technik hat sich bewährt und hat bereits neue Anwendungsfelder erschlossen.
Sechs Fragen an Oliver Hilgers, Experte für Software als Medizinprodukt (Sofware as Medical Device, SaMD)
Frage 1: Die Regulierung spricht von KI-Produkten. Sind damit sämtliche Produkte gemeint, oder wie stelle ich fest, ob ich von der neuen Regulierung betroffen sein werde?
Die Regulierung umfasst eine sehr breite Spanne von Produkten aus den verschiedensten Anwendungsbereichen – vom Auto bis zur Kreditwürdigkeitsbestimmung-, darunter auch Medizinprodukte. Der Grad der Regulierung orientiert sich dann am Risiko der Anwendung: Von Geboten bei niedrigem Risiko bis zu Verboten von Anwendungen wie Social Scoring. Das Gros der Regulierung dreht sich um die sogenannten Hoch-Risiko-KI.
Konkret für Hersteller von Medizinprodukten bedeutet das vereinfacht: Wenn das Medizinprodukt Künstliche Intelligenz zur Erfüllung der Zweckbestimmung enthält, dann bin ich grundsätzlich von der neuen Regulierung betroffen. Die Definition von Künstlicher Intelligenz im AIA ist dabei überraschend breit gefasst und wird vermutlich noch Diskussionen aufwerfen (1,2).
In der vollen Breite der neuen Anforderungen, d.h. als Hoch-Risiko-KI, sind allerdings nur Medizinprodukte erfasst, die einem Konformitätsbewertungsverfahren durch Dritte unterliegen. Übersetzt bedeutet das, Medizinprodukte der Klasse IIa oder höher, die durch eine Benannte Stelle, z.B. dem TÜV, zertifiziert werden müssen.
Frage 2: Wenn Medizinprodukte-Hersteller ihr KI-Produkt bereits von einer Benannten Stelle überprüfen lassen müssen, reicht das nicht eigentlich aus, oder gibt es weitere Anforderungen, die über die Medizinprodukteverordnung hinausgehen?
Mit dem AIA kommen eine Reihe neuer Anforderungen an Prozesse und Dokumentation, welche zwar dem Stand der Technik bei der Entwicklung von KI-Algorithmen entsprechen, sich aber in diesem Umfang und Detail nicht unmittelbar aus der MDR ableiten lassen. Zum Beispiel wurden die Anforderungen zur Cybersecurity in KI spezifischen Bereichen konkretisiert, und im Bereich des Managements der Trainings- und Testdaten sind neue Anforderungen formuliert worden:
Frage 3: Gibt es unter den neuen Anforderungen welche, die dir besondere Sorgen bereiten?
Sagen wir, ich sehe einige Herausforderungen. Die Anforderungen bezüglich der menschlichen Aufsicht über die KI ist zumindest ein zweischneidiges Schwert. Einerseits ist es im höchsten Maße wünschenswert, der Maschine über die Schulter schauen zu können, um ggf. eingreifen zu können. Andererseits könnte es passieren, dass die Umsetzung von Echtzeitanwendungen erschwert oder sogar verhindert werden, da hier die menschliche Aufsicht nicht effektiv vor dem Wirken der KI umgesetzt werden kann. Hierzu wird es noch mehr Diskussionen zur Risiko-/Nutzen-Abwägung und zur konkreten Umsetzung für spezifische Produktkategorien geben müssen.
Frage 4: Ich habe als Hersteller ein Produkt der Klasse IIa, wie läuft dann die Zertifizierung der Anforderungen aus dem AIA ab?
Die Zertifizierung soll durch für den AIA benannte Stellen erfolgen. Benannte Stellen für Medizinprodukte sollen zusätzlich für die Zertifizierung der AIA qualifiziert und benannt werden. Man sollte sich also am besten eine Benannte Stelle suchen, die dann beides abdeckt. Wie viele der ohnehin schon wenigen für die MDR benannten Stellen die Zertifizierung für den AIA auf sich nehmen werden (3), ist schwer vorherzusagen, insbesondere, da sich bereits jetzt schon die Zertifizierungen nach der MDR bei den Benannten Stellen türmen.
Frage 5: Ab wann werden die Anforderungen verbindlich?
Das Gesetzgebungsverfahren ist noch nicht sehr weit fortgeschritten, hat aber bereits mehrere Runden durch den Rat der EU gedreht und einige Länder habe ihre Einwände eingereicht (1). Ein finales Publikationsdatum lässt sich derzeit schwer abschätzen. Es wird außerdem Übergangsregelungen geben ab Gültigkeitsdatum der AIA.
Frage 6: Was ist dein Rat an Medizinprodukte-Hersteller?
Jetzt anfangen! Auch wenn vielleicht manches Detail im Gesetzgebungsverfahren noch geändert wird, machen Sie sich zeitnah mit den neuen Anforderungen aus der AIA vertraut, und planen Sie die wesentlichen, neuen Dokumentationsinhalte und Funktionalitäten so früh wie möglich. Einiges lässt sich nachträglich nur schwer oder gar nicht nachrüsten. Viele der neuen Anforderungen werden voraussichtlich im Kern bestehen bleiben, da sie Forderungen anderer Experten, z.B. des Team NB ähnlich sind (2).
Außerdem mag es sinnvoll sein, sich über Verbände aktiv in das laufende Gesetzgebungsverfahren einzubringen. Einiges im AIA ist bisher nicht sehr klar beschrieben oder ist sehr strikt formuliert und kann unter Umständen die Entwicklung von bestimmten Medizinprodukten be- oder im schlimmsten Fall sogar verhindern.
Oliver Hilgers – Partner im Netzwerk der Healthcare Shapers- ist Mitglied in verschiedenen Normenausschüssen der EU. Er gestaltet mit seiner Expertise die Zulassungsprozesse von Software und digitalen Therapien, die als Medizinprodukte zertifiziert sind und vermehrt auch mit Methoden der Künstlichen Intelligenz arbeiten. Oliver Hilgers berät Unternehmen, wie sie ihre Innovationen als zertifizierte Medizinprodukte sicher und effizient in die Patientenversorgung bringen können.
Quellen:
- https://www.europarl.europa.eu/RegData/etudes/BRIE/2021/698792/EPRS_BRI(2021)698792_EN.pdf
- Fragenkatalog „Künstliche Intelligenz bei Medizinprodukten“; https://www.ig-nb.de/dok_view?oid=824260
- Team-NB Position Paper; https://www.team-nb.org/wp-content/uploads/2021/10/Team-NB-PositionPaper-Artificial-Intelligence.pdf
- Vorschaubild: Artificial Neural Network with Chip, Wikimedia
- Veröffentlicht in Digitalisierung, Health-IT