„Die Verantwortung liegt beim Menschen, die Wissensbasis aber bei der Maschine“
KI unterstützt Diagnosen und Behandlungen, die rechtliche Verantwortung liegt weiter beim Menschen. Warum die intransparente Wissensbasis der Systeme problematisch ist, welche Haftungsmodelle fehlen und wie sich Arzt-Patienten-Beziehungen im Zeitalter medizinischer KI verändern, erklärt Maria Kletečka-Pulker vom Ludwig Boltzmann Institute for Digital Health and Patient Safety.
Ärzt*in für Wien: Wer trägt die Verantwortung bei KI-gestützter Medizin beziehungsweise Befundung, etwa wenn Fehler passieren?
Kletečka-Pulker: Derzeit ist es rechtlich so geregelt, dass die letzte Verantwortung bei der Ärztin oder dem Arzt liegt, auch wenn ein KI-System unterstützend eingesetzt wird. Das ist etwa im EU-AI-Act so vorgesehen, der medizinische KI-Systeme meist als Hochrisiko-Systeme einstuft. In der Praxis halte ich das für sehr problematisch. Ärztinnen und Ärzte treffen ihre Entscheidung zwar formal selbst, stützen sich aber auf Systeme, die mit Millionen von Daten trainiert wurden, auf die sie keinen Zugriff haben. Wenn eine KI etwa in der Mammografie etwas Auffälliges erkennt, das die Ärztin oder der Arzt selbst nicht sieht, entsteht ein massives Spannungsfeld. Die Verantwortung liegt beim Menschen, die Wissensbasis aber bei der Maschine.
Ärzt*in für Wien: Braucht es im Bereich der Verantwortung beziehungsweise im Recht ein Nachschärfen der Regelungen?
Kletečka-Pulker: Ja, ganz eindeutig. Es kann nicht sein, dass die gesamte Verantwortung beim einzelnen Arzt oder bei der einzelnen Ärztin bleibt. Meiner Ansicht nach muss auch jene Stelle Verantwortung tragen, die KI-Systeme entwickelt und in Verkehr bringt. Man kann das mit einem Tumorboard vergleichen: Dort entscheidet ein Gremium gemeinsam, und die Verantwortung wird geteilt. Bei KI hingegen stehen Ärztinnen und Ärzte plötzlich allein einer Empfehlung gegenüber, die schwer nachvollziehbar oder widerlegbar ist. Hier braucht es dringend rechtliche Klarstellungen und neue Haftungsmodelle, die der Realität digitaler Medizin gerecht werden. So wie Ärztinnen und Ärzte über Nebenwirkungen von Medikamenten informiert sind, müssen sie auch die Schwachstellen und Fehlerquellen von KI-Anwendungen kennen. Diese „Nebenwirkungen“ der KI sind oft noch unerforscht und erfordern Transparenz, Schulung und klare Verantwortung.
Ärzt*in für Wien: Welche Auswirkungen hat KI auf das Arzt-Patienten-Verhältnis?
Kletečka-Pulker: KI verändert dieses Verhältnis bereits jetzt spürbar. Einerseits nutzen Ärztinnen und Ärzte KI zur Unterstützung bei Befundungen, andererseits kommen Patientinnen und Patienten immer häufiger mit KI-generierten Informationen ins Arztgespräch. Die KI drängt also gewissermaßen in dieses Verhältnis hinein. Ärztinnen und Ärzte werden künftig stärker zu Vermittlern, die KI-Ergebnisse einordnen und erklären müssen. Gleichzeitig besteht die Gefahr, dass menschliche Zuwendung verdrängt wird, wenn KI dort eingesetzt wird, wo Empathie und persönliche Beziehung entscheidend sind. KI sollte nur dort eingesetzt werden, wo sie tatsächlich besser ist als der Mensch. Menschliche Nähe wird sie aber nie ersetzen können. Etwa wenn man an die Pflege denkt, wenn es darum geht, Patientinnen und Patienten aufzurichten oder zu bewegen.
Ärzt*in für Wien: Wie sicher sind meine Gesundheitsdaten im Zeitalter von KI?
Kletečka-Pulker: Diese Frage ist zentral, denn viele KI-Systeme beruhen auf Technologien aus den USA oder China. Damit sind wir in Europa in hohem Maß abhängig – sowohl technisch als auch wirtschaftlich. Es stellt sich die Frage, wo die Daten verarbeitet werden, wer Zugriff darauf hat und was mit ihnen geschieht. Derzeit fehlt es noch an umfassenden Kontrollmechanismen. Aus meiner Sicht braucht es dringend Systeme, die überwachen, wohin Daten fließen und wie sie genutzt werden. Nur so können Ärztinnen und Ärzte sowie Patientinnen und Patienten Vertrauen in KI-Anwendungen entwickeln. Es stellt sich auch die Frage, was passieren würde, wenn China oder die USA Druck auf Europa ausüben über Zugang und Preisgestaltung der KI-Systeme. Das kann problematisch werden. Europa muss seine digitale Souveränität stärken, eigene KI-Systeme forcieren und Kontrolle über Datenflüsse und Kosten gewinnen.
Ärzt*in für Wien: Wie geht man mit Situationen um, wenn Ärztinnen und Ärzte auf KI verzichten möchten oder Patientinnen und Patienten analog behandelt werden wollen?
Kletečka-Pulker: Grundsätzlich haben Patientinnen und Patienten immer ein Recht, Behandlungen abzulehnen – auch solche, bei denen KI eingesetzt wird. Wenn eine Ärztin oder ein Arzt jedoch sagt, dass der KI-Einsatz für ihn „State of the art“ ist, kann das bedeuten, dass die Patientin oder der Patient sich eine andere Ordination suchen muss. Das ist nichts völlig Neues. Gleichzeitig wird es künftig wohl eine größere Gruppe sogenannter „analoger“ Patientinnen und Patienten geben, die Digitalisierung und KI grundsätzlich skeptisch gegenüberstehen. Das gilt auch für Ärztinnen und Ärzte, die lieber ohne KI arbeiten. Spannend wird es dort, wo ein KI-System objektiv besser ist, aber bewusst nicht eingesetzt wird.
Ärzt*in für Wien: Wie sieht es generell mit mit der Nutzung von Gesundheitsdaten aus, insbesondere im Zusammenhang mit der Weiterentwicklung von KI?
Kletečka-Pulker: Mit dem European Health Data Space hat Europa einen wichtigen Schritt gesetzt, vor allem im Hinblick auf die Nutzung von Sekundärdaten und die sogenannte Datenspende. Die große Frage ist, ob diese Datennutzung auf freiwilliger Basis funktionieren kann. Ich persönlich glaube das nicht. Wenn wir KI in Europa sinnvoll weiterentwickeln wollen, wird es eher eine Opt-out-Lösung brauchen. Das zeigt auch der Vergleich mit der Organspende: Länder mit Opt-out-Modellen haben deutlich mehr verfügbare Organe. Gleichzeitig muss klar sein, dass Datensicherheit, Transparenz und Zweckbindung oberste Priorität haben. Ohne Vertrauen wird KI in der Medizin nicht akzeptiert werden.
