Autor – Prof. Dr. David Schwappach

Mit der Entwicklung und Verbreitung von grossen Sprachmodellen in der gesundheitlichen Routineversorgung werden sowohl grosse Chancen aber auch Risiken erwartet. Grosse Sprachmodelle sollen durch die Ergänzung der menschlichen Fähigkeiten zu einer besseren Betreuung und Behandlung führen. Gleichzeitig stellt sich aber auch die Frage, ob die eingesetzten Sprachmodelle ihrerseits selber zu einem Risiko werden können. Wichtige Einsatzbereiche von Sprachmodellen mit besonders hoher Relevanz für die Patientensicherheit sind beispielsweise:

• Assistenz bei Routine-Aufgaben, z. B. Austrittsbericht, Medikationsabgleich, Dokumentation der Konsultation
• Unterstützung bei der Diagnosestellung, z. B. auf dem Notfall
• Frühzeitiges Erkennen der Verschlechterung individueller Patienten, z. B. Sepsis, unerwünschte Arzneimittel-Ereignisse, chirurgische Komplikationen

Bei der Assistenz in Routine-Aufgaben ist das Ziel im Wesentlichen, knappe menschliche Ressourcen durch Sprachmodelle zu substituieren. Da Sprachmodelle weniger Zeit benötigen, um Austrittsberichte und Dokumentationen ärztlicher Konsultationen zu erstellen, ist der potenzielle Effizienzgewinn erheblich. Für die Patientensicherheit ist primär relevant, dass die übertragenen Aufgaben mit möglichst wenig Fehlern erledigt werden. Studienresultate sind in dieser Hinsicht durchwachsen und beruhen meistens auf simulierten Szenarien. Beispielsweise konnten Rosenberg et al. zeigen, dass ChatGPT zu ähnlich guten Ergebnissen wie ärztliche Mitarbeitende bei der Erstellung von orthopädischen Austrittsberichten kommt [33]. Allerdings bleibt unklar, wie das Sprachmodell etwa mit fehlenden Informationen umgeht oder ob es darauf hinweist, wenn die Ausgangsdokumentation von mangelhafter Qualität ist. Bei ersten Evaluationen von «Ambient Digital Scribes», also der grossen Sprachmodelle, die der Arzt-Patienten-Konsultation «lauschen», und diese strukturiert zusammenfassen, zeigt sich, dass gerade Auslassungen häufig passieren [34]. Solche Auslassungen wichtiger Informationen können zu erheblichen Risiken für Patientinnen und Patienten werden, gerade weil sie sehr schwierig post-hoc zu identifizieren sind (siehe unten «Menschliche Übersicht»).

Ein wichtiges Einsatzfeld von grossen Sprachmodellen könnte die Unterstützung von ärztlichen Fachpersonen bei der Diagnosestellung, der frühzeitigen Erkennung der klinischen Verschlechterung oder dem Auftreten von Komplikationen sein. Diese Situationen sind im Alltag z. B. aufgrund der Flut von Informationen eine grosse Herausforderung. Daher wäre eine zuverlässige Ergänzung der menschlichen Leistung durch Sprachmodelle ein grosser Gewinn für eine sichere Versorgung. Allerdings sind die bisherigen Ergebnisse eher kritisch zu bewerten. In einer grossen randomisierten Studie in der Schweiz konnte ein KI-unterstützter Differentialdiagnose-Generator für den Notfall keinen Vorteil gegenüber der rein menschlichen Diagnosestellung erzeugen [35]. In den USA sind KI-basierte Vorhersagemodelle zum Teil bereits tief in die Klinikinformationssysteme integriert, ohne dass die Algorithmen transparent zugänglich sind. Das proprietäre Sepsis-Vorhersage-Model ESM nutzt beispielsweise ca. 80 Parameter (z. B. Vitaldaten) von Patienten, berechnet «in real time» die individuelle Wahrscheinlichkeit einer Sepsis und produziert Warnhinweise und Empfehlungen für das Behandlungsteam. Erst mehrere Jahre später konnten externe Validierungsstudien zeigen, dass die Ergebnisse nicht so positiv wie erwartet waren [36], [37], [38]. Dieses Beispiel verdeutlicht, dass für viele grosse Sprachmodelle jene wissenschaftliche Evidenz noch weitgehend fehlt, die den methodischen Standards entsprechen würde, die an medizinische Innovationen angelegt werden, z. B. bei Arzneimitteln. In dieser «wilden Diffusion» ist ein Risiko für die Patientensicherheit zu sehen. Diese wird verschärft, weil auch bei Sprachmodellen ein Technologie-Paradoxon zu erwarten ist, wie es bereits bei der Verbreitung von anderen Technologien im Gesundheitswesen zu beobachten war, etwa bei Clinical-Decision-Support-Systemen: In kürzester Zeit wird es kaum noch Individuen und Organisationen geben, die bereit sind, in Vergleichsstudien ohne KI zu arbeiten, auch wenn die existierende Evidenz mager ist [39].

Menschliche Übersicht?
Regelmässig wird bei KI-Anwendungen in der Medizin auf die «human oversight», die menschliche Übersicht, verwiesen. Damit ist gemeint, dass KI als «Vorschlaggeber» gesehen werden sollte, aber Entscheidungen zur gesundheitlichen Versorgung von individuellen Patienten immer durch eine menschliche Fachperson getroffen werden sollten. Klinisch tätige Fachpersonen sollen also KI kontrollieren, validieren, und nach Fehlern suchen, z. B. in Austrittsbriefen, der Dokumentation einer Konsultation oder einem zusammengestellten Medikationsplan. Diese Vorstellung eines «Zweifler-Modus» ist kurzsichtig, noch wenig durchdacht und noch weniger operationalisiert. Zum einen zeigt die Erfahrung, dass die derzeit noch eingeräumten Zeitressourcen, um Sprachmodell-generierte Resultate zu validieren (z. B. Gegenlesen eines Austrittsberichts) der zunehmenden Rationalisierung zum Opfer fallen werden. Das Hauptproblem bei der «menschlichen Übersicht» ist allerdings, dass es kognitiv extrem anspruchsvoll ist, unter einer Vielzahl von korrekten Outputs Fehler oder Lücken (Auslassungen) zu erkennen [40]. Hinzu kommt, dass die meisten aktuellen Sprachmodelle nicht transparent machen, wie sicher ihre Prädiktion ist. Interpretierbarkeit und menschliche Übersicht könnten aber erleichtert werden, wenn grosse Sprachmodelle auch Unsicherheitsbereiche anzeigen würden oder bei schlechter Performanz das eigene Output gänzlich unterbänden.

Zukünftig werden vermutlich Kollaborations- und Interaktions-Modelle erfolgreicher sein, in denen grosse Sprachmodelle als «Teammitglieder» mit den ärztlichen Fachpersonen zusammenarbeiten, mit den jeweiligen Limitationen, die eben jedes Teammitglied hat – sei es menschlich oder künstlich.