Autor - Christopher Galli, Experte Digitalisierung FMH

Die Diskussion über den Einsatz grosser Sprachmodelle im Gesundheitswesen wird zunehmend konkreter. Nicht weil es sich um eine plötzliche technologische Revolution handelt, sondern weil die Systeme in ihrer Leistungsfähigkeit und Zugänglichkeit eine Schwelle überschritten haben, die ihren produktiven Einsatz nun realistisch erscheinen lässt. Was vor wenigen Jahren noch experimentell wirkte, findet heute Eingang in erste klinische Prozesse: von der Dokumentationsentlastung über die Extraktion medizinischer Fakten bis hin zur teilautomatisierten Kodierung. 

Dabei entsteht leicht der Eindruck, man stünde am Beginn eines Paradigmenwechsels in der medizinischen Informationsverarbeitung. Zugleich mehren sich Stimmen, die zur kritischen Reflexion aufrufen. Nicht aus Skepsis gegenüber dem Fortschritt, sondern aus dem Bewusstsein, dass sich hinter der scheinbaren Intelligenz dieser Modelle eine ganz andere Logik verbirgt als bei bisherigen digitalen Systemen.

Sprachmodelle sind keine Wissenssysteme – sie reproduzieren Wahrscheinlichkeiten
​​​​​​​Ein zentrales Missverständnis besteht darin, grosse Sprachmodelle als «wissensbasierte Systeme» zu verstehen. Tatsächlich aber verfügen sie über keinerlei Begriffsverständnis, kein Modell von Welt, keine Logik im klassischen Sinn. Sie basieren auf rein statistischen Sprachmodellen, deren Aufgabe es ist, die wahrscheinlichste nächste Spracheinheit (Token) in einer gegebenen Sequenz vorherzusagen, basierend auf Wahrscheinlichkeiten, die aus Milliarden von Textbeispielen abgeleitet wurden. 

David Krueger, KI-Forscher an der University of Cambridge, bringt dies im Interview mit «Machine Learning Street Talk»¹⁴  präzise auf den Punkt: «LLMs give answers, but they don’t reason. They don’t explain. They don’t even know what they’re saying – they simply predict what someone in their training data would plausibly say.» 

Eine Aussage oder vermeintliche Begründung durch ein LLM ist keine Schlussfolgerung im eigentlichen Sinn – sondern lediglich eine statistische Fortsetzung sprachlicher Muster, die in ähnlichen Kontexten zuvor beobachtet wurden¹⁵.

Diese fehlende epistemische Struktur, also das Fehlen einer bewussten Trennung von Wissen, Meinung, Unsicherheit oder logischer Ableitung, unterscheidet grosse Sprachmodelle grundlegend von traditionellen Expertensystemen oder regelbasierten medizinischen Entscheidungsbäumen. Ein grosses Sprachmodell erzeugt keine Hypothese, prüft keine Annahme oder argumentiert nicht. Es errechnet Wahrscheinlichkeiten über Wortfolgen. Das Ergebnis mag plausibel klingen, ist aber epistemisch leer, eine Eigenschaft, die insbesondere im medizinischen Bereich nicht unterschätzt werden darf. 

Ein anschauliches Beispiel ist die systematische Verzerrung bei Uhrzeit-Angaben in Bildgeneratoren: Wird ein KI-System gefragt, wie spät es auf einer Uhr im Bild sei, lautet die Antwort oft «10:10». Nicht, weil die Uhr dies zeigt, sondern weil die überwiegende Mehrheit der Trainingsbilder Werbefotos mit dieser Uhrzeit darstellt. Ähnliche Mechanismen wirken auch in Textmodellen. Sie reproduzieren dominante Muster ihrer Trainingsdaten, unabhängig davon, ob diese richtig, aktuell oder relevant sind. Dies führt zu überrepräsentierten Narrativen, veralteten medizinischen Empfehlungen oder gar zu Falschinformationen, die als fachlich korrekt erscheinen, nur weil sie sprachlich kohärent und statistisch naheliegend sind. 

Technologischer Druck und falsche Sicherheit
Die wachsende Integration von KI-Funktionen in bestehende Praxissoftware bringt eine neue Art von Risiko mit sich: den Eindruck von Sicherheit durch Marktdominanz. Funktionen, die von grossen Anbietern als «integriert», «zertifiziert» oder «getestet» ausgeliefert werden, vermitteln fälschlicherweise den Eindruck, sie seien auch inhaltlich verlässlich. Doch unabhängig davon, wie stabil ein System technisch läuft oder wie viele Instanzen es verwendet, seine Funktionsweise bleibt probabilistisch. Ein Sprachmodell ist kein Faktenlexikon, sondern ein Wahrscheinlichkeitsautomat.

Daher sollte jede Anwendung eines grossen Sprachmodells so behandelt werden, als würde sie potenziell nach aussen wirken, ganz gleich, ob Daten lokal verarbeitet werden oder via API an andere Anbieter weitergeschickt werden. Die pragmatische Regel lautet: Wenn ich diese Eingabe nicht öffentlich machen würde, sollte ich sie auch nicht in ein Sprachmodell eingeben. Datenschutz beginnt nicht mit der Datenschutzerklärung eines Anbieters, sondern mit der bewussten Risikoeinschätzung auf Nutzerseite.

Nutzung nur durch Fachpersonen – in vertrauten Kontexten
Sprachmodelle erzeugen mit hoher sprachlicher Überzeugungskraft Inhalte, die inhaltlich falsch oder irreführend sein können. Diese Texte sind für Fachfremde kaum als problematisch zu erkennen. Daher gilt: Grosse Sprachmodelle sollten im professionellen Kontext nur dort eingesetzt werden, wo die Nutzerin oder der Nutzer selbst über ausreichende Fachkenntnis verfügt, um Fehler zu erkennen und einzuordnen. Wer medizinische Texte generieren lässt, ohne die Fähigkeit zur kritischen inhaltlichen Prüfung zu besitzen, übernimmt ein unkalkulierbares Risiko, unabhängig davon, wie gut das Modell trainiert wurde.  Die Grenze zwischen hilfreicher Entlastung und gefährlicher Automatisierung verläuft nicht entlang technischer Fähigkeiten, sondern entlang menschlicher Verantwortung.

Keine Angst – aber ein kritischer Blick
Trotz dieser Risiken besteht kein Anlass zu übertriebener Besorgnis. Grosse Sprachmodelle sind weder Bedrohung noch Heilsbringer, sie sind Werkzeuge. Und wie bei jedem Werkzeug entscheidet der Umgang über den Nutzen. Wer mit gesundem Menschenverstand, mit Fachkenntnis und einem klaren Verständnis für die systemischen Grenzen arbeitet, kann grosse Sprachmodelle produktiv und sicher einsetzen. Die wahre Gefahr liegt nicht im Modell, sondern in einem unreflektierten Umgang damit – insbesondere dann, wenn ökonomischer Druck, Zeitnot oder technologische Euphorie kritisches Denken überlagern.