Grosse Sprachmodelle erzeugen sinnvolle Aussagen. Um die Stärken und Schwächen dieses Outputs richtig zu gewichten und einsetzen zu können, muss man sich ihrer Funktionsweise bewusst sein. Deren wichtigste Elemente erläutern wir im Folgenden.

Ein Blick ins Innere: Token-basierte Vorhersage
Die Fähigkeit grosser Sprachmodelle, zusammenhängende und flüssige Texte zu erzeugen, beruht auf einem einfachen, aber leistungsstarken Prinzip: einzelne Spracheinheiten, sogenannte Tokens, werden aufgrund statistischer Analysen vorhergesagt.

Tokens sind die kleinste Einheit, die ein Sprachmodell verarbeitet. Sie sind vergleichbar mit Silben oder Wortfragmenten, je nach Sprache. Ein einzelnes Wort kann aus mehreren Tokens bestehen (z. B. «Blutdruckmessung» - «Blut», «druck», «mess», «ung»), während gängige Wörter wie «und» oder «ist» meist als einzelne Tokens auftreten.

Das Modell betrachtet also nicht Worte im Ganzen, sondern Sequenzen dieser Spracheinheiten. Es wird darauf trainiert, für eine gegebene Sequenz an Tokens vorherzusagen, welcher Token am wahrscheinlichsten als nächster folgen sollte.

Wahrscheinlichkeiten statt Bedeutung
Stellen Sie sich einen Satzanfang wie «Der Patient zeigt Anzeichen von» vor. Ein menschlicher Leser denkt vielleicht sofort an Begriffe wie «Infektion», «Ermüdung» oder «Bluthochdruck». Ein Sprachmodell hingegen rechnet aus, welche Fortsetzung mit der höchsten Wahrscheinlichkeit passt, basierend auf Millionen vergleichbarer Textstellen aus dem Training.

Das Entscheidende ist, das Modell «weiss» nicht, was eine Infektion ist. Es kennt nur die Muster, die typischerweise nach solchen Satzanfängen auftreten, und berechnet daraus eine Rangliste möglicher nächster Tokens. Der wahrscheinlichste Token wird ausgewählt und der Vorgang wird wiederholt, bis ein vollständiger Satz oder Absatz entsteht.

Analogie aus der Medizin: Differentialdiagnostik
Ein Vergleich aus dem ärztlichen Alltag: Kommt ein Patient mit Fieber, Husten und Abgeschlagenheit in die Praxis, erstellt die Ärztin oder der Arzt eine differenzialdiagnostische Wahrscheinlichkeitsliste. Die finale Diagnose hängt davon ab, was im konkreten Fall, unter Berücksichtigung der Patientengeschichte und Kontextfaktoren, am wahrscheinlichsten ist.

Ein Sprachmodell funktioniert ähnlich: Nur dass es nicht Symptome zu Diagnosen abgleicht, sondern Wortmuster zu Wortfortsetzungen. Es erstellt gewissermassen eine «differenzial-linguistische» Einschätzung dessen, was als Nächstes kommen sollte.

Training statt Regeln
Das Modell folgt keinen fixen Regeln der Sprache oder Logik. Es lernt ausschliesslich aus Beispielen, d.h. aus bereits vorhandenen Texten. Dabei werden die Verbindungen zwischen Tokens und deren Kontext statistisch gewichtet. In der Trainingsphase werden Milliarden solcher Vorhersageaufgaben gelöst und dabei die sogenannten Modellgewichte (Parameter) angepasst, um bessere Vorhersagen zu ermöglichen. Je grösser das Modell (also je mehr Parameter), desto feiner kann es sprachliche Nuancen erkennen; dafür ist auch entsprechend mehr Rechenleistung ist erforderlich.

Dieses Verfahren erklärt, warum grosse Sprachmodelle oft überzeugend klingen, aber dennoch fehlerhafte oder erfundene Inhalte produzieren können. Denn sie orientieren sich nicht an Wahrheit oder Fakten, sondern an Wahrscheinlichkeiten von Sprachmustern.

Was sind die Grenzen von grossen Sprachmodellen?
Trotz ihrer Fähigkeit, flüssige und oft beeindruckende Texte zu verfassen, haben grosse Sprachmodelle fundamentale Limitationen. Wer sie verstehen will, und insbesondere im medizinischen Kontext mit ihnen arbeitet, sollte diese Schwächen nicht als Ausnahmen, sondern als Systemmerkmale begreifen. 

Halluzinationen: Wenn Modelle Fakten erfinden
Einer der auffälligsten Begriffe im Umgang mit grossen Sprachmodellen ist die «Halluzination». Gemeint ist damit nicht ein psychologisches Phänomen, sondern die Erzeugung von Inhalten, die plausibel klingen, aber objektiv falsch sind. Ein Modell könnte beispielsweise auf die Eingabe «Wer entdeckte den Appendix als Reservoir für Darmbakterien?» antworten mit: «Der Schweizer Pathologe Emil Schwaner veröffentlichte 1911 eine Abhandlung zur immunologischen Funktion des Appendix.»

Die Antwort klingt glaubwürdig, aber es gibt keinen Emil Schwaner und keine solche Abhandlung. Das Modell hat aus bekannten Mustern (Appendix, Immunologie, Schweiz, frühes 20. Jahrhundert) einen fiktiven, aber statistisch stimmigen Text konstruiert. Für Fachunkundige ist das oft schwer zu durchschauen, und in einem medizinischen Kontext potenziell gefährlich.

Bias: Verzerrungen durch Trainingsdaten
Wie bereits erwähnt, lernen Sprachmodelle ausschliesslich aus vorhandenen Texten. Diese Texte sind jedoch nicht neutral, sondern spiegeln gesellschaftliche, kulturelle und sprachliche Verzerrungen (Bias) wider.

Ein Beispiel: Wenn das Trainingsmaterial überwiegend aus US-amerkianischen Quellen stammt, wird ein Modell möglicherweise häufiger Begriffe wie «primary care physician» verwenden oder Krankheitsbilder nach ICD-Codes einordnen, selbst wenn das in einem schweizerischen Kontext unpassend oder missverständlich ist.

Noch heikler wird es bei geschlechtsspezifischen, kulturellen oder diagnostischen Stereotypen, die unreflektiert übernommen und reproduziert werden können. Sprachmodelle verstehen diese Verzerrungen nicht, sie verfestigen lediglich, was in den Trainingsdaten häufig vorkam.

Kein Weltwissen, kein Verständnis
Sprachmodelle «wissen» nicht, dass eine Niere ein Organ ist oder dass Antibiotika nicht gegen Viren wirken. Sie simulieren Wissen, indem sie Texte erzeugen, die so wirken, als würden sie auf Fakten basieren. Das Modell kennt jedoch weder Ursache-Wirkungs-Zusammenhänge noch semantische Konzepte, es verarbeitet lediglich statistische Häufigkeiten von Wortfolgen.

Selbst einfache Rückfragen wie «Warum ist Penicillin bei Influenza nicht wirksam?» können zu absurden Antworten führen. Nicht aus Böswilligkeit, sondern weil das Modell kein Konzept von Pharmakodynamik oder Virusbiologie hat. Es kann solche Zusammenhänge nicht verinnerlichen, sondern nur imitieren.

Konsequenz für den medizinischen Einsatz
​​​​​​​Diese Limitationen machen klar, dass grosse Sprachmodelle keine wissensbasierten Systeme, sondern sprachliche Wahrscheinlichkeitsmaschinen sind. Wer sie nutzt, muss ihre Aussagen kritisch prüfen, ähnlich wie man einem neuen medizinischen Tool nicht blind vertrauen, sondern es validieren würde.

Im besten Fall ist ein Sprachmodell ein gut formulierender Assistent, der Routinearbeiten erleichtert. Im schlechtesten Fall kann es Fehlinformationen erzeugen, die von Fachfremden oder unkritischen Anwendenden für fundierte Aussagen gehalten werden.

Grosse Sprachmodelle sollen Ärztinnen und Ärzte entlasten, nicht ersetzen. Trotz ihrer Schwächen eröffnen sie auch im medizinischen Alltag neue Möglichkeiten. Insbesondere können sie dort Unterstützung leisten, wo es um Sprache, Strukturierung und Dokumentation geht. Denn gerade in diesen Bereichen ist der Aufwand für Ärztinnen und Ärzte oft hoch, repetitiv und nicht patientenzentriert. 

Unterstützung bei der medizinischen Dokumentation
Ein zentraler Anwendungsbereich von LLMs ist die Erzeugung medizinischer Texte auf der Basis von Stichwörtern oder mittels Spracherkennung. Viele grosse Sprachmodelle sind in der Lage, aus kurzen Notizen gut lesbare Textvorschläge zu generieren, etwa für Arztbriefe, Austrittsberichte oder Konsultationszusammenfassungen.

Beispiel:
Eingabe: «Pat. 67J, DM Typ 2, HbA1c 8.1 %, seit 2 Wo. Schwindel, orthostatische Hypotonie, Medikation Metformin + Ramipril.»

Ausgabe: «67-jähriger Patient mit bekanntem Diabetes mellitus Typ 2 (HbA1c 8.1 %) klagt seit zwei Wochen über Schwindelgefühle, insbesondere beim Aufstehen. Es besteht eine orthostatische Hypotonie. Derzeitige Medikation: Metformin und Ramipril.»

Solche Textvorschläge können Zeit sparen, die sprachliche Qualität erhöhen und den Arbeitsalltag effizienter machen, sofern der Text von der Ärztin oder dem Arzt überprüft und freigegeben wird. 

Strukturierung unstrukturierter Daten
Ein weiteres Einsatzgebiet ist die automatische Strukturierung von Freitexten. Grosse Sprachmodelle können aus Verlaufsnotizen oder Anamnesen zentrale Informationen herausfiltern, wie Diagnosen, Symptome, Laborwerte oder Medikamente und diese in strukturierte Felder überführen.

Das ist besonders interessant in der Forschung, Qualitätssicherung oder bei der medizinischen Codierung. Voraussetzung dafür ist allerdings, dass das Modell für den konkreten Einsatzbereich trainiert und validiert wurde, idealerweise mit lokalen, datenschutzkonformen Daten.

Verbesserung der Patientenkommunikation
Auch bei der Vereinfachung medizinischer Fachsprache zeigen sich nützliche Ansätze. Sprachmodelle können helfen, medizinische Befunde in eine für Laien verständliche Sprache zu übertragen. So könnten z. B. Aufklärungsunterlagen oder Patienteninformationen automatisch erstellt und personalisiert werden.

Beispiel:
Fachtext: «Die Echokardiographie zeigte eine leichte linksventrikuläre Hypertrophie mit erhaltener Auswurffraktion.» 

Vereinfachung: «Die Untersuchung des Herzens ergab eine leichte Verdickung der linken Herzkammer. Die Pumpleistung ist aber weiterhin gut.»

Realistische Anwendungsbeispiele aus der Praxis
In Pilotprojekten werden grosse Sprachmodelle bereits auf unterschiedliche Weise getestet. Hier schildern wir einige realistische Einsatzszenarien. In Kapitel 5 «Praktische Anwendungsbeispiele im Gesundheitswesen» folgen zwei konkrete Applikationen, welche bereits eingesetzt werden.

• Assistenz bei Arztbriefen: Textvorschläge basierend auf kurzen Notizen, die anschliessend vom ärztlichen Personal überprüft und gegebenenfalls angepasst werden.
• Spracherkennung und Strukturierung: Kombination von Spracherkennungs-Software mit grossen Sprachmodellen zur strukturierten Dokumentation von Patientengesprächen.
• Zusammenfassung aus der Patientenakte: Generierung eines Kurzüberblicks für ärztliche Übergaben, z. B. in Notfallstationen oder bei Verlegungen.
• Unterstützung bei administrativen Aufgaben: Formulierung von Stellungnahmen, Versicherungsberichten oder medizinischen Kurztexten.
• Didaktischer Einsatz: Einsatz im Medizinstudium zur Formulierung von Fallvignetten oder zur Simulation von Patientendialogen.

Dabei ist entscheidend: Diese Anwendungen befinden sich meist noch in der Erprobung, werden von Fachpersonen begleitet und ersetzen kein ärztliches Urteil. Doch sie zeigen, dass Sprachmodelle dort Potenzial entfalten, wo Routine auf Sprache trifft, und genau dort liegt eine ihrer grössten Stärken.

Warum halluzinieren grosse Sprachmodelle? LLMs wie ChatGPT erzeugen Texte, die oft überraschend kompetent und kohärent wirken. Sie beantworten medizinische Fragen korrekt, verwenden Fachsprache präzise und erkennen sogar klinische Zusammenhänge. All das lässt den Eindruck entstehen, als würden sie «wissen», wovon sie sprechen. Und doch gilt: Diese Systeme haben kein Bewusstsein und kein echtes Verständnis für die von ihnen erzeugten Inhalte. Warum das kein Widerspruch ist, sondern ein zentraler Aspekt ihrer Funktionsweise, wird bei genauerer Betrachtung deutlich.

Kein Bewusstsein, kein Verständnis
Wenn Menschen Sprache verwenden, geschieht das auf Basis von Bedeutung, Kontext und Erfahrung. Wir verstehen, was ein Wort meint, können seine Relevanz einordnen und in der Medizin als Ärztin, als Arzt in einen klinischen Zusammenhang stellen. Ein Sprachmodell hingegen kennt keine Bedeutung. Es verarbeitet reine Textmuster, berechnet Wahrscheinlichkeiten für die nächste Spracheinheit (Token), ohne jede semantische Tiefe. Es weiss nicht, was eine Hypotonie ist oder warum Penicillin gegen Bakterien wirkt. Es hat kein Weltmodell, kein Gedächtnis, keine Intention, es reagiert lediglich auf Eingaben mit statistisch typischen Ausgaben.

Warum sind viele Antworten trotzdem richtig?
Tatsächlich liefern Sprachmodelle erstaunlich oft korrekte Antworten, auch im medizinischen Bereich. Das liegt an drei zentralen Faktoren:

1. Statistisches Weltwissen: Häufige, klar formulierte und medizinisch korrekte Aussagen, z. B. «Diabetes mellitus bedeutet erhöhter HbA1c», tauchen so oft in qualitativ hochwertigen Trainingsdaten auf, dass das Modell sie zuverlässig reproduziert. Man spricht dabei von implizitem, probabilistischem Wissen, es ist vorhanden, aber nicht bewusst abrufbar.
2. Optimierung durch menschliches Feedback (RLHF): Modelle wie ChatGPT werden nach dem eigentlichen Training durch menschliches Feedback feinjustiert. Dabei lernen sie, hilfreiche, wahrheitsnahe und höfliche Antworten zu bevorzugen, was die Zuverlässigkeit in der Praxis deutlich erhöht.
3. Geringe Komplexität vieler Standardfragen: Bei häufigen und klaren medizinischen Fragen, z. B. «Was bedeutet ein erhöhter CRP-Wert?», genügt die Wiederholung bewährter Textmuster, ohne dass echtes Verständnis erforderlich wäre.

Die Kombination dieser Faktoren führt dazu, dass Sprachmodelle verblüffend kompetent erscheinen, in Wahrheit aber sprachlich gut trainierte Musterreproduktionssysteme sind. 

Warum wird dennoch halluziniert?
Das Problem beginnt dort, wo:

• wenig Trainingsmaterial verfügbar war,
• Fakten unbekannt oder strittig sind,
• konkrete Quellenangaben erwartet werden

In solchen Fällen neigen Modelle dazu, plausible, aber erfundene Aussagen zu generieren. Etwa: «Die Studie von Mèller et al. (2019) im Journal of Clinical Neurology zeigte, dass…» Diese Aussage sieht korrekt aus, sie enthält Autorennamen, Jahr und Journaltitel; sie ist aber komplett halluziniert, weil das Modell keine echte Quelle nachschlagen, sondern einen typischen Zitierstil nachgeahmt hat.  Das Modell ist nicht in der Lage zu erkennen, dass es gerade falsche Informationen erzeugt, weil es kein metakognitives Bewusstsein hat. Es weiss nicht, dass es «lügt». Es kennt nur Form, nicht Inhalt.

Konsequenz für die ärztliche Praxis
Es wäre falsch, grossen Sprachmodellen pauschal Inkompetenz zu unterstellen. Doch ebenso falsch wäre es, ihnen Expertise zuzuschreiben. LLMs können richtige Aussagen erzeugen, ohne zu wissen, dass sie richtig sind und sie können falsche Aussagen erzeugen, ohne zu merken, dass sie falsch sind. Deshalb gilt im medizinischen Kontext weiterhin die zentrale Regel: Jede maschinell erzeugte Information muss kritisch geprüft werden. Grosse Sprachmodelle sind Werkzeuge, keine Wissensquellen im eigentlichen Sinn. Sie entlasten bei Routine und Formulierung, aber verantwortliche Entscheidungen bleiben ausschliesslich beim medizinischen Fachpersonal.

Sprachmodelle basieren auf gelernten Textmustern, nicht auf Wahrheitsanspruch oder Repräsentativität. Die Daten, mit denen sie trainiert werden, stammen grösstenteils aus öffentlich zugänglichen Quellen wie wissenschaftliche Artikel, Webseiten oder Foren. Diese Quellen sind jedoch nicht frei von Verzerrungen. Sie spiegeln oft die Realität dominanter Kontexte wider und lassen bestimmte Perspektiven oder Gruppen unterrepräsentiert. 

In der medizinischen Versorgung kann dies ernsthafte Folgen haben, insbesondere dann, wenn Sprachmodelle bei Entscheidungen oder in der Patientenkommunikation assistieren.

Wo Verzerrungen sichtbar werden

1. Geschlechtsspezifische Unterschiede in Symptombeschreibungen: Viele medizinische Texte und Studien fokussieren auf männliche Referenzverläufe, z. B. bei kardiovaskulären Erkrankungen. Ein Sprachmodell, das aus solchen Texten lernt, könnte typische weibliche Präsentationsformen (z. B. diffuse Beschwerden bei Myokardinfarkt) weniger zuverlässig wiedergeben. 
2. Unterrepräsentierte Krankheitsbilder: Bei seltenen Erkrankungen, seltenen Nebenwirkungen oder altersabhängigen Symptomen fehlt es in den Trainingsdaten oft an ausreichender Vielfalt. Sprachmodelle neigen dazu, häufiger vorkommende (und damit «sprachlich naheliegendere») Diagnosen zu bevorzugen, selbst wenn im konkreten Fall ein selteneres Krankheitsbild wahrscheinlicher wäre.
3. Stigmatisierung durch Sprache: In nicht-ärztlichen Quellen finden sich oft emotional gefärbte oder ungenaue Beschreibungen psychischer Erkrankungen oder chronischer Schmerzen. Wenn solche Texte in das Training einfliessen, kann es dazu kommen, dass grosse Sprachmodelle problematische oder wenig sensible Formulierungen übernehmen, z. B. bei Aufklärungsunterlagen oder Patientenbriefen. 

Klinische Relevanz
In allen genannten Fällen führt Bias nicht zwangsläufig zu offensichtlichen Fehlern, sondern zu systematischen Schieflagen. Bestimmte Symptome werden sprachlich «ernster» genommen, andere verharmlost. Seltene Erkrankungen oder komplexe Verläufe werden weniger oft korrekt abgebildet. Und bestimmte Gruppen von Patientinnen und Patienten (z. B. ältere Menschen, Menschen mit komplexen Multimorbiditäten) könnten sprachlich schlechter repräsentiert sein. Dies kann sich auf die Qualität der Dokumentation oder Kommunikation auswirken. 

Was heisst das für die Praxis?
Verzerrungen in Sprachmodellen sind keine Ausnahme, sondern ein strukturelles Risiko. Es entsteht nicht aus Absicht, sondern aus dem Zusammenspiel von Datenverfügbarkeit, Gewichtung und Modellarchitektur. In der medizinischen Anwendung bedeutet das:

• kritisches Hinterfragen der Textvorschläge
• Validierung von Inhalten durch medizinisches Fachpersonal
• Transparenz über den Einsatzbereich des Modells
• gegebenenfalls Schulung im Umgang mit modellbedingten Verzerrungen

Es gilt also: Ein Sprachmodell «urteilt» nicht, aber es kann bestehende systemische Muster verstärken, wenn diese in den Trainingsdaten angelegt sind. Gerade in der Medizin, wo sprachliche Nuancen klinische Relevanz haben, ist es entscheidend, solche Effekte zu kennen und sie bei der Integration neuer Technologien bewusst zu berücksichtigen. 

Die Diskussion um künstliche Intelligenz im Gesundheitswesen ist häufig von zwei Extremen geprägt. Auf der einen Seite stehen Hoffnung auf Effizienz, Präzision und Entlastung. Auf der anderen Seite Befürchtungen zu Fehlentscheidungen, Intransparenz oder gar Diskriminierung. Insbesondere bei grossen Sprachmodellen stellt sich dabei eine differenzierte Frage:

Reproduzieren diese Systeme problematische Muster oder legen sie sie bloss offen?
Grosse Sprachmodelle können Rassismus, Sexismus oder andere Verzerrungen in Sprache und Versorgung reproduzieren. Aber nicht, weil sie «bösartig» oder moralisch urteilsfähig wären. Vielmehr sind sie Produkte ihres Trainingsumfelds. Sie lernen aus Texten, die in realen gesellschaftlichen und medizinischen Systemen entstanden sind, und übernehmen dabei implizite Normen, Hierarchien und Auslassungen. 

Das Modell unterscheidet nicht zwischen

• objektiver Information,
• kultureller Voreingenommenheit oder
• historisch gewachsener Schieflage

Es bildet lediglich ab, was oft genug gesagt oder geschrieben wurde. Und wenn z. B. gewisse Symptome oder Patientengruppen in der medizinischen Literatur oder Dokumentation seltener vorkommen, dann «verlernt» das Modell diese Kontexte, ohne es zu merken.

Beispiel: Wird ein Modell darauf trainiert, Arztbriefe zu generieren, aber die Trainingsdaten enthalten kaum differenzierte Darstellungen psychosozialer Faktoren, dann werden diese Aspekte in den erzeugten Texten auch nicht auftauchen, selbst wenn sie klinisch relevant wären.

Sichtbarmachung systematischer Schwächen
Und hier liegt der vielleicht wichtigste, zugleich oft unterschätzte Beitrag von KI: Was ein Sprachmodell nicht weiss oder systematisch verzerrt darstellt, ist oft genau das, was auch im realen System zu kurz kommt.

Grosse Sprachmodelle können dadurch zum Spiegel bestehender Schieflagen werden. Wenn sie gewisse Symptome stereotypisieren, komplexe Verläufe ausblenden oder bestimmte Patientengruppen «übersehen», liegt das nicht an der KI, sondern an den Daten, mit denen sie gefüttert worden sind, bzw. an der Art, wie die Nutzenen im System Daten dokumentieren, kommunizieren und priorisieren.

Diese Eigenschaften können in der Praxis hilfreich sein, denn sie verweisen auf die zentralen Fragen nach den inhaltlichen Lücken eines LLMs:

• Welche Krankheitsbilder fehlen in den Modellausgaben?
• Welche Lebensrealitäten werden sprachlich nicht abgebildet?
• Welche medizinischen Normen werden automatisch vorausgesetzt?

Gerade im Rahmen von Qualitätsverbesserung, Forschung oder Public Health bietet KI hier diagnostisches Potenzial: nicht zur Erkennung von Patientenproblemen, sondern von Versorgungsblindstellen. 

Verantwortung: Gestaltung statt Entweder-Oder
KI ist weder neutral noch böse, sie ist so verzerrt, wie die Systeme, aus denen sie stammt. Die Verantwortung liegt daher nicht bei der Technologie selbst, sondern bei den Menschen, die sie entwickeln, trainieren, anwenden und regulieren. Wenn ein grosses Sprachmodell eine Schieflage reproduziert, stellt sich nicht nur die Frage «Was ist mit der KI falsch?», sondern auch: «Was sagt das über unsere Daten, unsere Dokumentation und unsere institutionellen Routinen aus?». In diesem Sinne kann KI nicht nur zur Automatisierung, sondern auch zur Reflexion und Verbesserung beitragen – vorausgesetzt, sie wird transparent, kritisch und interdisziplinär begleitet. 

Wenn neue Technologien im Gesundheitswesen eingeführt werden, steht oft die Frage im Raum «Ist das System gut genug?». Diese Frage wirkt simpel, ist aber trügerisch. Denn sie hängt wesentlich davon ab, woran wir das System messen. Und genau hier liegt ein blinder Fleck vieler technischer Bewertungen. Messen wir KI am Idealfall oder an der Alltagsrealität klinischer Arbeit?

Der Idealfall: ausgeruht, empathisch, fehlerfrei
Viele Kritiker vergleichen KI-Systeme mit einer idealen Ärztin oder einem idealen Arzt oder einer perfekten Gesundheitsfachperson, fachlich auf dem neusten Stand, stets konzentriert, empathisch im Gespräch, effizient in der Dokumentation und mit genügend Zeit für jede Entscheidung. Gegen ein solches Idealbild kann keine Maschine bestehen, und auch kaum ein Mensch im realen Alltag. Die Folge: KI wird schnell als «unzureichend», «nicht vertrauenswürdig» oder «noch nicht reif» bezeichnet, weil sie nicht perfekt ist. Doch genau diese Perspektive ist problematisch. Denn sie blendet aus, welche strukturellen Belastungen den medizinischen Alltag prägen.
 

Die Realität: Multitasking, Zeitdruck, Dokumentationslast
Wer den Klinik- oder Praxisalltag kennt, weiss:

• Die Dokumentation dauert länger als das Gespräch,
• Zeit zum Nachlesen, für sprachliche Präzision oder patientengerechte Formulierungen ist oft knapp.
• Müdigkeit, Arbeitsverdichtung und Unterbrechungen gehören zum Alltag.

In diesem Kontext ist es nicht sinnvoll, ein KI-System mit einer Idealärztin, einem Idealarzt zu vergleichen, sondern mit der realistischen Alternative.

Was wäre passiert, wenn es keine KI-Unterstützung beim Dokumentieren oder Formulieren gegeben hätte?

• Wäre der Arztbrief am Ende des Dienstes genauso sorgfältig formuliert worden?
• Hätte man die psychosoziale Anamnese noch dokumentiert oder es beim Leitsymptomcode belassen? 
• Hätte sich jemand die Zeit genommen, einen Patientenbrief verständlich zu formulieren?

Gerade bei solchen Aufgaben kann ein KI-System nicht die medizinische Verantwortung übernehmen, aber sehr wohl Qualität sichern, Sprachbarrieren überbrücken oder Formulierungshilfe leisten.

Die richtige Vergleichsfrage
Die zentrale Frage lautet daher nicht: «Ist KI besser als eine erfahrene Ärztin oder ein erfahrener Arzt in Bestform?» Sondern: «Ist KI besser als die aktuelle berufliche Realität von Ärztinnen und Ärzten, die unter Druck, Müdigkeit und Zeitmangel arbeiten, und wo genau kann KI sie sinnvoll unterstützten?» Die Perspektive, welche diese Frage anspricht, ist nicht defensiv, sie ist pragmatisch und realitätsnah. Denn sie anerkennt, dass KI keine ideale Lösung darstellt, aber in bestimmten Bereichen besser funktionieren kann, als wenn es Fachpersonen an der nötigen Zeit, Konzentration oder Ressourcen mangelt.

Eine faire Bewertung von KI im Gesundheitswesen braucht Transparenz über die Vergleichsgrundlage. Wer Perfektion fordert, wird nie zufrieden sein. Wer sich der Realität bewusst ist, erkennt die Chance auf Entlastung. Das bedeutet nicht, dass wir unkritisch sein sollen, im Gegenteil: Gerade weil die Klinikrealität herausfordernd ist, braucht es besonders klare ethische und fachliche Standards, wenn neue Technologien eingebunden werden. Aber sie sollten sich an der Praxis orientieren, nicht an Idealen, die selbst im System kaum gelebt werden können.

Im Gesundheitswesen steht keine Technologie für sich allein. Jede Entscheidung, ob ärztlich oder algorithmisch unterstützt, muss rückverfolgbar, erklärbar und überprüfbar sein. Genau darum ist Nachvollziehbarkeit ein zentrales Kriterium für den sinnvollen Einsatz von künstlicher Intelligenz in der Medizin.

Warum ist Nachvollziehbarkeit so wichtig? In der medizinischen Praxis geht es nicht nur um das «richtige» Ergebnis, sondern auch um die Begründung, wie dieses Ergebnis zustande kam. Das betrifft sowohl

• die Dokumentation klinischer Entscheidungen (z. B. warum wurde diese Diagnose gestellt?),
• als auch die Verantwortung gegenüber Patientinnen und Patienten, Dritten oder Aufsichtsbehörden.

Ein KI-System, insbesondere ein Sprachmodell, darf man also nicht als «Black Box» einsetzen deren Vorschläge oder Formulierung nicht erklärbar sind. Gerade in Situationen, in denen Haftung, Vertrauen oder ethische Vertretbarkeit auf dem Spiel stehen, ist Transparenz der Systemlogik unabdingbar. 

Nachvollziehbarkeit im EU AI Act
Diese Anforderung ist nicht nur ethisch, sondern auch rechtlich verankert: Der EU AI Act, das neue europäische Regelwerk für vertrauenswürdige künstliche Intelligenz, stuft Systeme im medizinischen Bereich generell als «Hochrisiko-Anwendungen» ein. Sie unterliegen damit strengen Anforderungen, unter anderem bezüglich:

• Transparenz über Funktionsweise und Datenbasis
• Nachvollziehbarkeit der Ausgaben
• Möglichkeit zur menschlichen Kontrolle
• Protokollierung von Entscheidungen

Ein System, das klinische Texte generiert oder strukturierte Informationen bereitstellt, muss erklären können, wie diese Inhalte zustande kommen, auch wenn sie nur als Vorschlag dienen. Andernfalls droht nicht nur rechtliche Unsicherheit, sondern auch Vertrauensverlust bei Patientinnen und Patienten und im Kollegium.

Das Dilemma grosser Sprachmodelle
Deshalb steht gerade die Nutzung von LLMs in diesem Punkt vor einer grossen Herausforderung, denn LLMs:

• arbeiten nicht regelbasiert, sondern probabilistisch
• speichern keine Quellen, sondern «wissen» bzw. reproduzieren nur, was häufig gesagt wurde
• können nicht von sich aus erklären, warum sie einen bestimmten Textvorschlag gemacht haben

In der Praxis heisst das: Ein grosses Sprachmodell kann einen überzeugenden Arztbrief texten, aber weder benennen, welche Quellen es dafür verwendet hat, noch begründen, warum es eine bestimmte Formulierung gewählt hat. Diese fehlende Erklärbarkeit steht im direkten Widerspruch zu den Anforderungen in der klinischen Verantwortungskette. 

Was bedeutet das für den Einsatz von LLM im Gesundheitswesen?
Nachvollziehbarkeit heisst nicht, dass ein System jede Entscheidung wie ein Mensch begründen können muss. Aber es braucht technische, organisatorische und kommunikative Massnahmen, um den Einsatz von LLM erklärbar zu machen:

• Kennzeichnung maschinell erzeugter Inhalte (z. B. «Dieser Textvorschlag basiert auf einem Sprachmodell. Bitte ärztlich prüfen.»)
• Versions- und Änderungsverfolgung (Was wurde von KI-Systemen vorgeschlagen? Was hat der Mensch übernommen oder verändert?)
• Einschränkung des Einsatzbereichs (z. B. keine Anwendung in hochsensiblen Kontexten wie Diagnosestellung oder Aufklärungsdokumenten)
• Transparente Schnittstellen (z. B. durch erklärende Hinweise im Interface: «Dieser Begriff wurde auf Basis häufiger Verwendung in Fachtexten vorgeschlagen.») 

Nachvollziehbarkeit ist keine technische Nebensache, sondern ein Grundpfeiler für das Vertrauen in die ärztliche Arbeit und ihre verantwortliche Ausübung. Nachvollziehbarkeit entscheidet darüber, ob eine Technologie wirklich integrierbar ist oder langfristig zu rechtlichem und ethischem Risiko wird. 

Wer grosse Sprachmodelle im Gesundheitswesen einführen will, muss nicht nur auf Leistung und Effizienz schauen, sondern vor allem fragen: Kann ich nachvollziehen, was dieses System tut, und kann ich das vertreten?

Nur dann lässt sich die Verantwortung für maschinell unterstützte ärztliche Arbeit professionell und rechtssicher tragen.

Ein Perspektivenwechsel im Umgang mit medizinischer Information
Die Digitalisierung des Gesundheitswesens war über Jahrzehnte geprägt von einem klaren Ziel: Medizinische Daten sollen strukturiert, standardisiert und maschinenlesbar sein. Diagnosen werden codiert, Laborwerte in normierte Formate übertragen, Medikamentenpläne nach HL7-FHIR-Standards modelliert. Diese Strukturierung dient der Vergleichbarkeit, Abrechnung, Forschung und Systemintegration, sie ist ein Fundament moderner Gesundheits-IT.

Doch sie hat auch einen Preis:

• Zeitaufwand in der Dateneingabe
• Verlust sprachlicher Nuancen
• Fehlende Abbildung von Unsicherheiten, Zwischentönen oder individuellen Aspekten der Behandlung 

Gerade in der ärztlichen Dokumentation zeigt sich: Das meiste klinische Wissen liegt nicht in strukturierten Feldern, sondern im Freitext.

Das Problem mit dem Freitext
Freitexte, etwa Verlaufsnotizen, Anamnesen oder Konsultationsberichte, enthalten wertvolle Informationen. Sie spiegeln klinische Einschätzungen, Kontextwissen, Relationen und Unsicherheiten wider. Doch bislang waren sie für IT-Systeme kaum auswertbar. Sie galten als «Black Box», nützlich für Menschen, aber nicht für Maschinen.

Die Folge:

• Nur strukturierte Informationen flossen in Qualitätssicherung, Forschung oder Entscheidungshilfen ein. 
• Freitext wurde archiviert, aber nicht genutzt. 
• Relevantes Wissen blieb oft dokumentiert, aber algorithmisch unsichtbar. 

Grosse Sprachmodelle als Brücke zur unstrukturierten Sprache
Mit grossen Sprachmodellen ändert sich dieses Bild grundlegend. Grosse Sprachmodelle sind in der Lage,

• unstrukturierte medizinische Sprache zu analysieren,
• relevante Inhalte zu extrahieren,
• sie bei Bedarf in strukturierte Formate zu überführen,
• oder umgekehrt: strukturierte Daten in narrativen Kontext zu übersetzen.

Beispiele:

• Ein grosses Sprachmodell erkennt im Freitext eine nicht explizit codierte Nebendiagnose.
• Es kann aus einem Anamnesetext die wichtigsten Risikofaktoren herausfiltern.
• Es ist fähig, aus Laborwerten und Stichworten einen verständlichen Arztbrief erzeugen.

Besonders bemerkenswert: Grosse Sprachmodelle erkennen auch Unsicherheit, Relationen und sprachliche Nuancen, die klassische regelbasierte Systeme ignorieren. Das eröffnet neue Möglichkeiten, z. B. für:

• klinische Entscheidungsunterstützung auf Basis realer Sprache
• retrospektive Datenanalyse und Forschung mit Freitext
• patientenzentrierte Kommunikation durch sprachlich adaptierte Inhalte

Paradigmenwechsel: Sprache als Datenquelle
​​​​​​​Bisher war die Struktur der heilige Gral, jetzt zeigt sich, Sprache ist nicht das Problem, sondern die Lösung. Mit grossen Sprachmodellen wird natürliche Sprache erstmals maschinenverwertbar, ohne sie in mühsame Felder und Codierungen pressen zu müssen. Das bedeutet nicht das Ende strukturierter Daten, aber eine Erweiterung des Blicks auf das, was dokumentiert und genutzt werden kann. 

Grosse Sprachmodelle können eine Brücke schlagen zwischen menschlicher Sprache und maschineller Verarbeitung. Sie eröffnen neue Wege, unstrukturierte medizinische Inhalte zugänglich, nutzbar und kontextsensitiv zu machen, ohne ihre Komplexität zu zerstören. In einem System, das bisher darauf angewiesen war, klinische Realität in Tabellenform zu pressen, ist das eine stille Revolution.