Attention-Mechanismus – Ein Verfahren, das es einem Modell ermöglicht, innerhalb eines Textes gezielt jene Informationen zu gewichten, die für die aktuelle Verarbeitung besonders relevant sind, etwa bestimmte Wörter oder Satzteile im Kontext einer Frage.

Backpropagation – Verfahren, mit dem ein neuronales Netz aus Fehlern lernt: Die Abweichung vom Zielwert wird Schicht für Schicht zurückgerechnet, um die Gewichtung im Modell schrittweise zu verbessern.

BERT (Bidirectional Encoder Representations from Transformers) – Ein Sprachmodell, das Texte gleichzeitig von links und rechts analysiert. Es ist besonders gut geeignet für Aufgaben wie Textklassifikationen, Named Entity Recognition oder Frage-Antwort-Systeme.

Cross-Entropy-Loss-Funktion – Mathematische Funktion, die misst, wie stark die Vorhersage eines Modells von der tatsächlichen Zielvorgabe abweicht. Sie wird verwendet, um Lernprozesse zu steuern. 

Direct Preference Optimization (DPO) – Ein Trainingsverfahren, das darauf abzielt, Modelle direkt anhand von menschlichen Präferenzen zu optimieren, also ohne Umweg über klassische Belohnungssysteme. 

Edge Cases – Spezial- oder Ausnahmefälle, in denen ein KI-Modell ungewöhnlich oder fehlerhaft reagiert, etwa bei medizinischen Randbedingungen, für die es nicht ausreichend trainiert wurde. 

Encoder / Decoder – Grundstruktur vieler Sprachmodelle: Der Encoder analysiert den Eingangstext, der Decoder erzeugt daraus eine Ausgabe, z. B. eine Zusammenfassung oder eine Antwort.

Feed-Forward-Schichten – Kernbestandteil neuronaler Netzwerke. Sie verarbeiten Daten in nur eine Richtung, von der Eingabe zur Ausgabe, und tragen so zur Mustererkennung bei.

Generative Adversarial Networks (GANs) – Zwei KI-Modelle im Wettstreit: Das eine erzeugt synthetische Daten (z. B. Bilder), das andere prüft, ob diese echt oder künstlich sind. Ziel ist eine stetige Verbesserung der Qualität der generierten Inhalte.

Generative Pre-trained Transformer (GPT) – Ein grosses Sprachmodell, das durch unbeaufsichtigtes Lesen grosser Textmengen «vorgebildet» wurde. Es kann Texte generieren, vervollständigen oder strukturieren – je nach Prompt.

Hidden Sate – Zwischenzustand innerhalb eines neuronalen Netzes, der Informationen über bereits verarbeitete Eingaben speichert. Besonders relevant bei Modellen, die mit Texten in Sequenzform arbeiten. 

Input-Embedding – Numerische Darstellung von Wörtern oder Zeichen, die dem Modell ermöglicht, sprachliche Eingaben zu verarbeiten. Wörter mit ähnlicher Bedeutung erhalten ähnliche Werte. 

Long Short-Term Memory (LSTM) – Ein spezieller Typ neuronaler Netzwerke, der frühere Informationen länger speichert und so auch bei langen Texten relevante Zusammenhänge erkennen kann.

Memory Cell – Speicherkomponente innerhalb eines LSTM-Modells. Sie hilft dabei, wichtige Informationen über längere Textabschnitte hinweg zu bewahren, ähnlich einem Kurzzeitgedächtnis. 

Modell T5 (Text-to-Text Transfer Transformer) – Ein universelles Sprachmodell, das jede Aufgabe, von Übersetzung bis Klassifikation, als Text-zu-Text-Problem behandelt. Es wandelt Eingabetext in Zieltext um, was flexible Anwendungen ermöglicht. 

Natural Language Processing – Fachgebiet der Informatik, das sich mit der automatisierten Verarbeitung und Analyse menschlicher Sprache befasst, etwa bei der Textklassifikation, Sprachübersetzung oder Spracherkennung.

Positional Embeddings – Ergänzende Informationen, die einem Sprachmodell mitteilen, in welcher Reihenfolge Wörter im Text stehen. Sie ermöglichen dem Modell, Kontext über Satzstruktur hinweg zu erfassen. 

Protein Design – Anwendung von KI zur gezielten Entwicklung neuartiger Proteine mit gewünschten Eigenschaften, etwa für die Medikamentenentwicklung oder biotechnologische Verfahren. 

Protein Folding – Vorhersage der dreidimensionalen Struktur eines Proteins anhand seiner Aminosäuresequenz. KI-Modelle wie AlphaFold haben diese komplexe Aufgabe mit hoher Genauigkeit automatisiert. 

Proximal Policy Optimization (PPO) – Verfahren aus dem Reinforcement Learning, bei dem das Modell durch kontrollierte, schrittweise Änderungen seiner Strategie stabil und effizient lernt; es wird oft in Kombination mit RLHF eingesetzt. 

Recurrent Neural Networks (RNNs) – Netzwerke, die Informationen aus früheren Schritten wiederverwenden. Sie sind für Text- oder Zeitreihendaten gedacht, leiden jedoch oft unter begrenzter Langzeitspeicherung. 

Reinforcement Learning from Human Feedback (RLHF) – Kombination aus maschinellem Lernen und menschlicher Bewertung: Ein Modell lernt durch Rückmeldungen, welche Antworten bevorzugt werden, und passt sich entsprechend an. 

Self-Attention-Architektur – Kernmechanismus moderner Sprachmodelle. Er bewertet, welche Teile eines Textes sich gegenseitig beeinflussen, und sorgt so für ein tieferes Textverständnis über lange Distanzen hinweg. 

Vanishing Gradient – Problem beim Training tiefer neuronaler Netze: Frühere Schichten erhalten zu geringe Lernsignale, wodurch sie kaum angepasst werden. Moderne Architekturen wie LSTMs beheben dieses Problem. 

Variational Autoencoders – Modelle, die komplexe Daten wie Bilder oder Text in eine komprimierte, kontinuierliche Repräsentation übersetzen. Sie eignen sich besonders zur Generierung realistischer Variationen.