Glossar

Kleine trainierbare Module, die in eingefrorene vortrainierte Modelle eingefügt werden und effizientes aufgabenspezifisches Fine-Tuning ermöglichen.

Systematisches Angreifen von Modellen mit schwierigen oder bösartigen Eingaben, um Schwachstellen aufzudecken.

Der Prozess, KI-Systeme so zu trainieren, dass sie sich gemäß menschlicher Werte, Absichten und Präferenzen verhalten: sicherstellend, dass Modelle hilfreich, harmlos und ehrlich sind.

Rechtsdomänen-Anpassung stimmt ein KI- oder Retrieval-System auf juristische Sprache, Quellen und Korrektheitskriterien ab, für präzisere, belastbare Ergebnisse.

Sicherstellen, dass zentrale Teile einer Antwort auf konkrete Quellen zurückgeführt werden können.

Algorithmen, die approximativ ähnliche Vektoren schnell finden, indem sie perfekte Genauigkeit gegen massive Geschwindigkeitsverbesserungen eintauschen.

Eine neuronale Netzwerktechnik, die Modellen ermöglicht, sich bei der Ausgabeerzeugung auf relevante Teile der Eingabe zu konzentrieren.

Die KI-Fähigkeit, generierte Aussagen mit spezifischen Quellbelegen zu verknüpfen und festzustellen, welche Teile der Ausgabe von welchen Dokumenten gestützt werden.

Ein Algorithmus, der effizient Gradienten berechnet, indem er Fehler rückwärts durch ein neuronales Netzwerk Schicht für Schicht propagiert.

Ein Dekodierungsalgorithmus, der mehrere Kandidatensequenzen parallel erkundet und die top-k vielversprechendsten Pfade bei jedem Schritt behält.

Der systematische Prozess zur Bewertung von Modellleistung gegen standardisierte Datensätze und Metriken, der faire Vergleiche zwischen verschiedenen Modellen, Architekturen und Ansätzen ermöglicht.

Eine neuronale Architektur, die Queries und Dokumente separat in feste Vektoren kodiert, was effiziente Ähnlichkeitssuche durch vorberechnete Embeddings und Approximate-Nearest-Neighbor-Indizes ermöglicht.

Bias-Minderung umfasst Methoden, um unfairen Bias in Daten, Modellverhalten und Outcomes eines KI-Systems zu erkennen und zu reduzieren.

Best Matching 25 - der State-of-the-Art probabilistische Ranking-Algorithmus für Textsuche basierend auf TF-IDF-Prinzipien.

Ein Subword-Tokenisierungsalgorithmus, der ein Vokabular durch iteratives Zusammenführen häufiger Symbolpaare aufbaut.

Eine Prompting-Technik, die Schritt-für-Schritt-Reasoning von Sprachmodellen hervorruft, die Leistung bei komplexen Aufgaben verbessert, indem der Denkprozess explizit und verifizierbar gemacht wird.

Die Methode zur Aufteilung von Dokumenten in kleinere Segmente für effektives Retrieval und Verarbeitung in RAG-Systemen.

Eine neuronale Architektur, die Query-Dokument-Paare gemeinsam kodiert, um Relevanzscores zu erzeugen, mit höherer Genauigkeit als Bi-Encoder aber zu höheren Rechenkosten.

Ein Teilbereich des Machine Learning, der neuronale Netze mit vielen Schichten nutzt, um hierarchische Repräsentationen zu lernen.

Informationsabruf mit gelernten dichten Vektordarstellungen, ermöglicht semantisches Matching über Schlüsselwort-Überlappung hinaus.

Verfahren, die die Dimensionalität von Embeddings verringern und möglichst viel Information erhalten.

Eine mathematische Funktion, die Abstand oder Ähnlichkeit zwischen zwei Embeddings quantifiziert.

Ein Ähnlichkeitsmaß zwischen Vektoren, das auf ihrem Skalarprodukt basiert.

Die Abstimmung von Embeddings aus verschiedenen Modellen oder Sprachen, damit sie vergleichbar werden.

Verfahren, die Embeddings in Speicher oder Bits pro Vektor verkleinern, ohne die Qualität stark zu mindern.

Langsame Verschiebung der Bedeutung oder Skala von Embeddings durch Modell‑ oder Datenänderungen.

Der Vektorraum, in dem Embeddings liegen und in dem Abstände semantische Beziehungen annähern.

Ein ML‑Modell, das Text oder andere Daten in Vektor-Embeddings umwandelt.

Dichte Vektorrepräsentationen von Daten (Text, Bilder, etc.), die semantische Bedeutung in einem kontinuierlichen numerischen Raum erfassen.

Die Fähigkeit zu verstehen, zu interpretieren und zu erklären, wie KI/ML-Modelle Vorhersagen treffen: essentiell für Vertrauen, Debugging, regulatorische Compliance und verantwortungsvolle KI-Bereitstellung.

Die Luftliniendistanz zwischen zwei Punkten in einem Vektorraum.

Wiederverwendbare Umgebung zum Definieren, Ausführen und Nachverfolgen von KI-Evaluationen.

Kuratiertes Set von Beispielen mit bekannten Labels zur Messung der Modellperformance.

Facebook AI Similarity Search - die umfassendste Open-Source-Bibliothek für effiziente Ähnlichkeitssuche und Clustering von dichten Vektoren.

Eigenschaft, dass eine Erklärung das tatsächliche Modellverhalten und die zugrunde liegenden Belege korrekt widerspiegelt.

Maß dafür, wie gut eine generierte Antwort mit verlässlichen Quellen oder Ground Truth übereinstimmt.

Der Grad, zu dem KI-generierte Inhalte überprüfbare Wahrheit genau widerspiegeln und korrekte Aussagen von Fabrikationen und Halluzinationen unterscheiden.

Ein neuronales Netz, in dem Informationen nur vorwärts von Eingabe zu Ausgabe fließen, ohne rückgekoppelte Verbindungen.

Gezielt untersuchen, wo und warum ein Modell versagt, um spätere Versionen zu verbessern.

Ein Machine-Learning-Paradigma, bei dem Modelle Aufgaben aus nur wenigen Beispielen lernen, was schnelle Anpassung ohne umfangreiches Neutraining oder Fine-Tuning ermöglicht.

Der Prozess des Weitertrainierens eines vortrainierten Modells auf domänenspezifischen Daten für bessere Spezialisierung.

Eine LLM-Fähigkeit, bei der das Modell strukturierte Argumente auswählt und ausfüllt, um externe Tools oder Funktionen aufzurufen.

Der Teil eines RAG-Systems, in dem das Sprachmodell den abgerufenen Kontext nutzt, um eine Antwort zu erzeugen.

Eine einfache Textgenerierungsstrategie, die bei jedem Schritt immer das Token mit der höchsten Wahrscheinlichkeit auswählt.

Ein Optimierungsalgorithmus, der Modellparameter iterativ anpasst, indem er sich in die Richtung bewegt, die die Verlustfunktion reduziert.

Die maßgeblichen, verifizierten Referenzdaten zum Trainieren und Evaluieren von Machine-Learning-Modellen: die 'korrekten' Antworten, gegen die Modellvorhersagen gemessen werden.

Die Technik zur Verankerung von KI-Modellausgaben an überprüfbaren Quellen, Fakten oder abgerufenen Dokumenten, um Halluzinationen zu reduzieren und Genauigkeit zu erhöhen.

Sicherheitsmechanismen und Einschränkungen, die KI-Systeme daran hindern, schädliche, unangemessene oder themenabweichende Outputs zu generieren: Laufzeitschutz über das Alignment während des Trainings hinaus.

Wenn ein KI-Modell falsche, erfundene oder unbelegte Informationen als Fakten präsentiert.

Anteil der Ausgaben eines Modells, die erfunden oder nicht belegt sind.

Hierarchical Navigable Small World Graphen - der State-of-the-Art-Algorithmus für schnelle approximative Nearest-Neighbor-Suche in hochdimensionalen Räumen.

Einsatz menschlicher Prüfer, um KI-Ausgaben zu kontrollieren, zu korrigieren oder freizugeben.

Die Kombination von Vektor- und lexikalischen Indizes, um semantische und Schlüsselwort-Matches zu unterstützen.

Ein Retrieval-Ansatz, der Keyword-basierte und semantische Vektorsuche kombiniert, um die Stärken beider Methoden zu nutzen.

Die Fähigkeit großer Sprachmodelle, neue Aufgaben zur Inferenzzeit zu lernen, indem sie auf Beispiele oder Instruktionen im Prompt konditionieren, ohne Parameterupdates.

Das periodische Aktualisieren eines Vektorindex, um neue Daten oder Modelländerungen abzubilden.

Das Aufteilen eines großen Index in mehrere Shards über Maschinen oder Partitionen hinweg.

Der Prozess der Verwendung eines trainierten Modells zur Generierung von Vorhersagen oder Ausgaben auf neuen Daten.

Eine Fine-Tuning-Methode, die Sprachmodelle trainiert, Anweisungen in natürlicher Sprache für diverse Aufgaben zu befolgen.

Eine Datenstruktur, die Begriffe auf Dokumentstandorte abbildet, für schnelle Volltextsuche über große Dokumentsammlungen.

Eine Retrievalstrategie, die Anfragen und Kontext wiederholt anhand von Zwischenergebnissen verfeinert.

Das gezielte Gestalten von Prompts oder Eingaben, um die Sicherheits- und Richtliniengrenzen eines KI-Systems zu umgehen.

Anpassung der Modellkonfidenzen an die tatsächliche Wahrscheinlichkeit der Korrektheit.

Die übergeordneten Designentscheidungen dazu, wie ein System Wissen für LLMs abruft und strukturiert.

Ein Wertebereich, in dem eine Größe mit einer bestimmten Wahrscheinlichkeit liegt.

Die maximale Textmenge (gemessen in Tokens), die ein Sprachmodell in einer einzelnen Interaktion verarbeiten kann.

Das Hinzufügen abgerufener oder zusätzlicher Informationen in einen LLM-Prompt, um die Generierung zu steuern.

Regelmäßiges erneutes Ausführen von Evaluationen in Produktion, um Regressionen oder Drift früh zu erkennen.

Ein mathematisches Maß für die Ähnlichkeit zwischen zwei Vektoren basierend auf dem Kosinus des Winkels zwischen ihnen.

Large Language Models sind KI-Systeme, die auf riesigen Textdaten trainiert wurden, um menschenähnlichen Text zu verstehen und zu generieren.

Die Logarithmen der von einem Sprachmodell ausgegebenen Token-Wahrscheinlichkeiten, genutzt zur Bewertung und Analyse von Generierungen.

Low-Rank Adaptation - eine effiziente Fine-Tuning-Technik, die kleine Adapter-Matrizen trainiert statt alle Modellgewichte zu aktualisieren.

Ein KI-Bereich, in dem Systeme Muster aus Daten lernen, um Vorhersagen ohne explizite Programmierung zu treffen.

Begrenzung des Retrievals anhand von Feldern wie Datum, Quelle, Sprache oder Vertraulichkeit.

Eine Open-Source-Vektordatenbank, optimiert für das Speichern, Indexieren und Durchsuchen massiver Embedding-Vektoren: ermöglicht Ähnlichkeitssuche für KI-Anwendungen wie RAG, semantische Suche und Empfehlungen.

Leistungsabfall eines Modells im Zeitverlauf, weil sich Datendistribution oder Nutzung ändern.

Techniken zur Reduzierung von KI-Modellgröße und Rechenanforderungen bei Erhalt der Leistung für effizientes Deployment.

Wie gut ein Modell seine Leistung bei Rauschen, Verschiebungen oder adversarialen Eingaben beibehält.

Eine Technik, die mehrere Attention-Operationen parallel ausführt und Modellen ermöglicht, verschiedene Beziehungstypen gleichzeitig zu erfassen.

Retrieval, das mehrere verkettete Schritte nutzt, um komplexe mehrstufige Fragen zu beantworten.

KI-Technik die benannte Entitäten wie Personen, Orte und Organisationen in Text identifiziert und klassifiziert für Informationsextraktion.

Algorithmen, die die nächstgelegenen Vektoren zu einer Query‑Embedding finden.

Ein Retrievalmuster, das gezielt nach widersprechenden, fehlenden oder widerlegenden Belegen sucht.

Ein Machine-Learning-Modell aus miteinander verbundenen Schichten künstlicher Neuronen, die Muster aus Daten lernen.

Optische Zeichenerkennung: Technologie, die Bilder von Text (gescannte Dokumente, Fotos, PDFs) in maschinenlesbaren Text umwandelt und Suche, Bearbeitung und KI-Verarbeitung von gedrucktem oder handgeschriebenem Inhalt ermöglicht.

Das Abrufen kleiner Textpassagen oder Chunks statt ganzer Dokumente für präzisere Antworten.

Eine Metrik, die misst, wie gut ein Sprachmodell Text vorhersagt, wobei niedrigere Werte bessere Vorhersagefähigkeit anzeigen.

Ein vollständig verwalteter Vektor-Datenbank-Service speziell für Machine-Learning-Anwendungen entwickelt, der serverlose Ähnlichkeitssuche im Maßstab bietet.

Verfahren in Transformer-Modellen, um Positionsinformationen zu ansonsten reihenfolgenblinden Embeddings hinzuzufügen.

Die initiale Trainingsphase eines großen Sprachmodells auf massiven Textkorpora, um allgemeine Sprachmuster, Weltwissen und Denkfähigkeiten vor aufgabenspezifischem Fine-Tuning zu lernen.

Die Texteingabe oder Anweisung, die einem Sprachmodell gegeben wird, um die Antwortgenerierung zu steuern.

Eine Angriffstechnik, bei der bösartige Anweisungen in LLM-Eingaben eingefügt werden, um System-Prompts zu überschreiben, Guardrails zu umgehen oder das Modellverhalten auf unbeabsichtigte Weise zu manipulieren.

Entfernen unnötiger Gewichte oder Neuronen aus neuronalen Netzen zur Reduzierung von Modellgröße und Rechenkosten ohne signifikanten Genauigkeitsverlust.

Quantized LoRA - kombiniert 4-Bit-Quantisierung mit LoRA-Adaptern und ermöglicht Fine-Tuning von 65B+ Modellen auf einer einzelnen 48GB GPU.

Reduzierung der Modellpräzision von 32/16-Bit auf 8/4-Bit, was den Speicherverbrauch drastisch senkt und die Inferenz beschleunigt.

Techniken, die Suchanfragen automatisch umformulieren oder erweitern, um Retrieval durch Hinzufügen von Synonymen, verwandten Begriffen oder umformulierten Versionen zu verbessern.

Die Umformulierung einer Benutzeranfrage in eine Form, die für Retrieval besser funktioniert.

Prüfen, dass Änderungen an Modellen oder Pipelines bestehendes Verhalten nicht unbeabsichtigt verschlechtern.

Eine zweistufige Retrieval-Technik, die initiale Suchergebnisse neu ordnet, um Relevanz mit ausgefeilteren Modellen zu verbessern.

RAG ist eine KI-Technik, die Informationsabruf mit Textgenerierung kombiniert, um präzise, quellenbasierte Antworten zu erzeugen.

Das Ausmaß, in dem ein Retrievalsystem alle Informationen für die Beantwortung von Fragen in einem Bereich bereitstellen kann.

Das Anwenden von Regeln oder Metadatenfiltern, um einzugrenzen, welche Dokumente abgerufen werden dürfen.

Die Zeit, die ein Retrievalsystem benötigt, um Ergebnisse für eine Anfrage zurückzugeben.

Die Koordination mehrerer Retrievalschritte, Indizes oder Tools für eine einzelne KI‑Aufgabe oder Anfrage.

Eine geordnete Abfolge von Schritten, die eine Anfrage und Dokumente verarbeiten, um gerankte Ergebnisse in einem RAG- oder Suchsystem zurückzugeben.

Der Anteil der abgerufenen Dokumente, die tatsächlich für die Anfrage relevant sind.

Der Anteil aller wirklich relevanten Dokumente, die ein Retrievalsystem zurückliefert.

Der Teil eines RAG-Systems, der vor der Generierung relevante Dokumente oder Chunks findet und rankt.

Die Berechnung numerischer Relevanzwerte für Dokumente oder Chunks zu einer gegebenen Anfrage.

Reinforcement Learning from Human Feedback: eine Technik zum Fine-Tuning von Sprachmodellen mit menschlichen Präferenzen als Belohnungssignal.

Ein Mechanismus, bei dem jedes Element einer Sequenz Attention-Gewichte mit allen anderen Elementen derselben Sequenz berechnet.

Das Gruppieren von Embeddings in Cluster auf Basis semantischer Ähnlichkeit.

Ein Maß dafür, wie ähnlich zwei Texte in ihrer Bedeutung sind, unabhängig von den verwendeten Wörtern.

Suchtechnologie die Bedeutung und Absicht versteht statt nur Schlüsselwörter zu matchen, für relevantere und intelligentere Ergebnisse.

Eine sprachunabhängige Subword-Tokenisierungsbibliothek, die ein Vokabular direkt aus Rohtext lernt.

Suchtechniken, die die ähnlichsten Elemente in einem Embeddingsraum finden.

Eine Chunking-Strategie, bei der sich überlappende Fenster über ein Dokument bewegen, um Kontext zwischen Chunks zu erhalten.

Informationsabruf mit hochdimensionalen dünnbesetzten Vektoren basierend auf Termfrequenzen, wie BM25 und TF-IDF.

Bewertung, wie sich ein KI-System unter extremen oder degradierten Bedingungen verhält.

Die Praxis, LLM-Antworten auf klar definierte Formate wie JSON, XML oder Schemata zu beschränken.

Der versteckte oder feste Instruktionsblock, der Verhalten und Einschränkungen eines LLM in einer Anwendung festlegt.

Ein Parameter, der die Zufälligkeit von Sprachmodell-Ausgaben steuert und Kreativität versus Konsistenz beeinflusst.

Term Frequency-Inverse Document Frequency - ein statistisches Maß für die Wichtigkeit von Wörtern in einem Dokument relativ zu einer Sammlung.

Der Prozess der Aufteilung von Text in kleinere Einheiten (Tokens), die Sprachmodelle verarbeiten und verstehen können.

Ein Architekturpattern, bei dem LLMs entscheiden, wann und wie externe Tools für Aufgaben aufgerufen werden.

Eine Sampling-Methode, die die Token-Auswahl auf die k wahrscheinlichsten nächsten Tokens bei jedem Generierungsschritt beschränkt.

Eine Sampling-Methode, die aus der kleinsten Menge von Tokens auswählt, deren kumulative Wahrscheinlichkeit einen Schwellenwert p übersteigt.

Eine neuronale Netzwerkarchitektur, die Self-Attention verwendet, um sequentielle Daten parallel zu verarbeiten, die Basis moderner LLMs.

Die Quantifizierung, wie unsicher ein Modell hinsichtlich seiner Vorhersagen oder Antworten ist.

Ein Machine-Learning-Ansatz, bei dem Modelle Muster und Strukturen in Daten ohne gelabelte Beispiele entdecken.

Eine Kompressionstechnik, die kontinuierliche Embeddings auf eine begrenzte Anzahl von Codewörtern abbildet.

Eine spezialisierte Datenbank, optimiert für die Speicherung und Suche von hochdimensionalen Vektor-Embeddings mit Ähnlichkeitsmetriken.

Numerische Vektorrepräsentationen von Text oder anderen Daten zur Messung semantischer Ähnlichkeit.

Der Aufbau von Datenstrukturen, die schnelle Similarity Search über Embeddings ermöglichen.

Das Skalieren von Embeddings auf eine feste Norm, oft Einheitsvektoren, um Vergleiche zu stabilisieren.

Eine mathematische Funktion, die misst, wie weit die Vorhersagen eines Modells von den gewünschten Ausgaben während des Trainings entfernt sind.

Ein Machine-Learning-Ansatz, bei dem Agenten optimales Verhalten durch Trial-and-Error-Interaktionen mit einer Umgebung lernen.

Eine Open-Source-Vektordatenbank, die Vektorsuche mit strukturierter Datenfilterung und integrierten ML-Modulen kombiniert: ermöglicht semantische Suche, RAG und KI-native Anwendungen.

Training eines kleineren Schüler-Modells, um ein größeres Lehrer-Modell nachzuahmen, Wissenstransfer bei drastisch reduzierter Größe und Kosten.

Ein strukturiertes Netzwerk von Entitäten und ihren Beziehungen, das Maschinen ermöglicht, reale Konzepte zu verstehen und darüber zu schlussfolgern.

Eine Machine-Learning-Fähigkeit, bei der Modelle Aufgaben ohne aufgabenspezifische Beispiele ausführen, nur basierend auf vortrainiertem Wissen und natürlichsprachlichen Instruktionen.

Die Praxis des expliziten Verweisens auf Quelldokumente in KI-generierten Antworten, ermöglicht Verifikation von Aussagen und baut Vertrauen durch Transparenz und Nachverfolgbarkeit auf.

Metriken, die erfassen, wie stabil, vorhersagbar und sicher ein KI-System über die Zeit ist.

Ein Machine-Learning-Ansatz, bei dem Modelle aus gelabelten Trainingsdaten lernen, um Ausgaben vorherzusagen.