Perplexität

Definition

Perplexität ist ein Maß dafür, wie gut ein Wahrscheinlichkeitsmodell eine Stichprobe vorhersagt. Für Sprachmodelle repräsentiert sie die Unsicherheit des Modells bei der Vorhersage des nächsten Tokens: niedrigere Perplexität bedeutet, dass das Modell weniger “perplex” oder sicherer ist. Mathematisch ist Perplexität die exponentierte durchschnittliche negative Log-Likelihood pro Token.

Warum es wichtig ist

Perplexität ist eine fundamentale Evaluationsmetrik:

• Modellvergleich: verschiedene Modelle auf demselben Datensatz vergleichen
• Trainingsüberwachung: Verbesserung während des Trainings verfolgen
• Domänenbewertung: messen, wie gut das Modell zu spezifischem Text passt
• Quantisierungsauswirkung: Qualitätsverlust durch Kompression bewerten
• Interpretierbare Skala: kann als effektive Vokabulargröße verstanden werden

Perplexität hilft zu beantworten: “Wie überrascht ist das Modell von diesem Text?”

Wie es funktioniert

┌────────────────────────────────────────────────────────────┐
│                       PERPLEXITÄT                          │
├────────────────────────────────────────────────────────────┤
│                                                            │
│  Formel: PPL = exp(-1/N × Σ log P(token_i | kontext))      │
│                                                            │
│  Beispiel: "Die Katze saß"                                │
│  ─────────────────────────                                 │
│                                                            │
│  Token        P(token|kontext)    log P                    │
│  ─────────────────────────────────────────                 │
│  "Die"        0.10                -2.30                    │
│  "Katze"      0.25                -1.39                    │
│  "saß"        0.40                -0.92                    │
│                                                            │
│  Durchschnitt log P = (-2.30 + -1.39 + -0.92) / 3 = -1.54  │
│  Perplexität = exp(1.54) = 4.66                            │
│                                                            │
│  ┌────────────────────────────────────────────────┐        │
│  │  INTERPRETATION:                               │        │
│  │                                                │        │
│  │  PPL ≈ "effektive Wahlmöglichkeiten pro Pos."│        │
│  │                                                │        │
│  │  PPL = 1:   Modell 100% sicher               │        │
│  │  PPL = 10:  ~10 gleich wahrscheinl. Optionen │        │
│  │  PPL = 50k: Zufällig (Vokabgröße)=kein Lern. │        │
│  └────────────────────────────────────────────────┘        │
│                                                            │
│  PERPLEXITÄTS-SKALA:                                       │
│  ───────────────────                                       │
│  │◄────────────────────────────────────────────►│          │
│  1        10        50       100      1000    50000        │
│  Perfekt   Super    Gut     Okay      Schlecht Zufällig    │
│                                                            │
│  TYPISCHE WERTE:                                           │
│  ───────────────                                           │
│  GPT-4 auf normalem Text:  ~10-20                          │
│  Kleines Modell:           ~50-100                         │
│  Domänen-Mismatch:         ~100-500                        │
│  Untrainiertes Modell:     ~Vokabulargröße                 │
│                                                            │
└────────────────────────────────────────────────────────────┘

Perplexitäts-Benchmarks:

Häufige Fragen

F: Was ist ein “guter” Perplexitätswert?

A: Es hängt vom Datensatz und der Modellgröße ab. State-of-the-Art-Modelle erreichen Perplexität ~15-25 auf Standard-Benchmarks wie WikiText. Innerhalb eines Projekts fokussieren Sie auf relative Verbesserungen statt absoluter Zahlen.

F: Kann Perplexität Modelle mit verschiedenen Tokenizern vergleichen?

A: Nicht direkt, verschiedene Tokenizer produzieren unterschiedliche Token-Zahlen für denselben Text. Vergleichen Sie Modelle mit demselben Tokenizer, oder normalisieren Sie nach Zeichen/Wortanzahl statt Token-Anzahl.

F: Warum kann Perplexität niedrig sein, aber Generierungsqualität schlecht?

A: Perplexität misst durchschnittliche Vorhersagegenauigkeit, nicht Output-Qualität. Ein Modell kann niedrige Perplexität haben, indem es häufige Wörter gut vorhersagt, während es bei kohärenter Langform-Generierung versagt. Verwenden Sie Perplexität neben anderen Metriken.

F: Wie verhält sich Perplexität zu Cross-Entropie-Verlust?

A: Perplexität = exp(Cross-Entropie). Sie messen dasselbe auf verschiedenen Skalen. Cross-Entropie wird typischerweise während des Trainings verwendet (einfachere Gradientenberechnung); Perplexität ist besser interpretierbar für Berichte.

Verwandte Begriffe

• Verlustfunktion: Trainingsziel
• LLM: Sprachmodelle, die evaluiert werden
• Tokenisierung: beeinflusst Perplexitätsberechnung
• Fine-tuning: verbessert Domänen-Perplexität

Referenzen

Jelinek et al. (1977), “Perplexity—a measure of the difficulty of speech recognition tasks”, JASA. [Grundlegendes Paper]

Merity et al. (2017), “Regularizing and Optimizing LSTM Language Models”, ICLR. [1.500+ Zitationen]

Brown et al. (2020), “Language Models are Few-Shot Learners”, NeurIPS. [15.000+ Zitationen]

Radford et al. (2019), “Language Models are Unsupervised Multitask Learners”, OpenAI. [10.000+ Zitationen]

References

Jelinek et al. (1977), “Perplexity—a measure of the difficulty of speech recognition tasks”, JASA. [Foundational paper]

Merity et al. (2017), “Regularizing and Optimizing LSTM Language Models”, ICLR. [1,500+ citations]

Brown et al. (2020), “Language Models are Few-Shot Learners”, NeurIPS. [15,000+ citations]

Radford et al. (2019), “Language Models are Unsupervised Multitask Learners”, OpenAI. [10,000+ citations]