Tokenwerk · Das LLM-Lehrbuch

Das LLM-Lehrbuch auf Deutsch · kostenlos

Verstehe, wie Sprachmodelle rechnen. Und bau dein eigenes.

Vom einzelnen Neuron bis zum Transformer, der Text schreibt. Ohne Vorwissen in maschinellem Lernen: Jede Formel kommt erst nach einem Zahlenbeispiel, jedes Kapitel hat ein Experiment im Browser.

Mit Kapitel 1 beginnen

Was du am Ende kannst

  • Erklären: Was in einem Transformer passiert, Station für Station – mit eigenen Worten und kleinen Zahlen.
  • Nachrechnen: Neuron, Softmax, Attention und Backpropagation von Hand, bis die Formeln selbstverständlich wirken.
  • Selbst bauen: Ein vollständiges Python-Projekt: Tokenizer, Modell, Training und Textgenerierung auf deinem eigenen Rechner.

Der Weg in sechs Teilen

I · Neuronale Netze verstehen

  1. Dein Weg zum eigenen Sprachmodell
  2. Was bedeutet: Ein Programm lernt?
  3. Ein künstliches Neuron zum Nachrechnen
  4. Warum Neuronen eine Aktivierungsfunktion brauchen
  5. Aus Neuronen wird ein kleines Netz
  6. Mathematische Zeichen in normaler Sprache
  7. Wie messen wir eine falsche Antwort?
  8. Wie Zahlen tatsächlich lernen
  9. Lernen durch mehrere Schichten

II · Von Zahlen zu Sprache

  1. Deine Python-Werkstatt
  2. Vektoren, Matrizen und Tensorformen
  3. Vom Text zu Token-IDs
  4. Sprache als Wahrscheinlichkeitsproblem
  5. Dein erstes echtes Sprachmodell
  6. Embeddings und geteilte Repräsentationen
  7. Das Lernziel: Cross-Entropy

III · Den Transformer bauen

  1. Self-Attention ohne Geheimnisse
  2. Kausalität und mehrere Köpfe
  3. Der vollständige Transformer-Block
  4. Deinen Decoder selbst implementieren

IV · Trainieren und prüfen

  1. Daten sind ein Teil des Modells
  2. Deine erste Trainingsschleife
  3. Loss lesen und Fehler finden
  4. Aus Scores wird ein Text

V · Moderne Sprachmodelle

  1. RMSNorm, RoPE und SwiGLU
  2. GQA, FlashAttention und KV-Cache
  3. Präzision und Trainingsspeicher
  4. Vom Textmodell zum Antwortmodell
  5. Antworten ehrlich bewerten

VI · Dein eigenes Projekt

  1. Größer werden, ohne blind zu rechnen
  2. Was heutige große Systeme zusätzlich brauchen
  3. Dein Abschlussprojekt: von null bis zur Antwort
  4. Glossar, Formeln und Quellen

Häufige Fragen

Brauche ich Mathe-Vorkenntnisse?

Addieren und Multiplizieren genügen für den Einstieg. Jede neue Schreibweise wird erklärt, bevor sie gebraucht wird, und immer zuerst mit Zahlen vorgerechnet.

Brauche ich eine Grafikkarte?

Nein. Alle Experimente laufen im Browser, das Python-Projekt trainiert kleine Modelle auf einem normalen Laptop. Eine Grafikkarte macht größere Läufe nur schneller.

Kann ich danach ChatGPT nachbauen?

Du verstehst dieselben Bausteine und trainierst ein kleines Modell selbst. Große Systeme unterscheiden sich vor allem in Datenmenge, Rechenleistung und Feinschliff – das erklärt der letzte Teil des Buchs.

Kostet das etwas?

Nein. Kein Konto, keine Cookies, kein Tracking. Dein Lesefortschritt bleibt nur in deinem Browser.