Tokenwerk · Das LLM-Lehrbuch

Kapitel 6 · I · Neuronale Netze verstehen · 5 Minuten

Mathematische Zeichen in normaler Sprache

Eine Formel ist eine kurze Rechenanleitung. Wir übersetzen Namen, Indizes, Summen und Wurzeln anhand kleiner Zahlen.

Warum wir überhaupt Formeln verwenden

Im Neuronkapitel haben wir „erste Eingabe mal erstes Gewicht, plus zweite Eingabe mal zweites Gewicht, plus Bias“ geschrieben. Das ist verständlich, wird bei zehn Eingaben aber lang. Eine Formel kürzt diese Anleitung ab. Sie soll eine bekannte Rechnung kompakter ausdrücken, nicht eine Erklärung ersetzen.

Du musst dieses Kapitel nicht auswendig lernen. Nutze es als Wörterbuch und kehre bei Bedarf über die Kapitelverweise zurück. Wir erklären neue Zeichen trotzdem auch dort, wo sie gebraucht werden.

Ein Buchstabe ist ein Name für eine Zahl

Wenn wir sagen „x ist 2“, geben wir der Zahl einen Namen. Ein Variablenname wie x kann bei einem anderen Beispiel für eine andere Zahl stehen. Er ist kein Multiplikationszeichen. Für Multiplikation verwenden wir in ausführlichen Beispielen × und in Formeln häufig einen Punkt oder direkt nebeneinanderstehende Buchstaben.

3 × x, 3⋅x3\cdot x und 3x3x meinen in diesem Zusammenhang dieselbe Rechnung. Bei x = 2 ist das Ergebnis 6. Das Gleichheitszeichen = sagt, dass linke und rechte Seite denselben Wert haben. Das Zeichen ≈ bedeutet „ungefähr gleich“, etwa wegen Rundung.

Eine Funktion ist eine Rechenregel mit einem Namen

Schreiben wir f(x)=3xf(x)=3x, heißt das: Die Rechenregel f nimmt eine Zahl x entgegen und multipliziert sie mit drei. f(2)f(2) bedeutet „wende diese Regel auf 2 an“. Das Ergebnis ist 6.

Die Klammer in f(2) ist also keine zusätzliche Multiplikation. Vergleiche es mit einer Programmfunktion: dreifach(2) gibt 6 zurück. Der mathematische Funktionsname f ist nur kürzer.

Bei einer verschachtelten Rechnung wie g(f(2))g(f(2)) arbeitest du von innen nach außen: Erst f auf 2 anwenden, dann g auf das Ergebnis. So ähnlich verbinden wir Schichten eines Netzes miteinander.

Kleine Zahlen oben und unten bedeuten Unterschiedliches

Schreibweise Bedeutung Beispiel
x2x_2 Das zweite Element einer Sammlung In [4,7,9] ist das zweite Element 7
x2x^2 x mit sich selbst multiplizieren Bei x=3 ist x²=9
xt+1x_{t+1} Das Element eine Stelle nach Position t Nach Position 3 kommt Position 4
x<tx_{<t} Alle Elemente vor Position t Vor Position 3 liegen Positionen 1 und 2

Die kleine Zahl unten heißt Index. Sie bezeichnet eine Stelle. In mathematischen Beispielen zählen wir oft ab eins; Python zählt bei Listen ab null. Wir sagen bei Code deshalb ausdrücklich, welcher Index gemeint ist.

Ein Dach über einem Buchstaben, etwa y^\hat y, lesen wir „y-Dach“. In diesem Buch steht es meistens für eine Vorhersage. yy ohne Dach bezeichnet dann den gewünschten Zielwert. Das Dach ist keine Rechenoperation; es unterscheidet zwei Rollen.

Eine Summe ist wiederholtes Addieren

Nimm die Liste [2,4,6]. Ihre Summe ist 2+4+6=12. Die allgemeine Kurzschreibweise lautet:

∑i=13xi=x1+x2+x3.\sum_{i=1}^{3}x_i=x_1+x_2+x_3.

Lies die Formel: Addiere die Listenelemente, während die laufende Nummer i von 1 bis 3 geht. Das große Zeichen Σ heißt Sigma und steht für eine Summe. Unter dem Zeichen steht der Start, darüber das Ende.

Das i ist eine Laufvariable: ein Platzhalter für die nacheinander eingesetzten Nummern. Würden wir sie j nennen, wäre es dieselbe Rechnung. Wichtig ist, an allen dazugehörigen Stellen denselben Namen zu benutzen.

Ein Produkt ist wiederholtes Multiplizieren

Für dieselbe Liste lautet das Produkt 2×4×6=48. Die Kurzform verwendet ein großes Π, gelesen „Produktzeichen“:

∏i=13xi=x1⋅x2⋅x3.\prod_{i=1}^{3}x_i=x_1\cdot x_2\cdot x_3.

Eine Summe und ein Produkt sind also unterschiedliche Anweisungen. Später begegnen uns Produkte von Wahrscheinlichkeiten. Dann schreiben wir zuerst zwei oder drei konkrete Faktoren auf und erst danach diese Kurzform.

Brüche, Mittelwert und Quadratwurzel

Ein Bruchstrich bedeutet Division. „Summe durch Anzahl“ ergibt den arithmetischen Mittelwert. Für 2, 4 und 6 ist das (2+4+6)/3=4.

Die Quadratwurzel von 9 ist 3, weil 3×3=9. Die Quadratwurzel von 2 ist ungefähr 1,414. Das Zeichen dafür ist √. Im Buch werden Wurzeln unter anderem verwendet, um die Größenordnung von Zahlen anzupassen.

Ein Betrag ist der Abstand einer Zahl von null: Sowohl 4 als auch −4 haben Betrag 4. Der Betrag sagt daher nichts über das Vorzeichen aus. Diese Idee hilft später, Fehlergrößen von Fehlerrichtungen zu unterscheiden.

Griechische Buchstaben sind ebenfalls nur Namen

Bei einer Lernrate begegnet uns später η, gesprochen „Eta“. Ein sehr kleiner Hilfswert heißt oft ε, „Epsilon“. Solche Buchstaben haben nicht von selbst eine besondere Rechenwirkung. Sie sind vereinbarte Namen, deren Bedeutung wir festlegen müssen.

Dasselbe Zeichen kann in verschiedenen Fachtexten anders belegt sein. Deshalb gehört zu einer guten Formel eine Erklärung ihrer Symbole. Im Lehrbuch findest du diese Erklärung direkt bei der jeweiligen Rechnung.

Was erst später kommt

Ableitungen erklären wir anhand einer kleinen Gewichtsänderung im Kapitel über Lernen. Exponentialfunktion und Logarithmus erklären wir beim Umrechnen von Bewertungen in Wahrscheinlichkeiten beziehungsweise beim Sprachmodell-Fehlermaß. Du musst diese Werkzeuge jetzt noch nicht kennen.

Unser Arbeitsmuster bleibt: erst eine Frage, dann Zahlen, dann eine kurze Schreibweise. Wenn eine Formel neu aussieht, ersetze ihre Buchstaben versuchsweise durch die Zahlen des Beispiels. Häufig wird sie dadurch sofort lesbarer.