Tokenwerk · Das LLM-Lehrbuch

Kapitel 3 · I · Neuronale Netze verstehen · 4 Minuten

Ein künstliches Neuron zum Nachrechnen

Ein Neuron ist zunächst eine kleine Recheneinheit: Eingaben gewichten, Beiträge addieren und eine Grundverschiebung hinzufügen.

Was ist ein künstliches Neuron?

Ein künstliches Neuron nimmt Zahlen entgegen und berechnet daraus eine neue Zahl. Der Name ist von biologischen Nervenzellen inspiriert. Für unsere Rechnung musst du jedoch keine Biologie kennen. Ein künstliches Neuron ist eine stark vereinfachte mathematische Recheneinheit, keine vollständige Simulation einer Nervenzelle.

Wir beginnen mit zwei Eingaben. Jede Eingabe bekommt einen eigenen einstellbaren Multiplikationsfaktor, ein Gewicht. Das Neuron multipliziert jede Eingabe mit ihrem Gewicht und addiert die Ergebnisse. Anschließend kommt eine weitere einstellbare Zahl hinzu: der Bias, also eine Grundverschiebung.

Viele künstliche Neuronen wenden danach noch eine zusätzliche Rechenregel auf das Ergebnis an. Diese Aktivierungsfunktion behandeln wir im nächsten Kapitel. Hier konzentrieren wir uns zuerst auf die gewichtete Summe.

Ein Beispiel mit zwei Eingaben

Wir wählen die Eingaben 2 und 1. Das erste Gewicht ist 1, das zweite −1. Der Bias ist 0,5. Das sind bewusst kleine Zahlen ohne verborgene Bedeutung; wir wollen die Rechenweise vollständig sehen.

Schritt Rechnung Ergebnis
Erster Beitrag Erste Eingabe × erstes Gewicht 2 × 1 = 2
Zweiter Beitrag Zweite Eingabe × zweites Gewicht 1 × (−1) = −1
Beiträge addieren 2 + (−1) 1
Bias hinzufügen 1 + 0,5 1,5

Die gewichtete Summe ist also 1,5. Ein negatives Gewicht bedeutet, dass eine größere positive Eingabe die Summe nach unten zieht. Es bedeutet nicht „schlechtes Gewicht“. Welches Vorzeichen nützlich ist, hängt von der Aufgabe ab.

Warum Gewichte wichtig sind

Lass die Eingaben gleich und verändere nur das erste Gewicht von 1 auf 2. Der erste Beitrag wächst von 2 auf 4. Die Gesamtsumme wird dann 4 − 1 + 0,5 = 3,5.

Das Neuron reagiert mit dieser Einstellung stärker auf die erste Eingabe. Bei Gewicht 0 hat diese Eingabe keinen unmittelbaren Einfluss auf die Summe. Bei Gewicht −2 wirkt sie mit umgekehrtem Vorzeichen.

„Gewicht“ kannst du dir also als Stärke und Richtung eines Einflusses merken. Die Gewichte werden später beim Training eingestellt. Die Eingaben kommen dagegen vom jeweiligen Beispiel.

Warum zusätzlich ein Bias?

Setze beide Eingaben auf null. Ohne Bias wäre die Summe unabhängig von den Gewichten immer null. Mit Bias 0,5 beginnt sie bei 0,5. Der Bias verschiebt den Ausgangspunkt.

Ein einfaches Beispiel aus dem Alltag ist eine Preisberechnung: Es gibt einen Grundpreis und einen Preis pro Stück. Der Stückpreis wirkt wie ein Gewicht, der Grundpreis wie ein Bias. Diese Analogie erklärt nur die Rechnung. Ein künstliches Neuron muss nicht tatsächlich Preise berechnen.

Gewichte und Bias sind beide Parameter, also trainierbare Einstellungen. Eine Eingabe ist kein Parameter. Wenn du einem fertig trainierten Netz einen anderen Text gibst, ändern sich seine Eingaben; die gelernten Gewichte bleiben zunächst dieselben.

Dieselbe Rechnung mit kurzen Namen

Damit wir nicht ständig „erste Eingabe“ ausschreiben müssen, geben wir den Zahlen Namen:

Zeichen Lies es als Wert hier
x1x_1 erste Eingabe 2
x2x_2 zweite Eingabe 1
w1w_1 Gewicht der ersten Eingabe 1
w2w_2 Gewicht der zweiten Eingabe −1
bb Bias, die Grundverschiebung 0,5
zz Ergebnis vor der Aktivierungsfunktion 1,5

Die kleine tiefgestellte Zahl ist eine Nummer, keine Potenz. x2x_2 heißt „die zweite Eingabe“, nicht „x zum Quadrat“.

Jetzt können wir genau die bekannte Rechnung kurz aufschreiben:

z=x1w1+x2w2+b.z=x_1w_1+x_2w_2+b.

Lies die Formel: Multipliziere die erste Eingabe mit ihrem Gewicht. Addiere die zweite Eingabe mal ihr Gewicht. Addiere den Bias. Nebeneinanderstehende Buchstaben bedeuten hier Multiplikation.

Setzen wir unsere Zahlen ein, erhalten wir wieder 2 × 1 + 1 × (−1) + 0,5 = 1,5. Die Formel fügt keine neue Idee hinzu; sie verkürzt nur die Beschreibung.

Ein Neuron und viele Beispiele

Dasselbe Neuron wird nacheinander für unterschiedliche Eingaben benutzt. Seine Gewichte und sein Bias sind gemeinsam für alle Beispiele. Training versucht eine Einstellung zu finden, die über viele Beispiele hinweg nützlich ist.

Später besitzt ein Netz sehr viele Neuronen und Parameter. Trotzdem bleibt diese einzelne Rechenoperation ein wichtiger Baustein. Wenn du dieses Beispiel nachrechnen kannst, kennst du bereits die Grundoperation einer großen Klasse neuronaler Schichten.