Warum Neuronen eine Aktivierungsfunktion brauchen

Wir ergänzen eine Regel hinter der Summe

Im letzten Kapitel hat das Neuron aus seinen Eingaben die Zahl 1,5 berechnet. Nun entscheiden wir, wie diese Summe weitergegeben wird. Eine Aktivierungsfunktion ist eine festgelegte Rechenregel, die auf die Summe angewendet wird.

Unsere erste Regel lautet: Ist die Zahl negativ, gib null aus. Ansonsten gib die Zahl unverändert weiter. Diese Regel heißt ReLU, ausgesprochen ungefähr „Reh-Lu“. Die Abkürzung steht für Rectified Linear Unit. Den englischen Namen musst du nicht auswendig lernen; wichtig ist die Wirkung.

Die Zahl nach der Aktivierungsfunktion wird ebenfalls Aktivierung genannt. „Aktivierungsfunktion“ bezeichnet also die Regel, „Aktivierung“ oft das konkrete Ergebnis dieser Regel.

Die kurze Schreibweise

$z$ steht wieder für die Summe vor der Aktivierungsfunktion. Die neue Ausgabe nennen wir $a$. Das ist nur ein Name; es ist kein neuer Parameter.

Lies die Formel: Die Aktivierung a ist die ReLU-Ausgabe für z. Wähle dafür die größere der beiden Zahlen null und z. max bedeutet „Maximum“, also der größere Wert. ReLU und max beschreiben hier dieselbe Regel.

Für unser Neuron mit Summe 1,5 ist die Ausgabe 1,5. Verändern wir seine Gewichte so, dass die Summe −2 ist, wird die Ausgabe null. Im Experiment kannst du diesen Übergang direkt sehen.

Warum nicht einfach jede Summe unverändert weiterreichen?

Betrachte eine Kette aus zwei einfachen Rechenregeln. Die erste multipliziert die Eingabe mit 2. Die zweite multipliziert das Ergebnis mit 3. Insgesamt wird die Eingabe mit 6 multipliziert. Die zwei Schritte lassen sich zu einem einzigen zusammenfassen.

Auch zusätzliche Verschiebungen lösen dieses Problem nicht. Erst „mal 2, plus 1“ und danach „mal 3, plus 4“ ergibt insgesamt „mal 6, plus 7“. Trotz zweier Stufen ist die Art der Rechnung nicht vielfältiger geworden.

Solche Regeln zeichnen, wenn du Eingabe und Ausgabe in ein Koordinatensystem einträgst, eine gerade Linie. Mit Verschiebung heißen sie mathematisch genau genommen affin. Beim Beschreiben neuronaler Netze werden die zugehörigen Schichten oft trotzdem „linear“ genannt. Wir sagen jeweils dazu, ob ein Bias enthalten ist.

Ein Knick verändert die Möglichkeiten

ReLU zeichnet keine einzige Gerade über den gesamten Zahlenbereich. Links von null bleibt die Ausgabe null, rechts steigt sie an. An der Grenze entsteht ein Knick. Diese Regel ist nichtlinear: Sie lässt sich nicht für alle Eingaben als eine einzige Multiplikation plus Verschiebung ausdrücken.

Durch Kombination mehrerer solcher Regeln kann ein Netz unterschiedlich auf verschiedene Bereiche der Eingaben reagieren. Es kann beispielsweise eine Veränderung erst berücksichtigen, wenn ein bestimmter Wert überschritten wird.

Ein einzelnes ReLU-Neuron kann trotzdem nicht jede beliebige Aufgabe lösen. Die größere Ausdruckskraft entsteht aus dem Zusammenspiel mehrerer Einheiten, ihrer Gewichte und ihrer Aktivierungsfunktionen. Im nächsten Kapitel rechnen wir ein solches kleines Netz vollständig durch.

Das Neuron ist nicht bewusst an oder aus

Die anschauliche Formulierung „das Neuron feuert“ kann irreführend sein. Unser Programm berechnet einfach Zahlen. Eine ReLU-Ausgabe von null bedeutet, dass diese konkrete Ausgabe in dieser Rechnung null ist. Eine Ausgabe von 3 ist kein biologischer Impuls und keine menschliche Entscheidung.

Auch „nichtlinear“ ist keine Art Magie. Es beschreibt eine Eigenschaft der Rechenfunktion. Du kannst die Funktion im Experiment Punkt für Punkt prüfen.

Warum später andere Namen auftauchen

Es gibt verschiedene Aktivierungsfunktionen. Manche verändern negative Werte sanft, statt sie scharf auf null zu setzen. Wenn wir später GELU oder SiLU benutzen, erklären wir ihre Rolle an dieser Stelle erneut. Für den Einstieg reicht ReLU: Du kannst jede Ausgabe ohne Taschenrechner berechnen.

Die letzte Schicht eines Netzes muss nicht dieselbe Aktivierungsfunktion wie die inneren Schichten haben. Soll sie beliebige positive und negative Scores erzeugen, kann eine unveränderte gewichtete Summe passend sein. Soll sie Wahrscheinlichkeiten liefern, brauchen wir eine andere Umrechnung, die wir im Sprachmodellteil kennenlernen.

Vorhersagen, dann ausprobieren

Überlege zuerst, was beim Verschieben des Bias passiert. Ein größerer Bias kann die Summe aus dem negativen in den positiven Bereich schieben. Dann wird eine vorher nullwertige ReLU-Ausgabe positiv. Die Aktivierungsregel wurde dabei nicht verändert; nur ihre Eingabe hat sich verschoben.