Im vierten Artikel zur Implementierung von vLLM von Grund auf wenden wir uns einem weiteren scheinbar einfachen, aber entscheidenden Bestandteil der Transformer-Architektur zu: RMSNorm (Root Mean Square Normalization). Zunächst wollen wir uns ansehen, was Normalisierung ist. Angenommen, du hast gerade deine Abschlussprüfungen abgelegt und die Ergebnisse für drei Fächer sind da: Mathematik: 120 Punkte (maximal 150) Englisch: 80 Punkte (maximal 100) Physik: 160 Punkte (maximal 200) Welches Fach hast du am besten bestanden? Wenn du einfach 120, 80 und 160 vergleichst, würdest du zu dem Schluss kommen, dass Physik am besten ist. Aber die Realität ist: In allen drei Fächern hast du gleich gut abgeschnitten. Mathematik: 120/150 = 80% Englisch: 80/100 = 80% Physik: 160/200 = 80% Das ist der Kern der Normalisierung: Daten mit unterschiedlichen Dimensionen und Bereichen in einen einheitlichen Standard zu überführen, um sie zu vergleichen. Warum benötigt ein neuronales Netzwerk Normalisierung? Stell dir vor, du spielst ein Spiel, bei dem man Informationen weitergibt. Die erste Person sagt: "Ich mag Äpfel", und bei der zehnten Person wird es zu: "Ich mag Ananas". Das ist das Problem, dem tiefe neuronale Netzwerke gegenüberstehen. Jede Schicht des Netzwerks führt einige Berechnungen an den Eingaben durch und übergibt die Ergebnisse an die nächste Schicht. Das Problem ist, dass mit zunehmender Schichtanzahl diese Werte immer unkontrollierbarer werden – sie wachsen entweder explosionsartig oder verschwinden spurlos. Wie im Spiel der Informationsweitergabe wird die Information während des Übertragungsprozesses zunehmend verzerrt. Das Hinzufügen von Normalisierungsschichten zum Modell kann die Wahrscheinlichkeit von Gradientenexplosion oder -verschwinden verringern, wodurch der Trainingsprozess des Modells stabiler wird. Die Normalisierungstechnologie hat sich von BatchNorm über LayerNorm bis hin zu RMSNorm entwickelt und ist zum Standard für große Modelle geworden. In meinem Artikel werde ich die Entwicklungsgeschichte der Normalisierungstechnologie erläutern. Interessierte können den Originaltext einsehen.