Im vierten Artikel zur Implementierung von vLLM von Grund auf wenden wir uns einem weiteren scheinbar einfachen, aber entscheidenden Bestandteil der Transformer-Architektur zu: RMSNorm (Root Mean Square Normalization). Zunächst wollen wir uns ansehen, was Normalisierung ist. Angenommen, du hast gerade deine Abschlussprüfungen abgelegt und die Ergebnisse für drei Fächer sind da: Mathematik: 120 Punkte (maximal 150) Englisch: 80 Punkte (maximal 100) Physik: 160 Punkte (maximal 200) Welches Fach hast du am besten bestanden? Wenn du einfach 120, 80 und 160 vergleichst, würdest du zu dem Schluss kommen, dass Physik am besten ist. Aber die Realität ist: In allen drei Fächern hast du gleich gut abgeschnitten. Mathematik: 120/150 = 80% Englisch: 80/100 = 80% Physik: 160/200 = 80% Das ist der Kern der Normalisierung: Daten mit unterschiedlichen Dimensionen und Bereichen in einen einheitlichen Standard zu überführen, um sie zu vergleichen. Warum benötigt ein neuronales Netzwerk Normalisierung? Stell dir vor, du spielst ein Spiel, bei dem man Informationen weitergibt. Die erste Person sagt: "Ich mag Äpfel", und bei der zehnten Person wird es zu: "Ich mag Ananas". Das ist das Problem, dem tiefe neuronale Netzwerke gegenüberstehen. Jede Schicht des Netzwerks führt einige Berechnungen an den Eingaben durch und übergibt die Ergebnisse an die nächste Schicht. Das Problem ist, dass mit zunehmender Schichtanzahl diese Werte immer unkontrollierbarer werden – sie wachsen entweder explosionsartig oder verschwinden spurlos. Wie im Spiel der Informationsweitergabe wird die Information während des Übertragungsprozesses zunehmend verzerrt. Das Hinzufügen von Normalisierungsschichten zum Modell kann die Wahrscheinlichkeit von Gradientenexplosion oder -verschwinden verringern, wodurch der Trainingsprozess des Modells stabiler wird. Die Normalisierungstechnologie hat sich von BatchNorm über LayerNorm bis hin zu RMSNorm entwickelt und ist zum Standard für große Modelle geworden. In meinem Artikel werde ich die Entwicklungsgeschichte der Normalisierungstechnologie erläutern. Interessierte können den Originaltext einsehen.

Claude's Agent Skills sind im Wesentlichen eine Form von "Kontextentladung", bei der umfangreiche Skill-Informationen aus dem Kontext entfernt und bedarfsgerecht geladen werden. Zufälligerweise hat Manus kürzlich auch einige Techniken zur "Kontextentladung" geteilt. Manus hat viele Werkzeuge, aber es gibt dem Modell nicht die vollständige Definition dieser Werkzeuge. Wie weiß es also, welche Werkzeuge verfügbar sind und wie man sie aufruft? Stellen Sie sich vor, Sie haben einen neuen Computer, wie erfahren Sie, welche Werkzeuge verfügbar sind? Ein normaler Benutzer würde die Liste der Anwendungen öffnen, während ein Programmierer `ls /usr/bin` eingeben würde, um zu sehen, welche Befehle verfügbar sind. Ähnlich ist Manus' Lösung, dem Modell in den System-Prompts mitzuteilen, dass sich in einem bestimmten Ordner viele vorinstallierte Kommandozeilen-Tools befinden. Die am häufigsten verwendeten Werkzeuge (ls, grep, cat, less, more usw.) sind standardmäßig in den System-Prompts integriert. Es ist nicht notwendig, dem Modell zu sagen, wie man diese Werkzeuge verwendet; es reicht aus, die Werkzeugnamen aufzulisten und ihm zu sagen, dass es den --help-Parameter verwenden kann, um zu erfahren, wie man die Werkzeuge benutzt. Das Beste daran ist, dass diese Shell-Operationen, die das Modell gelernt hat, eine starke Generalisierungsfähigkeit besitzen. Um neue Werkzeuge hinzuzufügen, muss man nur einen Befehl in den Ordner legen. Ich habe festgestellt, dass Manus die Unix-Philosophie wirklich bis ins kleinste Detail umsetzt: KISS (Keep It Simple, Stupid).