In het vierde artikel van het realiseren van vLLM vanaf nul, richten we ons op een andere schijnbaar eenvoudige, maar cruciale component in de Transformer-architectuur: RMSNorm (Root Mean Square Normalization). Laten we eerst kijken naar wat normalisatie is. Stel je voor dat je net je eindexamen hebt gedaan en de cijfers voor drie vakken zijn binnen: Wiskunde: 120 punten (maximaal 150) Engels: 80 punten (maximaal 100) Natuurkunde: 160 punten (maximaal 200) In welk vak heb je het beste gepresteerd? Als je gewoon 120, 80 en 160 vergelijkt, zou je concluderen dat natuurkunde het beste is. Maar de werkelijkheid is: je hebt in alle drie de vakken eigenlijk even goed gepresteerd. Wiskunde: 120/150 = 80% Engels: 80/100 = 80% Natuurkunde: 160/200 = 80% Dit is de kern van normalisatie: het omzetten van gegevens met verschillende dimensies en bereiken naar een uniforme standaard voor vergelijking. Waarom heeft een neuraal netwerk normalisatie nodig? Stel je voor dat je een doorgeefspel speelt. De eerste persoon zegt "Ik hou van appels", en tegen de tiende persoon is het veranderd in "Ik hou van ananassen". Dit is het probleem waarmee diepe neurale netwerken worden geconfronteerd. Elke laag van het netwerk voert enkele berekeningen uit op de invoer en geeft het resultaat door aan de volgende laag. Het probleem is dat naarmate het aantal lagen toeneemt, deze waarden steeds moeilijker te beheersen worden - ze groeien explosief of verdwijnen zonder enige spoor. Net als in het doorgeefspel vervormt de informatie tijdens de overdracht geleidelijk. Door een normalisatielaag aan het model toe te voegen, kan de kans op gradient explosie of verdwijning worden verminderd, waardoor het trainingsproces van het model stabieler wordt. Normalisatietechnieken zijn geëvolueerd van de oorspronkelijke BatchNorm naar LayerNorm en uiteindelijk naar RMSNorm, wat een standaard is geworden voor grote modellen. Mijn artikel zal je meenemen in de evolutie van normalisatietechnologie, geïnteresseerden kunnen het origineel bekijken.

Claude's Agent Skills zijn in wezen een vorm van "contextuele ontlasting", waarbij lange vaardigheidsinformatie uit de context wordt verwijderd en op aanvraag wordt geladen. Toevallig heeft Manus onlangs ook enkele tips over "contextuele ontlasting" gedeeld. Manus heeft veel tools, maar vertelt het model niet de volledige definitie van deze tools. Hoe weet het dan welke tools er zijn en hoe ze aan te roepen? Stel je voor, je krijgt een nieuwe computer, hoe weet je welke tools je kunt gebruiken? Een gewone gebruiker zou de lijst met applicaties openen, terwijl een programmeur `ls /usr/bin` zou gebruiken om te zien welke commando's beschikbaar zijn. Op dezelfde manier is Manus' oplossing om in de systeemprompt het model te vertellen dat er in een bepaalde map veel vooraf geïnstalleerde command-line hulpprogramma's zijn. De meest gebruikte tools (ls, grep, cat, less, more, enz.) zijn standaard ingebouwd in de systeemprompt. Het is niet nodig om het model te vertellen hoe deze tools te gebruiken, je hoeft alleen maar de toolnamen op te sommen en het te vertellen dat het de --help parameter kan gebruiken om te leren hoe het de tools moet gebruiken. Het mooiste is dat deze shell-operatiemodellen allemaal geleerd hebben, dus hun generalisatievermogen is sterk; om nieuwe tools toe te voegen, hoef je alleen maar een commando in de map te plaatsen. Ik ontdekte dat Manus echt de Unix-filosofie tot in de puntjes heeft doorgevoerd: KISS (Keep It Simple, Stupid).