Nella quarta parte della serie "Realizzare vLLM da zero", ci concentriamo su un altro componente apparentemente semplice ma cruciale dell'architettura Transformer: RMSNorm (Normalizzazione della radice quadrata media). Iniziamo a vedere cos'è la normalizzazione. Immagina di aver appena sostenuto l'esame finale e di aver ricevuto i voti di tre materie: Matematica: 120 punti (su 150) Inglese: 80 punti (su 100) Fisica: 160 punti (su 200) Qual è la materia in cui hai ottenuto il punteggio migliore? Se confronti direttamente 120, 80 e 160, arriverai alla conclusione che la fisica è la migliore. Ma la realtà è che hai ottenuto lo stesso punteggio in tutte e tre le materie. Matematica: 120/150 = 80% Inglese: 80/100 = 80% Fisica: 160/200 = 80% Questo è il concetto fondamentale della normalizzazione: convertire dati di dimensioni e intervalli diversi in uno standard uniforme per il confronto. Perché le reti neurali hanno bisogno di normalizzazione? Immagina di giocare a un gioco di passaparola. La prima persona dice "Mi piacciono le mele", e quando arriva alla decima persona diventa "Mi piacciono gli ananas". Questo è il problema che affrontano le reti neurali profonde. Ogni strato della rete esegue alcuni calcoli sull'input e poi passa il risultato allo strato successivo. Il problema è che, con l'aumentare del numero di strati, questi valori diventano sempre più incontrollabili: o crescono in modo esplosivo o svaniscono nel nulla. Proprio come nel gioco di passaparola, le informazioni si distorcono durante il passaggio. Aggiungere uno strato di normalizzazione al modello può ridurre la probabilità di esplosione o scomparsa del gradiente, rendendo il processo di addestramento del modello più stabile. La tecnologia di normalizzazione è evoluta da BatchNorm a LayerNorm, fino a diventare RMSNorm, diventando uno standard per i grandi modelli. Il mio articolo guiderà i lettori attraverso la storia dell'evoluzione della tecnologia di normalizzazione; chi è interessato può consultare il testo originale.

Le abilità dell'agente di Claude sono essenzialmente un tipo di "scarico del contesto", che sposta le informazioni sulle abilità lunghe fuori dal contesto e le carica su richiesta. Per coincidenza, recentemente Manus ha condiviso alcuni trucchi per "scaricare il contesto". Manus ha molti strumenti, ma non fornisce la definizione completa di questi strumenti al modello. Come fa quindi a sapere quali strumenti ci sono e come richiamarli? Immagina di avere un nuovo computer, come fai a sapere quali strumenti puoi usare? Un utente normale aprirebbe l'elenco delle applicazioni, mentre un programmatore eseguirebbe `ls /usr/bin` per vedere quali comandi sono disponibili. Allo stesso modo, la soluzione di Manus è di informare il modello, attraverso il prompt di sistema, che in una specifica cartella ci sono molti strumenti da riga di comando preinstallati. Gli strumenti più comuni (ls, grep, cat, less, more, ecc.) sono già integrati nel prompt di sistema. Non è necessario dire al modello come utilizzare questi strumenti, basta elencare i nomi degli strumenti e dirgli che può usare il parametro --help per capire come usarli. La cosa più interessante è che questi modelli di operazioni shell hanno già studiato, quindi la loro capacità di generalizzazione è molto forte; per aggiungere nuovi strumenti, basta inserire un comando nella cartella.