從零實現 vLLM 的第四篇文章，我們將目光轉向 Transformer 架構中另一個看似簡單、卻至關重要的組件：RMSNorm（均方根歸一化）。 我們先來看看什麼是歸一化，假設你剛考完期末考試，三門課的成績出來了： 數學：120分（滿分150） 英語：80分（滿分100） 物理：160分（滿分200） 哪門課考得最好？如果你直接比較 120、80、160，會得出物理最好的結論。但真實情況是：三門課其實考得一樣好。 數學：120/150 = 80% 英語：80/100 = 80% 物理：160/200 = 80% 這就是歸一化的核心思想：把不同量綱、不同範圍的數據轉換到統一的標準下進行比較。 為什麼神經網絡需要歸一化？ 想象一下，你在玩傳話遊戲。第一個人說"我喜歡蘋果"，傳到第十個人那裡變成了"我喜歡菠蘿"。這就是深度神經網絡面臨的問題。 每一層網絡都會對輸入做一些計算，然後把結果傳給下一層。問題是，隨著層數增加，這些數值會變得越來越不可控——要麼爆炸式增長，要麼消失得無影無蹤。就像傳話遊戲一樣，信息在傳遞過程中逐漸失真。 在模型中加入歸一化層，能夠降低梯度爆炸或者消失的概率，模型的訓練過程變得更加穩定。歸一化技術從一開始的 BatchNorm 先演進到 LayerNorm，最後進化到了 RMSNorm，成為大模型的標配。 我的文章會帶大家走進歸一化技術的演進史，感興趣的可以查看原文。

Claude 的 Agent Skills 本質上是一種“上下文卸載”，把冗長的技能信息移出上下文，按需加載。巧的是最近 Manus 的 Peak 也分享一些“上下文卸載”的技巧。Manus 有很多工具，但是並不會把這些工具的完整定義告訴模型。那它怎麼知道有哪些工具，又怎麼調用它們呢？想象一下，給你一臺新電腦，你怎麼知道有哪些工具能用？普通用戶會打開應用程序的列表，程序員會 `ls /usr/bin` 看一下有哪些命令可以用。 同樣的，Manus 的解法是在系統提示詞中，告訴模型在某個特定文件夾裡，有許多預裝的命令行實用工具。那些最常用的工具（ls、grep、cat、less、more等），就默認內置在系統提示裡面的。不需要告訴模型如何使用這些工具，只需要列出工具名，然後告訴它可以使用 --help 參數來瞭解如何使用工具。最妙的是這些 shell 操作模型都是學過的，所以它的泛化能力很強，要加新的工具只需要往文件夾裡面放一個命令就行。 我發現 Manus 真的是把 Unix 哲學貫徹到底了：KISS（Keep It Simple, Stupid）。