Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

汉松
Anwendungsentwicklung von großen Fabriken und Großmodellen | KI-Advent | Lebenslanger Lernender | Geschmack ist alles, was Sie brauchen
Im vierten Artikel zur Implementierung von vLLM von Grund auf wenden wir uns einem weiteren scheinbar einfachen, aber entscheidenden Bestandteil der Transformer-Architektur zu: RMSNorm (Root Mean Square Normalization).
Zunächst wollen wir uns ansehen, was Normalisierung ist. Angenommen, du hast gerade deine Abschlussprüfungen abgelegt und die Ergebnisse für drei Fächer sind da:
Mathematik: 120 Punkte (maximal 150)
Englisch: 80 Punkte (maximal 100)
Physik: 160 Punkte (maximal 200)
Welches Fach hast du am besten bestanden? Wenn du einfach 120, 80 und 160 vergleichst, würdest du zu dem Schluss kommen, dass Physik am besten ist. Aber die Realität ist: In allen drei Fächern hast du gleich gut abgeschnitten.
Mathematik: 120/150 = 80%
Englisch: 80/100 = 80%
Physik: 160/200 = 80%
Das ist der Kern der Normalisierung: Daten mit unterschiedlichen Dimensionen und Bereichen in einen einheitlichen Standard zu überführen, um sie zu vergleichen.
Warum benötigt ein neuronales Netzwerk Normalisierung?
Stell dir vor, du spielst ein Spiel, bei dem man Informationen weitergibt. Die erste Person sagt: "Ich mag Äpfel", und bei der zehnten Person wird es zu: "Ich mag Ananas". Das ist das Problem, dem tiefe neuronale Netzwerke gegenüberstehen.
Jede Schicht des Netzwerks führt einige Berechnungen an den Eingaben durch und übergibt die Ergebnisse an die nächste Schicht. Das Problem ist, dass mit zunehmender Schichtanzahl diese Werte immer unkontrollierbarer werden – sie wachsen entweder explosionsartig oder verschwinden spurlos. Wie im Spiel der Informationsweitergabe wird die Information während des Übertragungsprozesses zunehmend verzerrt.
Das Hinzufügen von Normalisierungsschichten zum Modell kann die Wahrscheinlichkeit von Gradientenexplosion oder -verschwinden verringern, wodurch der Trainingsprozess des Modells stabiler wird. Die Normalisierungstechnologie hat sich von BatchNorm über LayerNorm bis hin zu RMSNorm entwickelt und ist zum Standard für große Modelle geworden.
In meinem Artikel werde ich die Entwicklungsgeschichte der Normalisierungstechnologie erläutern. Interessierte können den Originaltext einsehen.


63,99K
Claude's Agent Skills sind im Wesentlichen eine Form von "Kontextentladung", bei der umfangreiche Skill-Informationen aus dem Kontext entfernt und bedarfsgerecht geladen werden. Zufälligerweise hat Manus kürzlich auch einige Techniken zur "Kontextentladung" geteilt. Manus hat viele Werkzeuge, aber es gibt dem Modell nicht die vollständige Definition dieser Werkzeuge. Wie weiß es also, welche Werkzeuge verfügbar sind und wie man sie aufruft? Stellen Sie sich vor, Sie haben einen neuen Computer, wie erfahren Sie, welche Werkzeuge verfügbar sind? Ein normaler Benutzer würde die Liste der Anwendungen öffnen, während ein Programmierer `ls /usr/bin` eingeben würde, um zu sehen, welche Befehle verfügbar sind.
Ähnlich ist Manus' Lösung, dem Modell in den System-Prompts mitzuteilen, dass sich in einem bestimmten Ordner viele vorinstallierte Kommandozeilen-Tools befinden. Die am häufigsten verwendeten Werkzeuge (ls, grep, cat, less, more usw.) sind standardmäßig in den System-Prompts integriert. Es ist nicht notwendig, dem Modell zu sagen, wie man diese Werkzeuge verwendet; es reicht aus, die Werkzeugnamen aufzulisten und ihm zu sagen, dass es den --help-Parameter verwenden kann, um zu erfahren, wie man die Werkzeuge benutzt. Das Beste daran ist, dass diese Shell-Operationen, die das Modell gelernt hat, eine starke Generalisierungsfähigkeit besitzen. Um neue Werkzeuge hinzuzufügen, muss man nur einen Befehl in den Ordner legen.
Ich habe festgestellt, dass Manus die Unix-Philosophie wirklich bis ins kleinste Detail umsetzt: KISS (Keep It Simple, Stupid).


宝玉17. Okt. 2025
Agent Skills 是很好的东西,可以引导 Agent 获取某些技能,而且制作起来很方便。
制作一个技能,就好像给新员工写一份入职手册。不需要为每一个不同任务都专门打造一个独立的智能体,而是只要共享特定领域的专业知识,任何人都可以快速将智能体变成对应领域的高手。
我之前提到过朋友做一个基于他们 Design System 的 Agent,需要通过提示词引导 Agent 去 grep 检索文档,现在就更简单了,只要在全局或者项目目录下的 .claude/skills 下面添加目录,并且放一个包含meta信息的 SKILL\.md 文件,就可以引导 Agents 去学习使用这些 Skill。
官方也给了一个例子就是 PDF Skill,就是包含了一系列 PDF 操作的说明和脚本,Agent 借助这些脚本,就可以操作 PDF,比如提取表单之类。也就是说 Skill 不仅可以包含文档,还可以包含可执行的脚本。
需要注意的是 Skill 里面的 Meta 信息是默认会加载到上下文文的,其余信息用到才会加载。



136,57K
Top
Ranking
Favoriten

