W czwartej części artykułu o vLLM od zera, zwracamy uwagę na inny, wydawałoby się prosty, ale kluczowy komponent architektury Transformer: RMSNorm (normalizacja średniej kwadratowej). Najpierw przyjrzyjmy się, czym jest normalizacja. Załóżmy, że właśnie zdałeś egzamin końcowy, a wyniki z trzech przedmiotów są już dostępne: Matematyka: 120 punktów (maksymalnie 150) Angielski: 80 punktów (maksymalnie 100) Fizyka: 160 punktów (maksymalnie 200) Który przedmiot zdałeś najlepiej? Jeśli porównasz bezpośrednio 120, 80, 160, dojdziesz do wniosku, że fizyka jest najlepsza. Ale prawda jest taka, że wszystkie trzy przedmioty zdałeś tak samo dobrze. Matematyka: 120/150 = 80% Angielski: 80/100 = 80% Fizyka: 160/200 = 80% To jest sedno normalizacji: przekształcenie danych o różnych wymiarach i zakresach do jednolitego standardu w celu porównania. Dlaczego sieci neuronowe potrzebują normalizacji? Wyobraź sobie, że grasz w grę w głuchy telefon. Pierwsza osoba mówi "Lubię jabłka", a do dziesiątej osoby dociera to jako "Lubię ananasy". To jest problem, z którym borykają się głębokie sieci neuronowe. Każda warstwa sieci wykonuje pewne obliczenia na wejściu, a następnie przekazuje wyniki do następnej warstwy. Problem polega na tym, że wraz ze wzrostem liczby warstw, te wartości stają się coraz bardziej niekontrolowane — albo rosną w sposób eksplozjny, albo znikają bez śladu. Podobnie jak w grze w głuchy telefon, informacja w trakcie przekazywania stopniowo się zniekształca. Dodanie warstwy normalizacji do modelu może zmniejszyć prawdopodobieństwo eksplozji lub znikania gradientów, a proces treningu modelu staje się bardziej stabilny. Technika normalizacji ewoluowała od BatchNorm, przez LayerNorm, aż do RMSNorm, stając się standardem w dużych modelach. Mój artykuł zabierze Was w podróż przez historię ewolucji technik normalizacji, a zainteresowani mogą zapoznać się z oryginałem.

Umiejętności agenta Claude'a to w zasadzie forma "odciążania kontekstu", przenosząca obszerne informacje o umiejętnościach poza kontekst, ładując je na żądanie. Co ciekawe, niedawno Manus podzielił się również kilkoma wskazówkami na temat "odciążania kontekstu". Manus ma wiele narzędzi, ale nie informuje modelu o pełnych definicjach tych narzędzi. Jak więc wie, jakie narzędzia są dostępne i jak je wywołać? Wyobraź sobie, że dostajesz nowy komputer, jak dowiesz się, jakie narzędzia są dostępne? Zwykły użytkownik otworzy listę aplikacji, programista użyje `ls /usr/bin`, aby zobaczyć, jakie polecenia są dostępne. Podobnie, rozwiązanie Manus polega na tym, że w systemowym podpowiedzi mówi modelowi, że w określonym folderze znajduje się wiele wstępnie zainstalowanych narzędzi wiersza poleceń. Najczęściej używane narzędzia (ls, grep, cat, less, more itp.) są domyślnie wbudowane w systemową podpowiedź. Nie trzeba mówić modelowi, jak używać tych narzędzi, wystarczy wymienić ich nazwy, a następnie powiedzieć, że może użyć parametru --help, aby dowiedzieć się, jak korzystać z narzędzi. Najlepsze jest to, że te modele operacji powłoki są już wyuczone, więc ich zdolność do generalizacji jest bardzo silna; aby dodać nowe narzędzie, wystarczy umieścić polecenie w folderze. Zauważyłem, że Manus naprawdę wprowadza w życie filozofię Uniksa: KISS (Keep It Simple, Stupid).