En el cuarto artículo sobre la implementación de vLLM desde cero, dirigimos nuestra atención a otro componente aparentemente simple pero crucial de la arquitectura de Transformer: RMSNorm (Root Mean Square Normalization). Primero echemos un vistazo a qué es la normalización, digamos que acabas de terminar el examen final y salen los resultados de los tres cursos: Matemáticas: 120 de 150 Inglés: 80 de 100 Física: 160 de 200 ¿Qué curso es el mejor? Si comparas 120, 80, 160 directamente, llegarás a la mejor conclusión en física. Pero la situación real es que los tres campos son igualmente buenos. Matemáticas: 120/150 = 80% Inglés: 80/100 = 80% Físico: 160/200 = 80% Esta es la idea central de la normalización: convertir datos de diferentes dimensiones y diferentes rangos en un estándar unificado para la comparación. ¿Por qué es necesario normalizar las redes neuronales? Imagina que estás jugando un juego de mensajería. La primera persona dijo "Me gustan las manzanas", y cuando pasó a la décima persona, se convirtió en "Me gusta la piña". Este es el problema al que se enfrentan las redes neuronales profundas. Cada capa de la red realiza algunos cálculos en la entrada y luego pasa los resultados a la siguiente capa. El problema es que a medida que aumenta el número de capas, estos valores se vuelven cada vez más incontrolables, ya sea explotando o desapareciendo sin dejar rastro. Al igual que un juego de mensajería, la información se distorsiona gradualmente durante la transmisión. Agregar una capa de normalización al modelo puede reducir la probabilidad de explosión o desaparición del gradiente, y el proceso de entrenamiento del modelo se vuelve más estable. La tecnología de normalización ha evolucionado de BatchNorm a LayerNorm y finalmente a RMSNorm, convirtiéndose en la configuración estándar para modelos grandes. Mi artículo lo llevará a la historia de la evolución de la tecnología de normalización, si está interesado, puede consultar el artículo original.

Las habilidades de agente de Claude son esencialmente una "descarga de contexto" que saca de contexto la información de habilidades extensas y la carga a pedido. Casualmente, Manus' Peak también compartió recientemente algunos consejos de "descarga contextual". Manus tiene muchas herramientas, pero no le da al modelo una definición completa de estas herramientas. Entonces, ¿cómo sabe qué herramientas existen y cómo las llamas? Imagina que te dan una computadora nueva, ¿cómo sabes qué herramientas están disponibles? El usuario promedio abrirá la lista de aplicaciones y el programador 'ls /usr/bin' para ver qué comandos están disponibles. De manera similar, la solución de Manus es decirle al modelo en un indicador del sistema que hay muchas utilidades de línea de comandos preinstaladas en una carpeta en particular. Las herramientas más utilizadas (ls, grep, cat, less, more, etc.) están integradas en las indicaciones del sistema de forma predeterminada. En lugar de decirle al modelo cómo usar las herramientas, simplemente enumere el nombre de la herramienta y luego dígale cómo usar el parámetro --help para comprender cómo usar la herramienta. La mejor parte es que estos modelos de operación de shell han sido aprendidos, por lo que tiene una fuerte capacidad de generalización, y para agregar nuevas herramientas, solo necesita poner un comando en la carpeta. Descubrí que Manus realmente siguió la filosofía de Unix hasta el final: KISS (Keep It Simple, Stupid).