En el cuarto artículo de la serie "Implementación de vLLM desde cero", dirigimos nuestra atención a otro componente que parece simple pero es crucial en la arquitectura Transformer: RMSNorm (normalización de raíz cuadrada media). Primero, veamos qué es la normalización. Supongamos que acabas de terminar tus exámenes finales y han salido las calificaciones de tres materias: Matemáticas: 120 puntos (máximo 150) Inglés: 80 puntos (máximo 100) Física: 160 puntos (máximo 200) ¿Cuál fue la mejor materia? Si comparas directamente 120, 80 y 160, llegarías a la conclusión de que la física es la mejor. Pero la realidad es que las tres materias se aprobaron con el mismo rendimiento. Matemáticas: 120/150 = 80% Inglés: 80/100 = 80% Física: 160/200 = 80% Esta es la idea central de la normalización: convertir datos de diferentes dimensiones y rangos a un estándar unificado para su comparación. ¿Por qué necesitan normalización las redes neuronales? Imagina que estás jugando al juego del teléfono. La primera persona dice "me gustan las manzanas", y al llegar a la décima persona se convierte en "me gustan las piñas". Este es el problema que enfrentan las redes neuronales profundas. Cada capa de la red realiza algunos cálculos sobre la entrada y luego pasa el resultado a la siguiente capa. El problema es que, a medida que aumenta el número de capas, estos valores se vuelven cada vez más incontrolables: o crecen de manera explosiva o desaparecen sin dejar rastro. Al igual que en el juego del teléfono, la información se distorsiona gradualmente durante la transmisión. Incorporar capas de normalización en el modelo puede reducir la probabilidad de explosión o desaparición de gradientes, haciendo que el proceso de entrenamiento del modelo sea más estable. La técnica de normalización ha evolucionado desde BatchNorm hasta LayerNorm y finalmente ha llegado a RMSNorm, convirtiéndose en un estándar para modelos grandes. Mi artículo llevará a los lectores a través de la historia de la evolución de la técnica de normalización; los interesados pueden consultar el texto original.