Andrej Karpathy: Los datos de entrenamiento de Internet son terribles, por lo que los grandes modelos terminan comprimiendo la "memoria" en lugar de hacer trabajo cognitivo Usar modelos inteligentes para filtrar el núcleo cognitivo Con datos más limpios, los modelos más pequeños, probablemente destilados de uno más fuerte, son suficientes