Andrej Karpathy: Die Trainingsdaten aus dem Internet sind schrecklich, sodass große Modelle "Gedächtnis" komprimieren, anstatt kognitive Arbeit zu leisten. Verwenden Sie intelligente Modelle, um zum kognitiven Kern zu filtern. Mit saubereren Daten sind kleinere Modelle, die wahrscheinlich aus einem stärkeren destilliert wurden, ausreichend.