Andrej Karpathy: Dữ liệu huấn luyện trên Internet thật tệ, vì vậy các mô hình lớn cuối cùng nén "bộ nhớ" thay vì thực hiện công việc nhận thức. Sử dụng các mô hình thông minh để lọc ra lõi nhận thức. Với dữ liệu sạch hơn, các mô hình nhỏ hơn, có khả năng được chưng cất từ một mô hình mạnh hơn, là đủ.