Андрей Карпати: Данные для обучения в Интернете ужасны, поэтому большие модели в конечном итоге сжимаются в "память" вместо того, чтобы выполнять когнитивную работу. Используйте интеллектуальные модели для фильтрации до когнитивного ядра. С более чистыми данными меньшие модели, вероятно, дистиллированные из более сильной, будут достаточны.