Ми щойно опублікували Smol Training Playbook: збір важко зароблених знань, щоб поділитися тим, що саме потрібно для тренування SOTA LLM ⚡️ За участю нашого головного героя SmolLM3 ми розглянемо: 🧭 Стратегія щодо того, чи варто тренувати власний LLM і спалювати всі свої гроші венчурного капіталу 🪨 Попереднє навчання, воно ж перетворення гори тексту в химерний автодоповнювач 🗿Як ліпити базові моделі за допомогою алхімії після тренування 🛠️ Що лежить в основі інфраструктури та як налагодити свій вихід із чистилища NCCL Основні моменти з розділу після тренування в гілці 👇