Все одержимы большими парнями: триллионными параметрами облачных богов, которых мы называем LLM. Но что-то более странное происходит в тенях. Неправдоподобная эффективность крошечных ИИ моделей 🧵 🪡 1/6

Малые языковые модели (SLMs) работают локально, офлайн и бесплатно. Они помещаются на флешку, потребляют немного электроэнергии и могут превзойти GPT-3 — модель, которая запустила эту эпоху — при размере 1/175 от его размера. 2/6

LLaMA 3.2 (1B параметров) набрал 53.9% на MMLU — выше, чем GPT-3, и вы можете запустить его на Raspberry Pi за $100. Дайте ему небольшую справочную библиотеку (RAG), и он снова улучшится. Вы смотрите на ум, образованного в колледже, который помещается на флешке. 4/6