Toată lumea este obsedată de băieții mari: zei nori de trilioane de parametri pe care îi numim LLM. Dar ceva mai ciudat se întâmplă în umbră. Eficacitatea nerezonabilă a modelelor 🧵 🪡 AI minuscule 1/6

Modelele lingvistice mici (SLM) rulează local, offline și gratuit. Se potrivesc pe o unitate flash, sorbesc electricitate și pot depăși GPT-3 - modelul care a lansat această eră - la 1/175 din dimensiunea sa. 2/6

LLaMA 3.2 (parametri 1B) a obținut un scor de 53.9% pe MMLU - mai mare decât GPT-3 și îl puteți rula pe un Raspberry Pi de 100 USD. Dați-i o mică bibliotecă de referință (RAG) și se îmbunătățește din nou. Te uiți la o minte cu studii superioare care încape pe o unitate de memorie. 4/6