Iedereen is geobsedeerd door de grote jongens: Trillion-parameter cloudgoden die we LLMs noemen. Maar er gebeurt iets vreemds in de schaduw. De onredelijke effectiviteit van kleine AI-modellen 🧵 🪡 1/6

Kleine taalmodellen (SLM's) draaien lokaal, offline en gratis. Ze passen op een flashdrive, verbruiken weinig elektriciteit en kunnen GPT-3 — het model dat dit tijdperk lanceerde — overtreffen bij 1/175e van zijn grootte. 2/6

LLaMA 3.2 (1B parameters) scoorde 53,9% op MMLU — hoger dan GPT-3 en je kunt het draaien op een $100 Raspberry Pi. Geef het een kleine referentiebibliotheek (RAG), en het verbetert opnieuw. Je kijkt naar een universitair opgeleide geest die op een thumb drive past. 4/6