Alle er besatt av de store guttene: Trillion-parameter skyguder vi kaller LLM-er. Men noe merkeligere skjer i skyggene. Den urimelige effektiviteten til små AI-modeller 🧵 🪡 1/6

Små språkmodeller (SLM-er) kjører lokalt, frakoblet og gratis. De passer på en flash-stasjon, nipper til elektrisitet og kan overgå GPT-3 - modellen som lanserte denne epoken - med 1/175 av størrelsen. 2/6

LLaMA 3.2 (1B-parametere) scoret 53.9 % på MMLU – høyere enn GPT-3, og du kan kjøre den på en Raspberry Pi på $100. Gi den et lite referansebibliotek (RAG), og den forbedres igjen. Du ser på et høyskoleutdannet sinn som passer på en minnepinne. 4/6