Alla är besatta av de stora pojkarna: Molngudar med biljoner parametrar som vi kallar LLM:er. Men något märkligare händer i skuggorna. Den orimliga effektiviteten hos små AI-modeller 🧵 🪡 1/6

Små språkmodeller (SLM) körs lokalt, offline och kostnadsfritt. De får plats på ett USB-minne, smuttar på elektricitet och kan överträffa GPT-3 - modellen som lanserade den här eran - med en 1/175-del av sin storlek. 2/6

LLaMA 3.2 (1B params) fick 53,9 % på MMLU - högre än GPT-3 och du kan köra den på en Raspberry Pi för 100 dollar. Ge det ett litet referensbibliotek (RAG), så förbättras det igen. Du tittar på ett högskoleutbildat sinne som passar på ett USB-minne. 4/6