Všichni jsou posedlí velkými kluky: Biliony parametrů cloudových bohů, kterým říkáme LLM. Ve stínech se však děje něco podivnějšího. Nepřiměřená efektivita malých modelů 🧵 🪡 umělé inteligence 1/6

Malé jazykové modely (SLM) běží lokálně, offline a zdarma. Vejdou se na flash disk, popíjejí elektřinu a mohou překonat GPT-3 – model, který tuto éru zahájil – na 1/175 jeho velikosti. 2/6

LLaMA 3.2 (1B parametrů) dosáhl 53.9 % na MMLU – vyšší než GPT-3 a můžete jej spustit na Raspberry Pi za 100 dolarů. Dejte mu malou referenční knihovnu (RAG) a opět se zlepší. Díváte se na vysokoškolsky vzdělanou mysl, která se vejde na flash disk. 4/6