Wszyscy są zafascynowani wielkimi graczami: bogami chmurowymi o bilionie parametrów, których nazywamy LLM. Ale w cieniu dzieje się coś dziwniejszego. Nierozsądna skuteczność małych modeli AI 🧵 🪡 1/6

Małe modele językowe (SLM) działają lokalnie, offline i są darmowe. Mieszczą się na pamięci USB, zużywają mało energii i mogą przewyższać GPT-3 — model, który zapoczątkował tę erę — przy 1/175 jego rozmiaru. 2/6

LLaMA 3.2 (1B parametrów) uzyskał 53,9% w MMLU — więcej niż GPT-3 i możesz go uruchomić na Raspberry Pi za 100 dolarów. Daj mu małą bibliotekę referencyjną (RAG), a poprawi się jeszcze bardziej. Patrzysz na umysł z wykształceniem wyższym, który mieści się na pendrive'ie. 4/6