Tutti sono ossessionati dai grandi nomi: dei cloud con trilioni di parametri che chiamiamo LLM. Ma qualcosa di più strano sta accadendo nell'ombra. L'Efficacia Irrazionale dei Piccoli Modelli AI 🧵 🪡 1/6

I modelli di linguaggio piccoli (SLM) funzionano localmente, offline e sono gratuiti. Possono essere memorizzati su una chiavetta USB, consumano poca energia e possono superare GPT-3 — il modello che ha dato inizio a quest'era — con 1/175 della sua dimensione. 2/6

LLaMA 3.2 (1B parametri) ha ottenuto il 53,9% su MMLU — più alto di GPT-3 e puoi eseguirlo su un Raspberry Pi da $100. Dagli una piccola libreria di riferimento (RAG) e migliora ulteriormente. Stai guardando una mente con istruzione universitaria che sta su una chiavetta USB. 4/6