Todos estão obcecados com os grandes: deuses da nuvem com trilhões de parâmetros que chamamos de LLMs. Mas algo mais estranho está acontecendo nas sombras. A Eficácia Irrazoável de Modelos de IA Pequenos 🧵 🪡 1/6

Modelos de Linguagem Pequenos (SLMs) funcionam localmente, offline e são gratuitos. Eles cabem num pen drive, consomem pouca eletricidade e podem superar o GPT-3 — o modelo que lançou esta era — com 1/175 do seu tamanho. 2/6

LLaMA 3.2 (1B parâmetros) obteve 53,9% no MMLU — mais alto que o GPT-3 e você pode executá-lo em um Raspberry Pi de $100. Dê-lhe uma pequena biblioteca de referência (RAG), e ele melhora novamente. Você está olhando para uma mente com educação universitária que cabe em um pen drive. 4/6