Todo mundo está obcecado com os meninos grandes: deuses da nuvem de trilhões de parâmetros que chamamos de LLMs. Mas algo mais estranho está acontecendo nas sombras. A eficácia irracional de minúsculos modelos 🧵 🪡 de IA 1/6
Os SLMs (Small Language Models) são executados localmente, offline e gratuitamente. Eles cabem em um pen drive, bebem eletricidade e podem superar o GPT-3 - o modelo que lançou esta era - com 1/175 de seu tamanho. 2/6
O LLaMA 3.2 (1B parâmetros) marcou 53.9% no MMLU - superior ao GPT-3 e você pode executá-lo em um Raspberry Pi de US$ 100. Dê a ele uma pequena biblioteca de referência (RAG) e ele melhora novamente. Você está olhando para uma mente com formação universitária que cabe em um pen drive. 4/6
3,53K