Todo el mundo está obsesionado con los grandes: dioses de las nubes de billones de parámetros que llamamos LLM. Pero algo más extraño está sucediendo en las sombras. La efectividad irrazonable de los pequeños modelos 🧵 🪡 de IA 1/6

Los modelos de lenguaje pequeños (SLM) se ejecutan localmente, sin conexión y de forma gratuita. Caben en una unidad flash, beben electricidad y pueden superar a GPT-3, el modelo que lanzó esta era, con 1/175 de su tamaño. 2/6

LLaMA 3.2 (1B params) obtuvo un 53.9% en MMLU, más alto que GPT-3 y puede ejecutarlo en una Raspberry Pi de $ 100. Dale una pequeña biblioteca de referencia (RAG) y mejora de nuevo. Estás viendo una mente con educación universitaria que cabe en una memoria USB. 4/6