每个人都对那些大佬们着迷：我们称之为 LLM 的万亿参数云神。但在阴影中，发生了一些更奇怪的事情。 微小 AI 模型的非理性有效性 🧵 🪡 1/6

小型语言模型（SLMs）可以在本地、离线运行，并且是免费的。 它们可以放在闪存驱动器上，耗电量小，并且在体积为GPT-3的1/175时可以超越这款开启这一时代的模型。 2/6

LLaMA 3.2（1B 参数）在 MMLU 上得分 53.9% — 高于 GPT-3，并且你可以在 $100 的树莓派上运行它。 给它一个小的参考库（RAG），它会再次提升。 你正在看一个适合放在拇指驱动器上的大学教育水平的头脑。 4/6