誰もが大物に夢中になっています:私たちがLLMと呼ぶ1兆パラメータのクラウドの神様。しかし、影の中で奇妙なことが起こっています。 小さな AI モデル🧵 🪡の不合理な有効性 1/6

小規模言語モデル (SLM) は、ローカル、オフライン、および無料で実行されます。 フラッシュドライブに収まり、電気を飲み、この時代をスタートさせたモデルであるGPT-3を1/175のサイズで上回ります。 2/6

LLaMA 3.2 (1B params) は MMLU で 53.9% のスコアを獲得し、GPT-3 よりも高く、100 ドルの Raspberry Pi で実行できます。 小さな参照ライブラリ (RAG) を与えると、再び改善されます。 あなたは、サムドライブに収まる大学教育を受けた心を見ているのです。 4/6