Alle sind besessen von den großen Jungs: Billionen-Parameter-Cloud-Götter, die wir LLMs nennen. Aber etwas Seltsames geschieht im Schatten. Die unvernünftige Effektivität kleiner KI-Modelle 🧵 🪡 1/6

Kleine Sprachmodelle (SLMs) laufen lokal, offline und kostenlos. Sie passen auf einen USB-Stick, verbrauchen wenig Strom und können GPT-3 — das Modell, das diese Ära eingeläutet hat — bei 1/175 seiner Größe übertreffen. 2/6

LLaMA 3.2 (1B Parameter) erzielte 53,9 % bei MMLU – höher als GPT-3 und du kannst es auf einem $100 Raspberry Pi ausführen. Gib ihm eine kleine Referenzbibliothek (RAG), und es verbessert sich erneut. Du schaust auf einen hochschulgebildeten Verstand, der auf einem USB-Stick passt. 4/6