Semua orang terobsesi dengan anak laki-laki besar: Dewa awan triliunan parameter yang kita sebut LLM. Tapi sesuatu yang aneh terjadi dalam bayang-bayang. Efektivitas Model AI 🧵 🪡 Kecil yang Tidak Masuk Akal 1/6

Model Bahasa Kecil (SLM) berjalan secara lokal, offline, dan gratis. Mereka muat pada flash drive, menyesap listrik, dan dapat mengungguli GPT-3 - model yang meluncurkan era ini - dengan ukuran 1/175. 2/6

LLaMA 3.2 (1B param) mencetak skor 53.9% pada MMLU — lebih tinggi dari GPT-3 dan Anda dapat menjalankannya dengan Raspberry Pi seharga $100. Berikan perpustakaan referensi kecil (RAG), dan itu meningkat lagi. Anda melihat pikiran berpendidikan perguruan tinggi yang muat di thumb drive. 4/6