Kaikilla on pakkomielle isoista pojista: biljoonan parametrin pilvijumalista, joita kutsumme LLM:iksi. Mutta jotain outoa tapahtuu varjoissa. Pienten tekoälymallien 🧵 🪡 kohtuuton tehokkuus 1/6

Pienet kielimallit (SLM) toimivat paikallisesti, offline-tilassa ja ilmaiseksi. Ne mahtuvat flash-asemaan, siemailevat sähköä ja voivat ylittää GPT-3:n – tämän aikakauden käynnistäneen mallin – 1/175 sen koosta. 2/6

LLaMA 3.2 (1B params) sai 53.9 % MMLU:sta – korkeamman pistemäärän kuin GPT-3, ja voit käyttää sitä 100 dollarin Raspberry Pi:llä. Anna sille pieni viitekirjasto (RAG), ja se paranee taas. Katsot korkeakoulutettua mieltä, joka mahtuu muistitikulle. 4/6