BOM! STOR AI-HASTIGHET! Hot Rod AI: 100 gånger snabbare inferens, 100 000 gånger mindre kraft! — Återuppliva analoga kretsar: Ett språng mot ultraeffektiv AI med uppmärksamhet i minnet Jag började med analog elektronik när jag var liten och har alltid trott att analoga datorer skulle göra comeback. Analog databehandling på 1960-talet neurala nätverk använde spänningsbaserade kretsar snarare än binära klockor. Analogt är snabbare än digitalt Stora språkmodeller i deras kärna ligger transformatorarkitekturen, där mekanismer för självuppmärksamhet sållar igenom stora sekvenser av data för att förutsäga nästa ord eller token. På konventionella GPU:er tar det tid och energi att växla data mellan minnescacher och bearbetningsenheter, vilket skapar flaskhalsar i hela systemet. De kräver en klockcykel för att exakt flytta bitar in och ut ur minnet och registren, och detta är >90 % av tiden och energikostnaderna. Men nu föreslår en banbrytande studie en anpassad minnesbaserad datorinstallation som kan minska dessa ineffektiviteter, vilket potentiellt kan omforma hur vi distribuerar generativ AI. Innovationen fokuserar på "gain cells" – framväxande laddningsbaserade analoga minnen som fungerar som både lagrings- och beräkningsmotorer. Till skillnad från digitala GPU:er, som mödosamt laddar tokenprojektioner från cache till SRAM för varje generationssteg, behåller den här arkitekturen data där matematiken händer: rätt PÅ CHIPET! Med en klockfrekvens nära LJUSETS HASTIGHET eftersom den aldrig är på/av som i digital binär. Genom att utnyttja parallella analoga punktproduktoperationer beräknar designen självuppmärksamhet inbyggt och kringgår den dataförflyttning som plågar GPU-hårdvara. För att överbrygga klyftan mellan ideala digitala modeller och den bullriga verkligheten i analoga kretsar tog forskarna fram en smart initieringsalgoritm. Denna metod anpassar förtränade LLM:er, såsom GPT-2, utan behov av fullständig omträning, vilket säkerställer sömlös prestandaparitet trots icke-idealiteter som spänningsdrifter eller precisionsgränser. Resultaten är inget annat än häpnadsväckande! ...