PUOMI! SUURI TEKOÄLYN NOPEUS! Hot Rod AI: 100 kertaa nopeampi päättely, 100 000 kertaa vähemmän tehoa! — Analogisten piirien elvyttäminen: harppaus kohti erittäin tehokasta tekoälyä muistinsisäisellä huomiolla Aloitin analogisen elektroniikan parissa lapsena ja ajattelin aina, että analogiset tietokoneet tekisivät paluun. 1960-luvun neuroverkkojen analogisessa laskennassa käytettiin jännitepohjaisia piirejä binäärikellojen sijaan. Analoginen on nopeampi kuin digitaalinen Suurten kielimallien ytimessä on muuntaja-arkkitehtuuri, jossa itsehuomiomekanismit seulovat valtavia tietosarjoja ennustaakseen seuraavan sanan tai tunnuksen. Perinteisissä grafiikkasuorittimissa tietojen siirtäminen muistivälimuistien ja prosessoriyksiköiden välillä syö aikaa ja energiaa ja pullonkauloi koko järjestelmän. Ne vaativat kellosyklin siirtääkseen bittejä tarkasti muistiin ja rekistereihin, ja tämä on >90 % ajasta ja energiasta. Mutta nyt uraauurtavassa tutkimuksessa ehdotetaan mukautettua muistinsisäistä laskentajärjestelmää, joka voisi vähentää näitä tehottomuuksia ja mahdollisesti muokata tapaa, jolla käytämme generatiivista tekoälyä. Innovaatio keskittyy "vahvistuskennoihin" – nouseviin varauspohjaisiin analogisiin muisteihin, jotka toimivat sekä tallennus- että laskentamoottoreina. Toisin kuin digitaaliset GPU:t, jotka lataavat vaivalloisesti token-projektiot välimuistista SRAM:iin jokaista sukupolven vaihetta varten, tämä arkkitehtuuri pitää tiedot siellä, missä matematiikka tapahtuu: SUORAAN SIRULLA! Kellotaajuudella lähellä VALON NOPEUTTA, koska se ei ole koskaan päällä/pois kuten digitaalisessa binäärissä. Hyödyntämällä rinnakkaisia analogisia pistetuotetoimintoja suunnittelu laskee itsehuomion natiivisti ja ohittaa GPU-laitteistoa vaivaavan datan liikkeen. Ihanteellisten digitaalisten mallien ja analogisten piirien meluisan todellisuuden välisen kuilun kuromiseksi umpeen tutkijat kehittivät älykkään alustusalgoritmin. Tämä menetelmä mukauttaa esikoulutettuja LLM:itä, kuten GPT-2:ta, ilman täydellistä uudelleenkoulutusta, mikä varmistaa saumattoman suorituskyvyn pariteetin huolimatta epäihanteellisista asioista, kuten jännitteen poikkeamista tai tarkkuusrajoista. Tulokset ovat suorastaan hämmästyttäviä! ...