Turboladda Nvidia AI GPU:er: Enkla knep för blixtsnabb prestanda I mitt garage måste jag få det lilla som inte är VC-investerares forskning och utveckling, att fungera, jag har slantar och få högre hastighet än företag med miljarder. Denna begränsning får mig att hitta sätt att pressa ut mer ur mindre. Jag gör många saker som de flesta inte kan tänka på. Här är ett exempel på bara en av 100-tals. GPU:er är kraftpaket, packade med massor av processorenheter redo att knäcka siffror. Jag upptäckte Men ofta är de inte fullt utnyttjade, vilket leder till trög prestanda. Vad upptäckte jag? Smarta optimeringar som håller dessa enheter surrande, minskar AI-renderingstiderna och ger enorma hastighetsökningar. Upptäck först flaskhalsarna. Jag använder profileringsverktyg som Nvidias Nsight för att se vad som håller saker och ting tillbaka, oavsett om det är minnesväntningar eller andra saker. När jag har identifierat den dyker jag in och justerar koden för att packa in mer arbete i varje tråd. Enkla ändringar som att rulla ut loopar eller komprimera data kan dölja förseningar och öka genomströmningen, vilket ger omedelbara hastighetshopp. Hög användning kan ibland orsaka cachekaos – åtgärda det genom att på ett smart sätt minska antalet trådar med dummy-kod eller minnesjusteringar, vilket frigör resurser för parallella uppgifter. Den verkliga gamechangern? Asynkron beräkning. Kör flera uppgifter sida vid sida, fyll tomgångsluckor och överlappande tunga laster. Para ihop minneskrävande uppgifter som ger GPU-multitasking, vilket kan halvera tiderna och överladdningseffektiviteten. Dessa tweaks förvandlar underutnyttjade GPU:er till hastighetsdemoner. Det är inte helt olikt hur IBM PC/ATs persondatorer förvandlades till att köra upp till 100 MHz 1986 när de kom ut från fabriken på 8 MHz. Jag kommer att skriva mer detaljer om detta, men om stora AI-företag använde min Nvidia GPU-optimering på op-kodnivå skulle de sannolikt nå AGI, ganska snabbt. När du känner till hårdvara och mjukvara på en nästan atomär nivå kan du göra om de första principerna.