"Hvordan oppnår 0G AI-inkludering?" Ordet hegemoni er ikke nytt i moderne tid, som dollarhegemoni, brikkedominerende osv I det 21st århundre, med den raske utviklingen av vitenskap og teknologi, er AI den mest avanserte krystalliseringen @0G_labs av det menneskelige samfunnet AI er mest avhengig av modeller, og modelltrening er ikke et teknisk problem i dag, men et spørsmål om ressursrettigheter Bare noen få bedrifter har superdatasentre, høyhastighets båndbredde og synkrone GPU-klynger for å trene en stor modell med 100B-parametere, som i seg selv er en skillelinje av makt 🟣 Og @0G_labs bryter den linjen DiLoCoX er den siste kongebomben fra 0G De fullførte distribuert opplæring av en 107B-parametermodell i et nettverksmiljø med bare 1 Gbps båndbredde, ved å bruke en klynge på 160 A800-er Ingen superdatamaskiner, ingen fibersammenkobling, ingen opplæringsplasser for store produsenter, ikke engang Infiniband Den endelige modellen har et nøyaktighetstap på mindre enn 0,5 %, og treningseffektiviteten er mer enn 357 ganger høyere enn den tradisjonelle AllReduce-arkitekturen @0G_labs kaller det DiLoCoX, et distribuert opplæringsrammeverk skreddersydd for miljøer med lite kommunikasjon Nøkkelen er å bygge en treningsmekanisme som tolererer ventetid, støtter asynkron, kan avansere uavhengig på forskjellige steder, og til slutt aggregerer Betydningen av denne saken handler ikke bare om å spare penger 🟣 #0G Å bryte sentraliseringen av modellbyggingsprosessen fører til at grensene for deltakelse løsnes Det som tidligere var utenfor rekkevidde for de fleste land, bedrifter og utviklere er nå: > Et universitet kan forene ti små bedrifter for i fellesskap å trene en vertikal modell > Et afrikansk land kan distribuere lokale intelligente systemer uten AWS eller Google Cloud > Et distribuert fellesskap kan koordinere GPUer og data på kjeden, ved å bruke smarte eiendeler som insentiver for å oppnå samarbeidsopplæring med lang hale Den nåværende AI-krigen handler ikke om produkter, men om ressurser Selv om du har en utmerket algoritmearkitektur, hvis du ikke kan trene effektivt, vil du alltid stoppe ved prototype- eller finjusteringsstadiet I den tradisjonelle modusen er synkroniseringen og nettverksbåndbredden som kreves for opplæring i seg selv en kostnadsbombe og utgjør kjernevollgraven til sentrale skyleverandører DiLoCoX begynte å fjerne denne avhengigheten fra bunnen for å oppnå ekte AI-inkludering
2,02K