Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
"Hvordan oppnår 0G AI-inkludering?"
Ordet hegemoni er ikke nytt i moderne tid, som dollarhegemoni, brikkedominerende osv
I det 21st århundre, med den raske utviklingen av vitenskap og teknologi, er AI den mest avanserte krystalliseringen @0G_labs av det menneskelige samfunnet
AI er mest avhengig av modeller, og modelltrening er ikke et teknisk problem i dag, men et spørsmål om ressursrettigheter
Bare noen få bedrifter har superdatasentre, høyhastighets båndbredde og synkrone GPU-klynger for å trene en stor modell med 100B-parametere, som i seg selv er en skillelinje av makt
🟣 Og @0G_labs bryter den linjen
DiLoCoX er den siste kongebomben fra 0G
De fullførte distribuert opplæring av en 107B-parametermodell i et nettverksmiljø med bare 1 Gbps båndbredde, ved å bruke en klynge på 160 A800-er
Ingen superdatamaskiner, ingen fibersammenkobling, ingen opplæringsplasser for store produsenter, ikke engang Infiniband
Den endelige modellen har et nøyaktighetstap på mindre enn 0,5 %, og treningseffektiviteten er mer enn 357 ganger høyere enn den tradisjonelle AllReduce-arkitekturen
@0G_labs kaller det DiLoCoX, et distribuert opplæringsrammeverk skreddersydd for miljøer med lite kommunikasjon
Nøkkelen er å bygge en treningsmekanisme som tolererer ventetid, støtter asynkron, kan avansere uavhengig på forskjellige steder, og til slutt aggregerer
Betydningen av denne saken handler ikke bare om å spare penger
🟣 #0G Å bryte sentraliseringen av modellbyggingsprosessen fører til at grensene for deltakelse løsnes
Det som tidligere var utenfor rekkevidde for de fleste land, bedrifter og utviklere er nå:
> Et universitet kan forene ti små bedrifter for i fellesskap å trene en vertikal modell
> Et afrikansk land kan distribuere lokale intelligente systemer uten AWS eller Google Cloud
> Et distribuert fellesskap kan koordinere GPUer og data på kjeden, ved å bruke smarte eiendeler som insentiver for å oppnå samarbeidsopplæring med lang hale
Den nåværende AI-krigen handler ikke om produkter, men om ressurser
Selv om du har en utmerket algoritmearkitektur, hvis du ikke kan trene effektivt, vil du alltid stoppe ved prototype- eller finjusteringsstadiet
I den tradisjonelle modusen er synkroniseringen og nettverksbåndbredden som kreves for opplæring i seg selv en kostnadsbombe og utgjør kjernevollgraven til sentrale skyleverandører
DiLoCoX begynte å fjerne denne avhengigheten fra bunnen for å oppnå ekte AI-inkludering

2,02K
Topp
Rangering
Favoritter