Leker med å trene en liten tekstdiffusjonsmodell på 11 millioner parametere på tegnnivå! Det er en WIP, men koden er for øyeblikket en sterkt modifisert nanochat gpt-implementering (for å endre fra autoregressiv dekoding til diffusjon) og trent på Tiny Shakespeare-datasettet. Den naive implementeringen av en maskeringsplan er å ha en ensartet maskeringssannsynlighet for hvert token for hver iterasjon. Nyere tilnærminger maskerer i blokkbiter fra venstre til høyre, noe som forbedrer utskriftskvaliteten og tillater litt KVCache-gjenbruk. Jeg innså at du faktisk kan bruke maskering på en hvilken som helst vilkårlig måte under genereringsprosessen. Nedenfor kan du se at jeg brukte maskering basert på reglene i Conway's Game of Life. Jeg lurer på om det er noen uvanlige maskeringsstrategier som dette som gir fordeler. Uansett er dette en veldig interessant og fascinerende måte å korrumpere og deformere tekst på.

BERT er bare et enkelt tekstdiffusjonstrinn! (1/n) Da jeg først leste om språkdiffusjonsmodeller, ble jeg overrasket over å finne ut at treningsmålet deres bare var en generalisering av maskert språkmodellering (MLM), noe vi har gjort siden BERT fra 2018. Den første tanken jeg hadde var: "Kan vi finjustere en BERT-lignende modell for å gjøre tekstgenerering?"

Forskningslogg dag 0: DiLoCo-dager Jeg bestemte meg for en avhandling rundt distribuert trening med lav kommunikasjon. I hovedsak, hvordan kan vi trene store modeller effektivt på tvers av distribuerte noder og ikke bli fullstendig ødelagt av nettverksforsinkelse og båndbredde? (1/n)