Hraju si s trénováním malého modelu difúze textu na úrovni znaků s parametry 11M! Jedná se o WIP, ale kód je v současné době silně upravenou implementací nanochat gpt (pro změnu z autoregresního dekódování na difúzi) a je natrénován na datové sadě Tiny Shakespeare. Naivní implementace plánu maskování spočívá v tom, že pro každý token pro každou iteraci existuje jednotná pravděpodobnost maskování. Novější přístupy maskují blokové bloky zleva doprava, což zlepšuje kvalitu výstupu a umožňuje opakované použití KVCache. Uvědomil jsem si, že maskování můžete během procesu generování použít libovolným způsobem. Níže můžete vidět, že jsem použil maskování na základě pravidel Conwayovy Hry života. Zajímalo by mě, jestli existují nějaké neobvyklé maskovací strategie, jako je tato, které poskytují výhody. Bez ohledu na to je to velmi zajímavý a fascinující způsob, jak poškodit a deformovat text.

BERT je jen jeden krok šíření textu! (1/n) Když jsem poprvé četl o modelech difúze jazyka, byl jsem překvapen, když jsem zjistil, že jejich tréninkovým cílem je jen zobecnění maskovaného jazykového modelování (MLM), což je něco, co děláme od BERT od roku 2018. První myšlenka, která mě napadla, byla: "Můžeme vyladit model podobný BERT, aby dělal generování textu?"

Den záznamu výzkumu 0: Dny DiLoCo Rozhodl jsem se pro diplomovou práci týkající se distribuovaného školení s nízkou komunikací. V podstatě, jak můžeme efektivně trénovat velké modely napříč distribuovanými uzly a nebýt zcela zničeni latencí sítě a šířkou pásma? (1/n)