Ich experimentiere mit dem Training eines kleinen 11M-Parameter-Zeichenebenen-Textdiffusionsmodells! Es ist ein WIP, aber der Code ist derzeit eine stark modifizierte Nanochat-GPT-Implementierung (um von autoregressivem Decoding zu Diffusion zu wechseln) und wurde mit dem Tiny Shakespeare-Datensatz trainiert. Die naive Implementierung eines Maskierungsplans hat eine uniforme Maskierungswahrscheinlichkeit für jedes Token in jeder Iteration. Neuere Ansätze maskieren in Blockstücken von links nach rechts, was die Ausgabequalität verbessert und eine gewisse Wiederverwendung des KVCache ermöglicht. Ich habe festgestellt, dass man Maskierung tatsächlich auf jede beliebige Weise während des Generierungsprozesses anwenden kann. Unten sehen Sie, dass ich die Maskierung basierend auf den Regeln von Conways Spiel des Lebens angewendet habe. Ich frage mich, ob es ungewöhnliche Maskierungsstrategien wie diese gibt, die Vorteile bieten. Unabhängig davon ist dies eine sehr interessante und faszinierende Möglichkeit, Text zu korrumpieren und zu deformieren.

BERT ist nur ein einzelner Text-Diffusionsschritt! (1/n) Als ich zum ersten Mal von Sprachdiffusionsmodellen las, war ich überrascht zu erfahren, dass ihr Trainingsziel nur eine Verallgemeinerung des Masked Language Modeling (MLM) war, etwas, das wir seit BERT im Jahr 2018 tun. Der erste Gedanke, den ich hatte, war: „Können wir ein BERT-ähnliches Modell so anpassen, dass es Textgenerierung macht?“

Forschungsprotokoll Tag 0: DiLoCo Tage Ich habe beschlossen, eine Thesis über verteiltes Low-Communication-Training zu schreiben. Im Wesentlichen, wie können wir große Modelle effizient über verteilte Knoten trainieren, ohne von Netzwerk-Latenz und Bandbreite völlig zerstört zu werden? (1/n)