BERT 只是一個單一的文本擴散步驟! (1/n) 當我第一次讀到語言擴散模型時,我驚訝地發現它們的訓練目標只是掩蔽語言模型(MLM)的概括,這是我們自 2018 年以來一直在做的事情。 我第一個想到的問題是:"我們能否微調一個類似 BERT 的模型來進行文本生成?"