BERT هو مجرد خطوة نشر نص واحد! (1 / ن) عندما قرأت لأول مرة عن نماذج نشر اللغة ، فوجئت عندما وجدت أن هدفهم التدريبي كان مجرد تعميم لنمذجة اللغة المقنعة (MLM) ، وهو أمر كنا نقوم به منذ BERT من عام 2018. كانت أول فكرة لدي ، "هل يمكننا ضبط نموذج يشبه BERT للقيام بإنشاء نص؟"