جوجل كشف للتو عن "الانتباه هو كل ما تحتاجه (V2)" قد تحل هذه الورقة أكبر مشكلة في الذكاء الاصطناعي: نسيان كارثي. عندما تتعلم نماذج الذكاء الاصطناعي شيئا جديدا، تميل إلى نسيان ما تعلمته سابقا. البشر لا يعملون بهذه الطريقة، والآن لدى Google Research حل. التعلم المتداخل. هذا نموذج جديد لتعلم الآلة يعامل النماذج كنظام من مشاكل التحسين المترابطة التي تعمل بسرعات مختلفة - تماما كما يعالج دماغنا المعلومات. إليك سبب أهمية هذا: النماذج الكبيرة لا تتعلم من التجارب؛ يظلون محدودين بما تعلموه أثناء التدريب. لا يمكنهم التعلم أو التحسن مع الوقت دون فقدان المعرفة السابقة. يغير التعلم المتداخل هذا من خلال اعتبار بنية النموذج وخوارزمية التدريب كشيء واحد - فقط "مستويات" مختلفة من التحسين. تقدم الورقة البحثية Hope، وهي بنية إثبات مفهوم توضح هذا النهج: ↳ Hope يتفوق على النماذج المتكررة الحديثة في مهام نمذجة اللغة ↳ يتعامل مع الذاكرة ذات السياق الطويل بشكل أفضل من النماذج الحديثة ↳ يحقق ذلك من خلال "أنظمة الذاكرة المستمرة" التي تحدث عند ترددات مختلفة وهذا مشابه لكيفية إدارة دماغنا للذاكرة قصيرة وطويلة الأمد في نفس الوقت. قد نكون أخيرا نقترب من الفجوة بين الذكاء الاصطناعي وقدرة الدماغ البشري على التعلم المستمر. لقد شاركت رابط الورقة في التغريدة القادمة!