من اخترع الشبكات العصبية التلافيفية (CNNs)؟ 1969: كان لدى فوكوشيما ReLU ذات صلة بشبكة CNN [2]. 1979: كان لدى فوكوشيما بنية CNN الأساسية مع طبقات الالتفاف وطبقات أخذ العينات [1]. كانت الحوسبة أكثر تكلفة بمقدار 100 مرة مما كانت عليه في عام 1989 ، وأكثر تكلفة بمليار مرة من اليوم. 1987: طبق Waibel الانتشار الخلفي ل Linnainmaa عام 1970 [3] على TDNNs لتقاسم الوزن مع التلافيف أحادية الأبعاد [4]. 1988: Wei Zhang et al. طبق شبكات CNN ثنائية الأبعاد "الحديثة" المدربة على الظهر للتعرف على الأحرف [5]. تم نشر كل ما سبق في اليابان 1979-1988. 1989: LeCun et al. طبق CNNs مرة أخرى على التعرف على الأحرف (الرموز البريدية) [6،10]. 1990-93: تم استبدال تخفيض أخذ العينات في فوكوشيما بناء على المتوسط المكاني [1] بالحد الأقصى للتجميع ل 1-D TDNNs (Yamaguchi et al.) [7] و 2-D CNNs (Weng et al.) [8]. 2011: بعد ذلك بوقت طويل ، قام فريقي مع Dan Ciresan بتجميع شبكات CNN بسرعة كبيرة على وحدات معالجة الرسومات NVIDIA. في عام 2011 ، حققت DanNet أول نتيجة للتعرف على الأنماط الخارقة [9]. لفترة من الوقت ، تمتعت باحتكار: من مايو 2011 إلى سبتمبر 2012 ، فازت DanNet بكل تحدي للتعرف على الصور دخلت فيه ، 4 منها على التوالي. ومع ذلك ، من المسلم به أن هذا كان في الغالب يتعلق بالهندسة وتوسيع نطاق الرؤى الأساسية من الألفية السابقة ، والاستفادة من الأجهزة الأسرع بكثير. يدعي بعض "خبراء الذكاء الاصطناعي" أن "جعل شبكات CNN تعمل" (على سبيل المثال ، [5،6،9]) كان بنفس أهمية اختراعها. لكن "جعلها تعمل" تعتمد إلى حد كبير على ما إذا كان مختبرك غنيا بما يكفي لشراء أحدث أجهزة الكمبيوتر المطلوبة لتوسيع نطاق العمل الأصلي. إنه نفس الشيء اليوم. البحث الأساسي مقابل الهندسة / التطوير - R مقابل D في البحث والتطوير. مراجع [1] ك. فوكوشيما (1979). نموذج الشبكة العصبية لآلية التعرف على الأنماط التي لا تتأثر بالتحول في الموضع - Neocognitron. Trans. IECE, vol. J62-A, no. 10, pp. 658-665, 1979. [2] ك. فوكوشيما (1969). استخراج الميزات المرئية بواسطة شبكة متعددة الطبقات من عناصر العتبة التناظرية. معاملات IEEE في علوم النظم وعلم التحكم الآلي. 5 (4): 322-333. قدم هذا العمل وحدات خطية مصححة (ReLUs) ، تستخدم الآن في العديد من شبكات CNN. [3] س. لينينما (1970). رسالة ماجستير، جامعة هلسنكي، 1970. أول منشور عن الانتشار الخلفي "الحديث" ، المعروف أيضا باسم الوضع العكسي للتمايز التلقائي. (انظر نظرة عامة على الانتشار الخلفي الشهير لشميدهوبر: "من اخترع الانتشار العكسي؟") [4] أ. وايبل. التعرف على الصوت باستخدام الشبكات العصبية لتأخير الوقت. اجتماع IEICE، طوكيو، اليابان، 1987. الانتشار العكسي ل TDNN لتقاسم الوزن مع التلافيف أحادية الأبعاد. [5] دبليو تشانغ ، ج. تانيدا ، ك. إيتوه ، واي إيتشيوكا. الشبكة العصبية للتعرف على الأنماط الثابتة وبنيتها البصرية. المؤتمر السنوي للجمعية اليابانية للفيزياء التطبيقية ، 1988. أول CNN ثنائية الأبعاد مدربة على الانتشار العكسي ، مع تطبيقات للتعرف على الأحرف الإنجليزية. [6] واي ليكون ، ب. بوسر ، جي إس دينكر ، دي هندرسون ، آر إي هوارد ، دبليو هوبارد ، إل دي جاكل: الانتشار العكسي المطبق على التعرف على الرمز البريدي المكتوب بخط اليد ، الحساب العصبي ، 1 (4): 541-551 ، 1989. انظر أيضا القسم 3 من [10]. [7] ك. ياماغوتشي ، ك. ساكاموتو ، أ. كينجي ، ت. أكاباني ، واي فوجيموتو. شبكة عصبية للتعرف على الكلمات المعزولة المستقلة عن المتحدث. المؤتمر الدولي الأول لمعالجة اللغة المنطوقة (ICSLP 90)، كوبي، اليابان، تشرين الثاني/نوفمبر 1990. TDNN تلافيفي أحادي البعد باستخدام Max-Pooling بدلا من المتوسط المكاني لفوكوشيما [1]. [8] وينج ، ج. ، أهوجا ، ن. ، وهوانغ ، تي إس (1993). التعرف على التعلم وتجزئة الكائنات ثلاثية الأبعاد من الصور ثنائية الأبعاد. Proc. 4th Intl. Conf. Computer Vision, Berlin, pp. 121-128. شبكة CNN ثنائية الأبعاد تستخدم طبقات أخذ العينات الخاصة بها Max-Pooling (التي أصبحت شائعة جدا) بدلا من المتوسط المكاني لفوكوشيما [1]. [9] في عام 2011 ، حققت شبكة CNN السريعة والعميقة القائمة على وحدة معالجة الرسومات المسماة DanNet (7+ طبقات) أول أداء خارق في مسابقة رؤية الكمبيوتر. انظر نظرة عامة: "2011: DanNet تطلق ثورة عميقة في CNN." [10] كيف أعاد 3 من الفائزين بجائزة تورينج نشر الأساليب والأفكار الرئيسية التي فشلوا في الفضل في منشئيها. التقرير الفني IDSIA-23-23 ، مختبر الذكاء الاصطناعي السويسري IDSIA ، 14 ديسمبر 2023. شاهد أيضا فيديو YouTube لحفل توزيع جوائز باور 2021: يشيد J. Schmidhuber بكونيهيكو فوكوشيما.