من اخترع الشبكات العصبية التلافيفية (CNNs)؟ 1969: كان لدى فوكوشيما ReLU ذات صلة بشبكة CNN [2]. 1979: كان لدى فوكوشيما بنية CNN الأساسية مع طبقات الالتفاف وطبقات أخذ العينات [1]. كانت الحوسبة أكثر تكلفة بمقدار 100 مرة مما كانت عليه في عام 1989 ، وأكثر تكلفة بمليار مرة من اليوم. 1987: طبق Waibel الانتشار الخلفي ل Linnainmaa عام 1970 [3] على TDNNs لتقاسم الوزن مع التلافيف أحادية الأبعاد [4]. 1988: Wei Zhang et al. طبق شبكات CNN ثنائية الأبعاد "الحديثة" المدربة على الظهر للتعرف على الأحرف [5]. تم نشر كل ما سبق في اليابان 1979-1988. 1989: LeCun et al. طبق CNNs مرة أخرى على التعرف على الأحرف (الرموز البريدية) [6،10]. 1990-93: تم استبدال تخفيض أخذ العينات في فوكوشيما بناء على المتوسط المكاني [1] بالحد الأقصى للتجميع ل 1-D TDNNs (Yamaguchi et al.) [7] و 2-D CNNs (Weng et al.) [8]. 2011: بعد ذلك بوقت طويل ، قام فريقي مع Dan Ciresan بتجميع شبكات CNN بسرعة كبيرة على وحدات معالجة الرسومات NVIDIA. في عام 2011 ، حققت DanNet أول نتيجة للتعرف على الأنماط الخارقة [9]. لفترة من الوقت ، تمتعت باحتكار: من مايو 2011 إلى سبتمبر 2012 ، فازت DanNet بكل تحدي للتعرف على الصور دخلت فيه ، 4 منها على التوالي. ومع ذلك ، من المسلم به أن هذا كان في الغالب يتعلق بالهندسة وتوسيع نطاق الرؤى الأساسية من الألفية السابقة ، والاستفادة من الأجهزة الأسرع بكثير. يدعي بعض "خبراء الذكاء الاصطناعي" أن "جعل شبكات CNN تعمل" (على سبيل المثال ، [5،6،9]) كان بنفس أهمية اختراعها. لكن "جعلها تعمل" تعتمد إلى حد كبير على ما إذا كان مختبرك غنيا بما يكفي لشراء أحدث أجهزة الكمبيوتر المطلوبة لتوسيع نطاق العمل الأصلي. إنه نفس الشيء اليوم. البحث الأساسي مقابل الهندسة / التطوير - R مقابل D في البحث والتطوير. مراجع [1] ك. فوكوشيما (1979). نموذج الشبكة العصبية لآلية التعرف على الأنماط التي لا تتأثر بالتحول في الموضع - Neocognitron. Trans. IECE, vol. J62-A, no. 10, pp. 658-665, 1979. [2] ك. فوكوشيما (1969). استخراج الميزات المرئية بواسطة شبكة متعددة الطبقات من عناصر العتبة التناظرية. معاملات IEEE في علوم النظم وعلم التحكم الآلي. 5 (4): 322-333. قدم هذا العمل وحدات خطية مصححة (ReLUs) ، تستخدم الآن في العديد من شبكات CNN. [3] س. لينينما (1970). رسالة ماجستير، جامعة هلسنكي، 1970. أول منشور عن الانتشار الخلفي "الحديث" ، المعروف أيضا باسم الوضع العكسي للتمايز التلقائي. (انظر نظرة عامة على الانتشار الخلفي الشهير لشميدهوبر: "من اخترع الانتشار العكسي؟") [4] أ. وايبل. التعرف على الصوت باستخدام الشبكات العصبية لتأخير الوقت. اجتماع IEICE، طوكيو، اليابان، 1987. الانتشار العكسي ل TDNN لتقاسم الوزن مع التلافيف أحادية الأبعاد. [5] دبليو تشانغ ، ج. تانيدا ، ك. إيتوه ، واي إيتشيوكا. الشبكة العصبية للتعرف على الأنماط الثابتة وبنيتها البصرية. المؤتمر السنوي للجمعية اليابانية للفيزياء التطبيقية ، 1988. أول CNN ثنائية الأبعاد مدربة على الانتشار العكسي ، مع تطبيقات للتعرف على الأحرف الإنجليزية. [6] واي ليكون ، ب. بوسر ، جي إس دينكر ، دي هندرسون ، آر إي هوارد ، دبليو هوبارد ، إل دي جاكل: الانتشار العكسي المطبق على التعرف على الرمز البريدي المكتوب بخط اليد ، الحساب العصبي ، 1 (4): 541-551 ، 1989. انظر أيضا القسم 3 من [10]. [7] ك. ياماغوتشي ، ك. ساكاموتو ، أ. كينجي ، ت. أكاباني ، واي فوجيموتو. شبكة عصبية للتعرف على الكلمات المعزولة المستقلة عن المتحدث. المؤتمر الدولي الأول لمعالجة اللغة المنطوقة (ICSLP 90)، كوبي، اليابان، تشرين الثاني/نوفمبر 1990. TDNN تلافيفي أحادي البعد باستخدام Max-Pooling بدلا من المتوسط المكاني لفوكوشيما [1]. [8] وينج ، ج. ، أهوجا ، ن. ، وهوانغ ، تي إس (1993). التعرف على التعلم وتجزئة الكائنات ثلاثية الأبعاد من الصور ثنائية الأبعاد. Proc. 4th Intl. Conf. Computer Vision, Berlin, pp. 121-128. شبكة CNN ثنائية الأبعاد تستخدم طبقات أخذ العينات الخاصة بها Max-Pooling (التي أصبحت شائعة جدا) بدلا من المتوسط المكاني لفوكوشيما [1]. [9] في عام 2011 ، حققت شبكة CNN السريعة والعميقة القائمة على وحدة معالجة الرسومات المسماة DanNet (7+ طبقات) أول أداء خارق في مسابقة رؤية الكمبيوتر. انظر نظرة عامة: "2011: DanNet تطلق ثورة عميقة في CNN." [10] كيف أعاد 3 من الفائزين بجائزة تورينج نشر الأساليب والأفكار الرئيسية التي فشلوا في الفضل في منشئيها. التقرير الفني IDSIA-23-23 ، مختبر الذكاء الاصطناعي السويسري IDSIA ، 14 ديسمبر 2023. شاهد أيضا فيديو YouTube لحفل توزيع جوائز باور 2021: يشيد J. Schmidhuber بكونيهيكو فوكوشيما.

تمت مشاهدة مقابلتي العامة مع Aprendemos Juntos 1 مليون مرة 🚀 (الرابط في الرد)

من اخترع الانتشار العكسي (BP)؟ تم نشر نسخته الحديثة (وتسمى أيضا الوضع العكسي للتمايز التلقائي) لأول مرة في عام 1970 من قبل طالب الماجستير الفنلندي سيبو لينينما. تم نشر مقدمة لشركة بريتيش بتروليوم بواسطة هنري جيه كيلي في عام 1960. تم وصف أول تطبيق خاص ب NN ل BP بواسطة Paul Werbos في عام 1982 (ولكن ليس بعد في أطروحته لعام 1974 ، كما يزعم أحيانا). يسأل البعض: "أليس الانتشار العكسي مجرد قاعدة سلسلة لايبنيز (1676)؟" لا ، إنها الطريقة الفعالة لتطبيق قاعدة السلسلة على الشبكات الكبيرة ذات العقد التفاضلية. (هناك أيضا العديد من الطرق غير الفعالة للقيام بذلك.) لم يتم نشره حتى عام 1970. راجع صفحة الويب الخاصة بنظرة عامة على النشر الخلفي بمزيد من التفاصيل: انظر أيضا "التاريخ المشروح لنظام الذكاء الاصطناعي الحديث والتعلم العميق" (2022):

الذكاء الاصطناعي الفيزيائي منذ 10 سنوات: يخترع روبوت الأطفال تجاربه الخاصة لتحسين نموذج عالمه العصبي كومبيلا ، ستولينجا ، لوسيو ، شميدهوبر. اكتساب المهارات المستمر المدفوع بالفضول من مدخلات الفيديو عالية الأبعاد للروبوتات البشرية. الذكاء الاصطناعي ، 2015

قبل عقد من الزمان: مهندس سريع للتعلم المعزز في القسم 5.3 من "تعلم التفكير ...» [2]. سلسلة الفكر التكيفية! تتعلم شبكة RL الاستعلام عن شبكة أخرى للتفكير المجرد واتخاذ القرار. تجاوز النموذج العالمي لعام 1990 للتخطيط بالمللي ثانية [1]. [2] ج. شميدهوبر (شبيبة ، 2015). «حول تعلم التفكير: نظرية المعلومات الخوارزمية لمجموعات جديدة من وحدات التحكم في RL ونماذج العالم العصبي المتكررة.» أرشيف 1210.0118 [1] شبيبة (1990). "جعل العالم قابلا للتمييز: حول استخدام الشبكات العصبية المتكررة بالكامل ذاتيا للإشراف من أجل التعلم المعزز الديناميكي والتخطيط في البيئات غير الثابتة." TR FKI-126-90 ، TUM. (قدم هذا التقرير أيضا فضولا مصطنعا ودافعا جوهريا من خلال شبكات الخصومة التوليدية.)

قبل 10 سنوات ، في مايو 2015 ، نشرنا أول شبكات عصبية قائمة على التدرج العميق جدا (FNNs) تعمل بمئات الطبقات (كان لدى FNNs السابقة بضع عشرات من الطبقات كحد أقصى). للتغلب على مشكلة التدرج المتلاشي ، استخدمت شبكات الطرق السريعة الخاصة بنا الاتصالات المتبقية التي تم تقديمها لأول مرة في عام 1991 بواسطة @HochreiterSepp لتحقيق تدفق خطأ مستمر في NNs المتكررة (RNNs) ، المسورة من خلال بوابات مضاعفة مشابهة لبوابات النسيان (Gers et al. ، 1999) من LSTM RNN العميق جدا. أصبحت NNs على الطرق السريعة ممكنة من خلال عمل طلاب الدكتوراه السابقين @rupspace وكلاوس جريف. إن ضبط بوابات الطريق السريع NN على 1.0 يمنحنا بشكل فعال ResNet الذي تم نشره بعد 7 أشهر. التعلم العميق هو كل شيء عن عمق NN. جلبت LSTMs عمقا غير محدود بشكل أساسي إلى NNs المتكررة. جلبتها شبكات الطرق السريعة إلى التغذية الأمامية NNs.

مقابلتي العامة مع "Aprendemos Juntos" (مدريد ، أغسطس 2024) كانت على YouTube لمدة 7 أشهر. مقابلتي العامة مع "Aprendemos Juntos" (مدريد ، أغسطس 2024) كانت على YouTube لمدة 7 أشهر.

1991: أول تقطير للشبكة العصبية [1-3]. أطلقت عليه اسم "الانهيار" في ذلك الوقت ، وليس "التقطير". مراجع [1] ج. شميدهوبر (1991). قطع التسلسل العصبي. التقرير الفني FKI-148-91 ، جامعة التكنولوجيا في ميونيخ. القسم 3.2.2. والجزء 4 يدور حول "انهيار" أو "تقطير" أو "ضغط" معرفة الشبكة العصبية في شبكة عصبية أخرى. [2] شبيبة (1992). تعلم التسلسلات المعقدة والممتدة باستخدام مبدأ ضغط التاريخ. الحساب العصبي ، 4 (2): 234-242 ، 1992. استنادا إلى [1]. [3] شبيبة (مدونة الذكاء الاصطناعي ، 2021 ، محدثة عام 2025). 1991: أول تعلم عميق للغاية مع تدريب مسبق غير خاضع للإشراف. أول تقطير للشبكة العصبية.

يتحدث الجميع عن التحسين الذاتي المتكرر وآلات Gödel الآن وكيف سيؤدي ذلك إلى AGI. يا له من تغيير منذ 15 عاما! كان لدينا AGI'2010 في لوغانو وترأسنا AGI'2011 في Google. كان العمود الفقري لمؤتمرات AGI هو الذكاء الاصطناعي العالمي الأمثل رياضيا: آلة Gödel لعام 2003 (و AIXI @mhutter42 - انظر كتابه لعام 2005 UAI وتحديثه الأخير لعام 2024 (أنا فخور بأن عمل ماركوس هوتر في AIXI تم تمويله من خلال منحة SNF السويسرية لعام 2000 عندما كان باحث ما بعد الدكتوراه في IDSIA.

AGI؟ يوم واحد ، لكن ليس بعد. الذكاء الاصطناعي الوحيد الذي يعمل بشكل جيد في الوقت الحالي هو الذي يقف خلف الشاشة [12-17]. لكن اجتياز اختبار تورينج [9] خلف الشاشة أمر سهل مقارنة ب الذكاء الاصطناعي الحقيقي للروبوتات الحقيقية في العالم الحقيقي. لا يمكن اعتماد أي روبوت حالي يعمل بنظام الذكاء الاصطناعي كسباك [13-17]. وبالتالي ، فإن اختبار تورينج ليس مقياسا جيدا للذكاء (ولا معدل الذكاء). و AGI بدون إتقان العالم المادي ليس AGI. لهذا السبب أنشأت TUM CogBotLab لتعلم الروبوتات في عام 2004 [5] ، وشاركت في تأسيس شركة لاستخدام الذكاء الاصطناعي في العالم المادي في عام 2014 [6] ، وكان لدي فرق في TUM و IDSIA والآن تعمل في جامعة الملك عبدالله للعلوم والتقنية من أجل الروبوتات الصغيرة [4،10-11،18]. هذه الروبوتات اللينة لا تقلد البشر بخنوع فقط ولا تعمل بمجرد تنزيل الويب مثل LLMs / VLMs. لا. بدلا من ذلك ، يستغلون مبادئ الفضول الاصطناعي لتحسين نماذج العالم العصبية الخاصة بهم (مصطلحان استخدمتهما في عام 1990 [1-4]). تعمل هذه الروبوتات مع الكثير من أجهزة الاستشعار ، ولكن فقط مع المحركات الضعيفة ، بحيث لا يمكنها إيذاء نفسها بسهولة [18] عندما تجمع بيانات مفيدة من خلال ابتكار وتشغيل تجاربهم التي اخترعوها بأنفسهم. من اللافت للنظر ، منذ سبعينيات القرن العشرين ، سخر الكثيرون من هدفي القديم المتمثل في بناء AGI ذاتي التحسين أكثر ذكاء مني ثم التقاعد. ومع ذلك ، في الآونة الأخيرة ، بدأ الكثيرون أخيرا في أخذ هذا الأمر على محمل الجد ، والآن أصبح بعضهم متفائلا للغاية فجأة. غالبا ما يكون هؤلاء الأشخاص غير مدركين للتحديات المتبقية التي يتعين علينا حلها لتحقيق الذكاء الاصطناعي الحقيقي. يلخص حديثي في TED لعام 2024 [15] بعضا من ذلك. المراجع (يسهل العثور عليها على الويب): [1] ج. شميدهوبر. جعل العالم قابلا للتمييز: حول استخدام الشبكات العصبية المتكررة بالكامل (NNs) للتعلم والتخطيط المعزز الديناميكي في البيئات غير الثابتة. TR FKI-126-90 ، TUM ، فبراير 1990 ، تمت مراجعته في نوفمبر 1990. قدمت هذه الورقة أيضا فضولا مصطنعا ودافعا جوهريا من خلال شبكات الخصومة التوليدية حيث يقاتل مولد NN متنبئا في لعبة minimax. [2] ج. س. إمكانية تنفيذ الفضول والملل في وحدات التحكم العصبية لبناء النماذج. في J.A. Meyer و S.W Wilson ، محرران ، Proc. للمؤتمر الدولي حول محاكاة السلوك التكيفي: من إلى الرسوم المتحركة، الصفحات 222-227. مطبعة معهد ماساتشوستس للتكنولوجيا / كتب برادفورد ، 1991. استنادا إلى [1]. [3] مدونة الذكاء الاصطناعي (2020). 1990: التخطيط والتعلم المعزز بنماذج عالمية متكررة وفضول اصطناعي. تلخيص جوانب [1] [2] والكثير من الأوراق اللاحقة بما في ذلك [7] [8]. [4] مدونة الذكاء الاصطناعي (2021): الفضول والإبداع الاصطناعي منذ عام 1990. تلخيص جوانب [1] [2] والكثير من الأوراق اللاحقة بما في ذلك [7] [8]. [5] J.S. TU Munich CogBotLab لتعلم الروبوتات (2004-2009) [6] NNAISENSE ، التي تأسست في عام 2014 ، من أجل الذكاء الاصطناعي في العالم المادي [7] ج. (2015). حول تعلم التفكير: نظرية المعلومات الخوارزمية لمجموعات جديدة من وحدات التحكم في التعلم المعزز (RL) ونماذج العالم العصبي المتكررة. arXiv 1210.0118. يصف القسم 5.3 مهندس سريع RL الذي يتعلم الاستعلام عن نموذجه للتفكير المجرد والتخطيط واتخاذ القرار. اليوم يسمى هذا "سلسلة الفكر". [8] ج. (2018). شبكة واحدة كبيرة لكل شيء. arXiv 1802.08864. انظر أيضا US11853886B2 براءات الاختراع وتغريدة DeepSeek الخاصة بي: يستخدم DeepSeek عناصر من مهندس موجه التعلم المعزز لعام 2015 [7] وتحسينه لعام 2018 [8] الذي ينهار آلة RL والنموذج العالمي ل [7] في شبكة واحدة. يستخدم هذا إجراء التقطير الشبكي العصبي الخاص بي لعام 1991: سلسلة من نظام التفكير المقطر. [9] ج. تورينج ذروة البيع. ومع ذلك ، فهذا ليس خطأ تورينج. مدونة الذكاء الاصطناعي (2021 ، كانت # 1 على Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (سوف تكون الروبوتات الذكية مفتونة بالحياة.) ف.أ.ز., 2015 [11] ج. في الجدران المتساقطة: ماضي وحاضر ومستقبل الذكاء الاصطناعي. Scientific American ، ملاحظات ، 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (الذكاء الاصطناعي فرصة كبيرة لألمانيا). ف.أ.ز.، 2018 [13] إتش جونز. يقول ج. س. إن عمل حياته لن يؤدي إلى ديستوبيا. مجلة فوربس ، 2023. [14] مقابلة مع ج. جازيير ، شنغهاي ، 2024. [15] ج. محاضرة تيد في TED الذكاء الاصطناعي فيينا (2024): لماذا سيكون عام 2042 عاما كبيرا بالنسبة لمنظمة الذكاء الاصطناعي. انظر مقطع الفيديو المرفق. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (قم ببناء روبوت متعدد الأغراض يتم التحكم فيه بواسطة الذكاء الاصطناعي!) ف.أ.ز., 2024 [17] ج. 1995-2025: تراجع ألمانيا واليابان مقابل الولايات المتحدة والصين. هل يمكن للروبوتات متعددة الأغراض أن تغذي العودة؟ مدونة الذكاء الاصطناعي ، يناير 2025 ، بناء على [16]. [18] إم الحكمي ، دي آر آشلي ، جيه دنهام ، واي داي ، إف فاتشيو ، إي فيرون ، جيه شميدهوبر. نحو روبوت أطفال قوي للغاية مع قدرة تفاعل غنية لخوارزميات التعلم الآلي المتقدمة. ما قبل الطباعة arxiv 2404.08093 ، 2024.