Vem uppfann konvolutionella neurala nätverk (CNN)? 1969: Fukushima hade CNN-relevanta ReLU:er [2]. 1979: Fukushima hade den grundläggande CNN-arkitekturen med faltningslager och nedsamplingslager [1]. Beräkning var 100 gånger dyrare än 1989 och en miljard gånger dyrare än idag. 1987: Waibel tillämpade Linnainmaas backpropagation från 1970 [3] på viktdelande TDNN:er med 1-dimensionella faltningar [4]. 1988: Wei Zhang et al. tillämpade "moderna" backprop-tränade 2-dimensionella CNN:er för teckenigenkänning [5]. Allt ovanstående publicerades i Japan 1979-1988. 1989: LeCun et al. tillämpade CNN igen på teckenigenkänning (postnummer) [6,10]. 1990-93: Fukushimas nedsampling baserad på spatial averaging [1] ersattes av max-pooling för 1-D TDNNs (Yamaguchi et al.) [7] och 2D-CNN (Weng et al.) [8]. 2011: Långt senare gjorde mitt team med Dan Ciresan max-pooling av CNN:er riktigt snabbt på NVIDIA GPU:er. År 2011 uppnådde DanNet det första resultatet av igenkänning av övermänskliga mönster [9]. Under en tid hade det monopol: från maj 2011 till september 2012 vann DanNet varje bildigenkänningsutmaning som de deltog i, 4 av dem i rad. Visserligen handlade det mest om att konstruera och skala upp de grundläggande insikterna från det förra millenniet och dra nytta av mycket snabbare hårdvara. Vissa "AI-experter" hävdar att det var lika viktigt att "få CNN att fungera" (t.ex. [5,6,9]) som att uppfinna dem. Men att "få dem att fungera" berodde till stor del på om ditt labb var tillräckligt rikt för att köpa de senaste datorerna som krävdes för att skala upp det ursprungliga arbetet. Det är samma som idag. Grundforskning kontra teknik/utveckling - Forskning vs D inom FoU. REFERENSER [1] K. Fukushima (1979). Neural nätverksmodell för en mekanism för mönsterigenkänning som inte påverkas av positionsförskjutning - Neocognitron. IECE, vol. J62-A, nr 10, s. 658-665, 1979. [2] K. Fukushima (1969). Extrahering av visuella egenskaper av ett flerskiktat nätverk av analoga tröskelelement. IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322-333. Detta arbete introducerade likriktade linjära enheter (ReLUs), som nu används i många CNNs. [3] S. Linnainmaa (1970). Magisteravhandling, Helsingfors universitet, 1970. Den första publikationen om "modern" backpropagation, även känd som det omvända läget för automatisk differentiering. (Se Schmidhubers välkända översikt över backpropagation: "Who Invented Backpropagation?") [4] A. Waibel. Fonemigenkänning med hjälp av neurala nätverk med tidsfördröjning. Möte i IEICE, Tokyo, Japan, 1987. Backpropagation för en viktdelande TDNN med 1-dimensionella faltningar. [5] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Skift-invariant mönsterigenkänning neuralt nätverk och dess optiska arkitektur. Proc. Årlig konferens för Japan Society of Applied Physics, 1988. Första backpropagation-tränade 2-dimensionella CNN, med tillämpningar på engelsk teckenigenkänning. [6] Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel: Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1(4):541-551, 1989. Se även § 3 i [10]. [7] K. Yamaguchi, K. Sakamoto, A. Kenji, T. Akabane, Y. Fujimoto. Ett neuralt nätverk för talaroberoende isolerad ordigenkänning. Första internationella konferensen om talspråksbehandling (ICSLP 90), Kobe, Japan, november 1990. En 1-dimensionell faltnings-TDNN som använder Max-Pooling istället för Fukushimas Spatial Averaging [1]. [8] Weng, J., Ahuja, N. och Huang, T. S. (1993). Inlärning av igenkänning och segmentering av 3D-objekt från 2D-bilder. Proc. 4th Intl. Conf. Computer Vision, Berlin, s. 121-128. En 2-dimensionell CNN vars nedsamplingslager använder Max-Pooling (som har blivit mycket populärt) istället för Fukushimas Spatial Averaging [1]. [9] År 2011 uppnådde den snabba och djupa GPU-baserade CNN-enheten DanNet (7+ lager) den första övermänskliga prestandan i en tävling i datorseende. Se översikt: "2011: DanNet utlöser en djupgående CNN-revolution." [10] Hur 3 Turingpristagare återpublicerade viktiga metoder och idéer vars skapare de misslyckades med att kreditera. Teknisk rapport IDSIA-23-23, Swiss AI Lab IDSIA, 14 dec 2023. Se även YouTube-videon för Bower Award Ceremony 2021: J. Schmidhuber hyllar Kunihiko Fukushima.

Min offentliga intervju med Aprendemos Juntos har setts 1 miljon gånger 🚀 (länk i svaret)

Vem uppfann backpropagation (BP)? Dess moderna version (även kallad den omvända metoden för automatisk differentiering) publicerades första gången 1970 av den finska masterstudenten Seppo Linnainmaa. En föregångare till BP publicerades av Henry J. Kelley 1960. Den första NN-specifika tillämpningen av BP beskrevs av Paul Werbos 1982 (men ännu inte i hans avhandling från 1974, som det ibland hävdas). En del frågar: "Är inte backpropagation bara Leibniz (1676) kedjeregel?" Nej, det är det effektiva sättet att tillämpa kedjeregeln på stora nätverk med differentierbara noder. (Det finns också många ineffektiva sätt att göra detta på.) Den publicerades inte förrän 1970. Mer information finns på webbsidan för backpropagation: Se även "Annotated History of Modern AI and Deep Learning" (2022):

Fysisk AI för 10 år sedan: babyrobot uppfinner sina egna experiment för att förbättra sin neurala världsmodell Kompella, Stollenga, Luciw, Schmidhuber. Kontinuerlig nyfikenhetsdriven färdighetsinlärning från högdimensionella videoingångar för humanoida robotar. Artificiell intelligens, 2015

1 decennium sedan: Reinforcement Learning Prompt Engineer i avsnitt 5.3 av «Att lära sig att tänka ...» [2]. Adaptiv tankekedja! Ett RL-nät lär sig att fråga ett annat nät för abstrakt resonemang och beslutsfattande. Att gå bortom 1990 års världsmodell för millisekund-för-millisekund-planering [1]. [2] J. Schmidhuber (JS, 2015). «Om att lära sig att tänka: Algoritmisk informationsteori för nya kombinationer av RL-kontroller och återkommande neurala världsmodeller.» ArXiv 1210.0118 [1] JS (1990). "Att göra världen differentierbar: Om att använda helt återkommande självövervakade neurala nätverk för dynamisk förstärkningsinlärning och planering i icke-stationära miljöer.» TR FKI-126-90, TUM. (Denna rapport introducerade också artificiell nyfikenhet och inneboende motivation genom generativa kontradiktoriska nätverk.)

För 10 år sedan, i maj 2015, publicerade vi de första fungerande mycket djupa gradientbaserade feedforward-neurala nätverken (FNN) med hundratals lager (tidigare FNN:er hade maximalt några dussin lager). För att övervinna problemet med försvinnande gradient använde våra motorvägsnät de kvarvarande anslutningarna som först introducerades 1991 av @HochreiterSepp för att uppnå konstant felflöde i återkommande NN (RNN), styrda genom multiplikativa grindar som liknar glömsportarna (Gers et al., 1999) i vår mycket djupa LSTM RNN. Highway NNs möjliggjordes genom arbetet av mina tidigare doktorander @rupspace och Klaus Greff. Genom att ställa in Highway NN-grindarna på 1.0 får vi effektivt det ResNet som publicerades 7 månader senare. Djupinlärning handlar om NN-djup. LSTM gav i princip obegränsat djup till återkommande NN; Highway Nets förde den till feedforward NNs.

Min offentliga intervju för "Aprendemos Juntos" (Madrid, augusti 2024) har funnits på YouTube i 7 månader. Min offentliga intervju för "Aprendemos Juntos" (Madrid, augusti 2024) har funnits på YouTube i 7 månader.

1991: Första destillationen av neurala nätverk [1-3]. Jag kallade det att "kollapsa" på den tiden, inte "destillering". Referenser [1] J. Schmidhuber (1991). Delar av neurala sekvenser. Tech Report FKI-148-91, Tech Univ. München. Avsnitt 3.2.2. & § 4 handlar om att "kollapsa" eller "destillera" eller "komprimera" kunskapen om ett neuralt nätverk till ett annat neuralt nätverk. [2] JS (1992). Inlärning av komplexa, utökade sekvenser med hjälp av principen om historiekomprimering. Neural Beräkning, 4(2):234-242, 1992. Baserat på [1]. [3] JS (AI-bloggen, 2021, uppdaterad 2025). 1991: Första mycket djupa inlärningen med oövervakad förträning. Första destillationen av neurala nätverk.

Alla pratar om rekursiv självförbättring och Gödel Machines nu och hur detta kommer att leda till AGI. Vilken förändring jämfört med för 15 år sedan! Vi hade AGI'2010 i Lugano och var ordförande för AGI'2011 på Google. Ryggraden i AGI-konferenserna var matematiskt optimal Universal AI: the 2003 Gödel Machine (och @mhutter42:s AIXI - se hans UAI-bok från 2005 och dess senaste uppdatering 2024 ( Jag är stolt över att Marcus Hutters AIXI-arbete finansierades av mitt schweiziska SNF-anslag från 2000 när han var postdoktor vid IDSIA.

AGI? En dag, men inte än. Den enda AI som fungerar bra just nu är den bakom skärmen [12-17]. Men att klara Turingtestet [9] bakom en skärm är lätt jämfört med riktig AI för riktiga robotar i den verkliga världen. Ingen nuvarande AI-driven robot kan certifieras som rörmokare [13-17]. Därför är Turingtestet inte ett bra mått på intelligens (och det är inte IQ heller). Och AGI utan att behärska den fysiska världen är ingen AGI. Det var därför jag skapade TUM CogBotLab för lärande robotar 2004 [5], var med och grundade ett företag för AI i den fysiska världen 2014 [6] och hade team på TUM, IDSIA och nu KAUST som arbetade mot babyrobotar [4,10-11,18]. Sådana mjuka robotar imiterar inte bara slaviskt människor och de fungerar inte genom att bara ladda ner webben som LLM:er/VLM:er. Nej. Istället utnyttjar de principerna för artificiell nyfikenhet för att förbättra sina neurala världsmodeller (två termer som jag använde redan 1990 [1-4]). Dessa robotar arbetar med många sensorer, men bara svaga aktuatorer, så att de inte lätt kan skada sig själva [18] när de samlar in användbara data genom att utforma och köra sina egna självuppfunna experiment. Anmärkningsvärt nog har många sedan 1970-talet gjort narr av mitt gamla mål att bygga en självförbättrande AGI som är smartare än mig själv och sedan gå i pension. På senare tid har dock många äntligen börjat ta detta på allvar, och nu är några av dem plötsligt FÖR optimistiska. Dessa människor är ofta lyckligt omedvetna om de återstående utmaningar vi måste lösa för att uppnå Real AI. Mitt TED-talk från 2024 [15] sammanfattar en del av detta. REFERENSER (lätt att hitta på webben): [1] J. Schmidhuber. Att göra världen differentierbar: Om att använda helt återkommande självövervakade neurala nätverk (NN) för dynamisk förstärkningsinlärning och planering i icke-stationära miljöer. TR FKI-126-90, TUM, februari 1990, reviderad nov 1990. Denna uppsats introducerade också artificiell nyfikenhet och inneboende motivation genom generativa kontradiktornätverk där en generator-NN slåss mot en prediktor NN i ett minimax-spel. [2] J. S. En möjlighet att implementera nyfikenhet och tristess i modellbyggande neurala kontroller. I J. A. Meyer och S. W. Wilson, redaktörer, Proc. of the International Conference on Simulation of Adaptive Behavior: From Animals to Animats, sidorna 222-227. MIT Press/Bradford Books, 1991. Baserat på [1]. [3] J.S. AI-bloggen (2020). 1990: Planering och Reinforcement Learning med återkommande världsmodeller och artificiell nyfikenhet. Sammanfattar aspekter av [1][2] och många senare artiklar, inklusive [7][8]. [4] J.S. AI Blog (2021): Artificiell nyfikenhet och kreativitet sedan 1990. Sammanfattar aspekter av [1][2] och många senare artiklar, inklusive [7][8]. [5] J.S. TU München CogBotLab för lärande robotar (2004-2009) [6] NNAISENSE, grundat 2014, för AI i den fysiska världen [7] J.S. (2015). Om att lära sig att tänka: Algoritmisk informationsteori för nya kombinationer av Reinforcement Learning (RL) Controllers och återkommande neurala världsmodeller. arXiv 1210.0118. Avsnitt 5.3 beskriver en RL-promptingenjör som lär sig att fråga sin modell för abstrakt resonemang och planering och beslutsfattande. I dag kallas detta för "tankekedja". [8] J.S. (2018). Ett stort nät för allt. arXiv 1802.08864. Se även patent-US11853886B2 och min DeepSeek-tweet: DeepSeek använder delar av 2015 reinforcement learning prompt engineer [7] och dess förfining från 2018 [8] som kollapsar RL-maskinen och världsmodellen av [7] till ett enda nät. Detta använder min neurala nätdestillationsprocedur från 1991: ett destillerat tankekedja. [9] J.S. Turing översåld. Det är dock inte Turings fel. AI Blog (2021, var #1 på Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (Intelligenta robotar kommer att fascineras av livet.) F.A.Z., 2015 [11] J.S. på Falling Walls: The Past, Present and Future of Artificial Intelligence. Scientific American, Observationer, 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (AI är en enorm chans för Tyskland.) F.A.Z., 2018 [13] H. Jones. J.S. säger att hans livsverk inte kommer att leda till dystopi. Forbes Magazine, 2023. [14] Intervju med J.S. Jazzyear, Shanghai, 2024. [15] J.S. TED-talk på TED AI Wien (2024): Varför 2042 kommer att bli ett stort år för AI. Se bifogat videoklipp. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (Bygg den AI-styrda roboten för alla ändamål!) F.A.Z., 2024 [17] J.S. 1995-2025: Nedgången för Tyskland och Japan jämfört med USA och Kina. Kan robotar för alla ändamål ge bränsle till en comeback? AI-blogg, januari 2025, baserat på [16]. [18] M. Alhakami, D. R. Ashley, J. Dunham, Y. Dai, F. Faccio, E. Feron, J. Schmidhuber. Mot en extremt robust babyrobot med rik interaktionsförmåga för avancerade maskininlärningsalgoritmer. Preprint arxiv 2404.08093, 2024.