Hvem oppfant konvolusjonelle nevrale nettverk (CNN)? 1969: Fukushima hadde CNN-relevante ReLU-er [2]. 1979: Fukushima hadde den grunnleggende CNN-arkitekturen med konvolusjonslag og nedsamplingslag [1]. Databehandling var 100 ganger dyrere enn i 1989, og en milliard ganger dyrere enn i dag. 1987: Waibel brukte Linnainmaas 1970 backpropagation [3] på vektdelings-TDNN-er med 1-dimensjonale konvolusjoner [4]. 1988: Wei Zhang et al. brukte "moderne" backprop-trente 2-dimensjonale CNN-er til tegngjenkjenning [5]. Alt det ovennevnte ble publisert i Japan 1979-1988. 1989: LeCun et al. brukte CNN-er igjen på tegngjenkjenning (postnumre) [6,10]. 1990-93: Fukushimas nedsampling basert på romlig gjennomsnittsberegning [1] ble erstattet av max-pooling for 1-D TDNN-er (Yamaguchi et al.) [7] og 2-D CNN-er (Weng et al.) [8]. 2011: Mye senere gjorde teamet mitt med Dan Ciresan maks-sammenslåing av CNN-er veldig raskt på NVIDIA GPU-er. I 2011 oppnådde DanNet det første overmenneskelige mønstergjenkjenningsresultatet [9]. En stund nøt det monopol: fra mai 2011 til september 2012 vant DanNet hver bildegjenkjenningsutfordring de deltok i, 4 av dem på rad. Riktignok handlet dette imidlertid mest om å konstruere og skalere opp den grunnleggende innsikten fra forrige årtusen, og tjene på mye raskere maskinvare. Noen «AI-eksperter» hevder at «å få CNN-er til å fungere» (f.eks. [5,6,9]) var like viktig som å finne dem opp. Men å "få dem til å fungere" var i stor grad avhengig av om laboratoriet ditt var rikt nok til å kjøpe de nyeste datamaskinene som kreves for å skalere opp det originale arbeidet. Det er det samme som i dag. Grunnforskning vs ingeniørarbeid/utvikling - Fo vs D i FoU. REFERANSER [1] K. Fukushima (1979). Nevral nettverksmodell for en mekanisme for mønstergjenkjenning upåvirket av endring i posisjon - Neocognitron. Overs. IECE, vol. J62-A, nr. 10, s. 658-665, 1979. [2] K. Fukushima (1969). Ekstraksjon av visuelle funksjoner av et flerlags nettverk av analoge terskelelementer. IEEE-transaksjoner om systemvitenskap og kybernetikk. 5 (4): 322-333. Dette arbeidet introduserte rektifiserte lineære enheter (ReLUs), som nå brukes i mange CNN-er. [3] S. Linnainmaa (1970). Masteroppgave, Universitetet i Helsingfors, 1970. Den første publikasjonen om "moderne" tilbakeformering, også kjent som omvendt modus for automatisk differensiering. (Se Schmidhubers velkjente oversikt over backpropagation: «Who Invented Backpropagation?») [4] A. Waibel. Fonemgjenkjenning ved hjelp av nevrale nettverk med tidsforsinkelse. Møte i IEICE, Tokyo, Japan, 1987. Backpropagation for en vektdelings-TDNN med 1-dimensjonale viklinger. [5] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Shift-invariant mønstergjenkjenning nevrale nettverk og dets optiske arkitektur. Proc. Årlig konferanse for Japan Society of Applied Physics, 1988. Første backpropagation-trente 2-dimensjonale CNN, med applikasjoner til engelsk tegngjenkjenning. [6] Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel: Backpropagation applied to Handwritten Zip Number Recognition, Neural Computation, 1(4):541-551, 1989. Se også avsnitt 3 av [10]. [7] K. Yamaguchi, K. Sakamoto, A. Kenji, T. Akabane, Y. Fujimoto. Et nevralt nettverk for høyttaleruavhengig isolert ordgjenkjenning. Første internasjonale konferanse om talespråksbehandling (ICSLP 90), Kobe, Japan, nov 1990. En 1-dimensjonal konvolusjonell TDNN som bruker Max-Pooling i stedet for Fukushimas Spatial Averaging [1]. [8] Weng, J., Ahuja, N. og Huang, T. S. (1993). Læring av gjenkjenning og segmentering av 3D-objekter fra 2D-bilder. Proc. 4th Intl. Conf. Computer Vision, Berlin, s. 121-128. En 2-dimensjonal CNN hvis nedsamplingslag bruker Max-Pooling (som har blitt veldig populært) i stedet for Fukushimas Spatial Averaging [1]. [9] I 2011 oppnådde det raske og dype GPU-baserte CNN kalt DanNet (7+ lag) den første overmenneskelige ytelsen i en datasynskonkurranse. Se oversikt: "2011: DanNet utløser dyp CNN-revolusjon." [10] Hvordan 3 Turing-prisvinnere publiserte nøkkelmetoder og ideer hvis skapere de ikke klarte å kreditere. Teknisk rapport IDSIA-23-23, Swiss AI Lab IDSIA, 14 des 2023. Se også YouTube-videoen for Bower-prisutdelingen 2021: J. Schmidhuber hyller Kunihiko Fukushima.

Mitt offentlige intervju med Aprendemos Juntos har blitt sett 1 million ganger 🚀 (lenke i svar)

Hvem oppfant backpropagation (BP)? Den moderne versjonen (også kalt omvendt modus for automatisk differensiering) ble først utgitt i 1970 av den finske masterstudenten Seppo Linnainmaa. En forløper til BP ble utgitt av Henry J. Kelley i 1960. Den første NN-spesifikke anvendelsen av BP ble beskrevet av Paul Werbos i 1982 (men ennå ikke i hans avhandling fra 1974, som det noen ganger hevdes). Noen spør: «Er ikke tilbakeforplantning bare kjederegelen til Leibniz (1676)?» Nei, det er den effektive måten å bruke kjederegelen på store nettverk med differensiable noder. (Det er også mange ineffektive måter å gjøre dette på.) Den ble ikke utgitt før i 1970. Se nettsiden for oversikt over backpropagation med flere detaljer: Se også «Annotert historie om moderne AI og dyp læring» (2022):

Fysisk AI for 10 år siden: babyrobot finner opp sine egne eksperimenter for å forbedre sin nevrale verdensmodell Kompella, Stollenga, Luciw, Schmidhuber. Kontinuerlig nysgjerrighetsdrevet ferdighetstilegnelse fra høydimensjonale videoinnganger for humanoide roboter. Kunstig intelligens, 2015

1 tiår siden: Reinforcement Learning Prompt Engineer i avsnitt 5.3 av «Lære å tenke ...» [2]. Adaptiv tankekjede! Et RL-nett lærer å spørre et annet nett for abstrakt resonnement og beslutningstaking. Går utover verdensmodellen fra 1990 for planlegging av millisekund for millisekund [1]. [2] J. Schmidhuber (JS, 2015). «Om å lære å tenke: Algoritmisk informasjonsteori for nye kombinasjoner av RL-kontrollere og tilbakevendende nevrale verdensmodeller.» ArXiv 1210.0118 [1] JS (1990). "Å gjøre verden differensierbar: Om å bruke fullt tilbakevendende selvovervåkede nevrale nettverk for dynamisk forsterkende læring og planlegging i ikke-stasjonære miljøer.» TR FKI-126-90, TUM. (Denne rapporten introduserte også kunstig nysgjerrighet og indre motivasjon gjennom generative kontradiktoriske nettverk.)

For 10 år siden, i mai 2015, publiserte vi de første fungerende veldig dype gradientbaserte nevrale nettverkene (FNN) med hundrevis av lag (tidligere FNN-er hadde maksimalt noen få dusin lag). For å overvinne problemet med forsvinningsgradienten brukte våre motorveinettverk de gjenværende forbindelsene som først ble introdusert i 1991 av @HochreiterSepp for å oppnå konstant feilflyt i tilbakevendende NN-er (RNN-er), inngjerdet gjennom multiplikative porter som ligner på glemteportene (Gers et al., 1999) til vår veldig dype LSTM RNN. Highway NNs ble muliggjort gjennom arbeidet til mine tidligere doktorgradsstudenter @rupspace og Klaus Greff. Å sette Highway NN-portene til 1.0 gir oss effektivt ResNet publisert 7 måneder senere. Dyp læring handler om NN-dybde. LSTM-er brakte i hovedsak ubegrenset dybde til tilbakevendende NN-er; Highway Nets brakte det til feedforward NNs.

Mitt offentlige intervju for «Aprendemos Juntos» (Madrid, august 2024) har vært på YouTube i 7 måneder. Mitt offentlige intervju for «Aprendemos Juntos» (Madrid, august 2024) har vært på YouTube i 7 måneder.

1991: Første nevrale nettverksdestillasjon [1-3]. Jeg kalte det «kollapsende» den gang, ikke «destillasjon». Referanser [1] J. Schmidhuber (1991). Nevrale sekvensdeler. Teknisk rapport FKI-148-91, Tech Univ. München. Seksjon 3.2.2. & Seksjon 4 handler om å "kollapse" eller "destillere" eller "komprimere" kunnskapen om et nevralt nettverk til et annet nevralt nettverk. [2] JS (1992). Lære komplekse, utvidede sekvenser ved hjelp av prinsippet om historiekomprimering. Nevral beregning, 4(2):234-242, 1992. Basert på [1]. [3] JS (AI-blogg, 2021, oppdatert 2025). 1991: Første veldig dyp læring med uveiledet fortrening. Første nevrale nettverksdestillasjon.

Alle snakker om rekursiv selvforbedring og Gödel Machines nå og hvordan dette vil føre til AGI. For en forandring fra 15 år siden! Vi hadde AGI'2010 i Lugano og ledet AGI'2011 hos Google. Ryggraden i AGI-konferansene var matematisk optimal Universal AI: 2003 Gödel Machine (og @mhutter42 AIXI - se hans UAI-bok fra 2005 og dens nylige 2024-oppdatering (Jeg er stolt over at Marcus Hutters AIXI-arbeid ble finansiert av mitt sveitsiske SNF-stipend i 2000 da han var postdoktor ved IDSIA.

AGI? En dag, men ikke ennå. Den eneste AI som fungerer bra akkurat nå er den bak skjermen [12-17]. Men å bestå Turing-testen [9] bak en skjerm er enkelt sammenlignet med ekte AI for ekte roboter i den virkelige verden. Ingen nåværende AI-drevet robot kunne sertifiseres som rørlegger [13-17]. Derfor er ikke Turing-testen et godt mål på intelligens (og det er heller ikke IQ). Og AGI uten mestring av den fysiske verden er ingen AGI. Det er derfor jeg opprettet TUM CogBotLab for lærende roboter i 2004 [5], var med på å grunnlegge et selskap for AI i den fysiske verden i 2014 [6], og fikk team ved TUM, IDSIA og nå KAUST til å jobbe mot babyroboter [4,10-11,18]. Slike myke roboter imiterer ikke bare slavisk mennesker, og de fungerer ikke ved å bare laste ned nettet som LLM-er/VLM-er. I stedet utnytter de prinsippene for kunstig nysgjerrighet for å forbedre sine nevrale verdensmodeller (to begreper jeg brukte tilbake i 1990 [1-4]). Disse robotene jobber med mange sensorer, men bare svake aktuatorer, slik at de ikke lett kan skade seg selv [18] når de samler inn nyttige data ved å utarbeide og kjøre sine egne selvoppfunnede eksperimenter. Bemerkelsesverdig nok har mange siden 1970-tallet gjort narr av mitt gamle mål om å bygge en selvforbedrende AGI smartere enn meg selv og deretter pensjonere seg. I det siste har imidlertid mange endelig begynt å ta dette på alvor, og nå er noen av dem plutselig FOR optimistiske. Disse menneskene er ofte lykkelig uvitende om de gjenværende utfordringene vi må løse for å oppnå ekte AI. Min TED-talk fra 2024 [15] oppsummerer noe av det. REFERANSER (lett å finne på nettet): [1] J. Schmidhuber. Gjør verden differensierbar: Om bruk av fullt tilbakevendende selvovervåkede nevrale nettverk (NN) for dynamisk forsterkende læring og planlegging i ikke-stasjonære miljøer. TR FKI-126-90, TUM, februar 1990, revidert november 1990. Denne artikkelen introduserte også kunstig nysgjerrighet og iboende motivasjon gjennom generative kontradiktoriske nettverk der en generator NN kjemper mot en prediktor NN i et minimax-spill. [2] J. S. En mulighet for å implementere nysgjerrighet og kjedsomhet i modellbyggende nevrale kontrollere. I J. A. Meyer og SW Wilson, redaktører, Proc. av den internasjonale konferansen om simulering av adaptiv atferd: Fra dyr til animater, side 222-227. MIT Press/Bradford Books, 1991. Basert på [1]. [3] JS AI-blogg (2020). 1990: Planlegging og forsterkende læring med tilbakevendende verdensmodeller og kunstig nysgjerrighet. Oppsummering av aspekter ved [1][2] og mange senere artikler, inkludert [7][8]. [4] JS AI-blogg (2021): Kunstig nysgjerrighet og kreativitet siden 1990. Oppsummering av aspekter ved [1][2] og mange senere artikler, inkludert [7][8]. [5] J.S. TU Munich CogBotLab for lærende roboter (2004-2009) [6] NNAISENSE, grunnlagt i 2014, for AI i den fysiske verden [7] J.S. (2015). Om å lære å tenke: Algoritmisk informasjonsteori for nye kombinasjoner av forsterkende læring (RL)-kontrollere og tilbakevendende nevrale verdensmodeller. arXiv 1210.0118. Seksjon 5.3 beskriver en RL-promptingeniør som lærer å spørre modellen sin for abstrakt resonnement og planlegging og beslutningstaking. I dag kalles dette «tankekjede». [8] J.S. (2018). Ett stort nett for alt. arXiv 1802.08864. Se også patent US11853886B2 og min DeepSeek-tweet: DeepSeek bruker elementer fra 2015 reinforcement learning prompt engineer [7] og dens 2018-foredling [8] som kollapser RL-maskinen og verdensmodellen av [7] til ett enkelt nett. Dette bruker min nevrale nettdestillasjonsprosedyre fra 1991: en destillert kjede av tankesystem. [9] J.S. Turing oversolgte. Det er imidlertid ikke Turings feil. AI-blogg (2021, var #1 på Hacker News) [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein. (Intelligente roboter vil bli fascinert av livet.) F.A.Z., 2015 [11] J.S. på Falling Walls: The Past, Present and Future of Artificial Intelligence. Scientific American, observasjoner, 2017. [12] J.S. KI ist eine Riesenchance für Deutschland. (AI er en stor sjanse for Tyskland.) F.A.Z., 2018 [13] H. Jones. JS sier at livsverket hans ikke vil føre til dystopi. Forbes Magazine, 2023. [14] Intervju med J.S. Jazzyear, Shanghai, 2024. [15] JS TED-foredrag på TED AI Wien (2024): Hvorfor 2042 vil bli et stort år for AI. Se vedlagte videoklipp. [16] J.S. Baut den KI-gesteuerten Allzweckroboter! (Bygg den AI-styrte universalroboten!) F.A.Z., 2024 [17] J.S. 1995-2025: Nedgangen til Tyskland og Japan vs USA og Kina. Kan allsidige roboter gi næring til et comeback? AI-blogg, januar 2025, basert på [16]. [18] M. Alhakami, D. R. Ashley, J. Dunham, Y. Dai, F. Faccio, E. Feron, J. Schmidhuber. Mot en ekstremt robust babyrobot med rik interaksjonsevne for avanserte maskinlæringsalgoritmer. Preprint arxiv 2404.08093, 2024.