谁发明了卷积神经网络（CNN）？ 1969年：福岛提出了与CNN相关的ReLU。 1979年：福岛提出了基本的CNN架构，包括卷积层和下采样层。计算成本比1989年高出100倍，比今天高出10亿倍。 1987年：怀贝尔将林奈恩玛1970年的反向传播应用于具有一维卷积的权重共享TDNN。 1988年：张伟等人将“现代”反向传播训练的二维CNN应用于字符识别。 以上所有内容均在1979年至1988年间在日本发表。 1989年：LeCun等人再次将CNN应用于字符识别（邮政编码）。 1990-93年：福岛基于空间平均的下采样被最大池化替代，适用于一维TDNN（山口等人）和二维CNN（翁等人）。 2011年：更晚些时候，我的团队与丹·西雷森一起使最大池化CNN在NVIDIA GPU上变得非常快速。在2011年，DanNet实现了第一个超人类模式识别结果。曾经一度，它享有垄断地位：从2011年5月到2012年9月，DanNet赢得了它参加的每一个图像识别挑战，连续四次。诚然，这主要是关于工程和扩大前千年的基本见解，利用更快的硬件获利。 一些“人工智能专家”声称“让CNN工作”（例如，参考文献[5,6,9]）与发明它们同样重要。但“让它们工作”在很大程度上取决于你的实验室是否足够富有，能够购买最新的计算机以扩大原始工作。这与今天是一样的。基础研究与工程/开发 - R&D中的R与D。 参考文献 [1] K. Fukushima (1979). 不受位置偏移影响的模式识别机制的神经网络模型 - Neocognitron. IECE转会, 第62卷A, 第10期, 第658-665页, 1979年。 [2] K. Fukushima (1969). 通过多层网络的模拟阈值元件进行视觉特征提取. IEEE系统科学与控制论学报. 5 (4): 322-333. 这项工作引入了修正线性单元（ReLU），现在在许多CNN中使用。 [3] S. Linnainmaa (1970). 硕士论文，赫尔辛基大学，1970年。关于“现代”反向传播的第一篇出版物，也称为自动微分的反向模式。（参见施密德胡伯的著名反向传播概述：“谁发明了反向传播？”） [4] A. Waibel. 使用时间延迟神经网络的音素识别. IEICE会议，东京，日本，1987年。针对具有一维卷积的权重共享TDNN的反向传播。 [5] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. 移位不变模式识别神经网络及其光学架构. 日本应用物理学会年会论文集，1988年。第一篇反向传播训练的二维CNN，应用于英语字符识别。 [6] Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel: 反向传播应用于手写邮政编码识别, 神经计算, 1(4):541-551, 1989年。另见[10]的第3节。 [7] K. Yamaguchi, K. Sakamoto, A. Kenji, T. Akabane, Y. Fujimoto. 一种用于说话者独立的孤立词识别的神经网络. 第一届国际语言处理会议（ICSLP 90），神户，日本，1990年。使用最大池化代替福岛的空间平均的1维卷积TDNN。 [8] Weng, J., Ahuja, N., 和 Huang, T. S. (1993). 从2D图像学习3D物体的识别和分割. 第四届国际计算机视觉会议论文集，柏林，第121-128页。一个二维CNN，其下采样层使用最大池化（已变得非常流行），而不是福岛的空间平均。 [9] 在2011年，快速且深度的基于GPU的CNN称为DanNet（7层以上）在计算机视觉比赛中实现了第一个超人类表现。参见概述：“2011年：DanNet引发深度CNN革命。” [10] 三位图灵奖得主如何重新发布关键方法和创意，而未能给予其创造者应有的信用。技术报告IDSIA-23-23，瑞士人工智能实验室IDSIA，2023年12月14日。另见2021年鲍尔奖颁奖典礼的YouTube视频：J. Schmidhuber赞扬福岛邦彦。

我与Aprendemos Juntos的公开采访已被观看100万次🚀（链接在回复中）

反向传播（BP）是谁发明的？它的现代版本（也称为自动微分的反向模式）首次发表于1970年，由芬兰硕士生Seppo Linnainmaa发表。BP的前身由Henry J. Kelley于1960年发表。BP在神经网络特定应用中的首次描述是由Paul Werbos于1982年提出的（但有时声称他在1974年的论文中并未提及）。 有人问：“反向传播不就是莱布尼茨（1676）的链式法则吗？”不，它是将链式法则高效应用于具有可微节点的大型网络的方法。（当然，也有许多低效的方法来实现这一点。）直到1970年才被发表。 请参见反向传播概述网页以获取更多详细信息： 另请参见《现代人工智能与深度学习的注释历史》（2022）：

十年前的物理人工智能：婴儿机器人发明自己的实验以改善其神经世界模型 Kompella, Stollenga, Luciw, Schmidhuber. 基于高维视频输入的人形机器人持续好奇驱动的技能获取。人工智能，2015年

1 之前的十年：在《学习思考……》第 5.3 节中担任强化学习提示工程师 [2]。自适应思维链！一个强化学习网络学习向另一个网络查询以进行抽象推理和决策。超越 1990 年的世界模型，实现毫秒级的规划 [1]。  [2] J. Schmidhuber (JS, 2015). «关于学习思考：用于 RL 控制器和递归神经世界模型的新组合的算法信息理论.» ArXiv 1210.0118  [1] JS (1990). “使世界可微分：关于使用完全递归自监督神经网络进行动态强化学习和在非平稳环境中规划.” TR FKI-126-90, TUM. (该报告还通过生成对抗网络引入了人工好奇心和内在动机。)

10年前的2015年5月，我们发布了第一款具有数百层的深度基于梯度的前馈神经网络（FNNs）（之前的FNNs最多只有几十层）。为了克服消失梯度问题，我们的高速公路网络使用了1991年由@HochreiterSepp首次引入的残差连接，以实现递归神经网络（RNNs）中的恒定误差流，通过类似于遗忘门的乘法门（Gers等，1999）进行门控，这些门控在我们非常深的LSTM RNN中使用。高速公路神经网络的实现得益于我以前的博士生@rupspace和Klaus Greff的工作。将高速公路神经网络的门设置为1.0，实际上给我们带来了7个月后发布的ResNet。 深度学习的核心在于神经网络的深度。LSTM为递归神经网络带来了几乎无限的深度；高速公路网络则将其引入了前馈神经网络。

我对 “Aprendemos Juntos”（马德里，2024 年 8 月）的公开采访已经在 YouTube 上播出了 7 个月。 我对 “Aprendemos Juntos”（马德里，2024 年 8 月）的公开采访已经在 YouTube 上播出了 7 个月。

1991年：首次神经网络蒸馏[1-3]。当时我称之为“崩溃”，而不是“蒸馏”。 引用 [1] J.施密杜伯（1991）。神经序列块。技术报告 FKI-148-91，慕尼黑科技大学。第 3.2.2 节。& 第 4 节是关于将一个神经网络的知识“折叠”或“提炼”或“压缩”到另一个神经网络中。 [2] JS （1992）。使用历史压缩原理学习复杂的扩展序列。神经计算，4（2）：234-242,1992。基于[1]。 [3] JS（人工智能博客，2021 年，2025 年更新）。1991 年：首次采用无监督预训练进行深度学习。第一次神经网络蒸馏。

现在每个人都在谈论递归自我改进和哥德尔机器，以及这将如何导致AGI。这与15年前的情况大相径庭！我们在卢加诺举办了AGI'2010，并在谷歌主持了AGI'2011。AGI会议的核心是数学上最优的通用人工智能：2003年的哥德尔机器（以及@mhutter42的AIXI - 请参见他2005年的UAI书籍及其最近的2024年更新（我为马库斯·哈特的AIXI工作感到自豪，因为这是由我2000年的瑞士SNF资助的，当时他是IDSIA的博士后。

AGI？有一天，但还没有。目前唯一运行良好的人工智能是屏幕后面的人工智能 [12-17]。但是，与现实世界中真实机器人的真实人工智能相比，在屏幕后面通过图灵测试 [9] 很容易。目前没有人工智能驱动的机器人可以被认证为水管工[13-17]。因此，图灵测试并不是衡量智力的良好指标（智商也不是）。而没有掌握物理世界的 AGI 就不是 AGI。这就是为什么我在 2004 年创建了用于学习机器人的 TUM CogBotLab [5]，在 2014 年与他人共同创立了一家物理世界人工智能公司 [6]，并让 TUM、IDSIA 和现在的 KAUST 的团队致力于婴儿机器人 [4,10-11,18]。这种软机器人不仅仅是奴役地模仿人类，也不会像 LLM/VLM 那样仅仅通过下载网络来工作。相反，他们利用人工好奇心的原理来改进他们的神经世界模型（我在 1990 年使用的两个术语 [1-4]）。这些机器人使用大量传感器，但只有弱执行器，因此当它们通过设计和运行自己发明的实验来收集有用的数据时，它们不会轻易伤害自己 [18]。 值得注意的是，自 1970 年代以来，许多人取笑我的旧目标，即建立一个比我更聪明的自我完善的 AGI，然后退休。然而，最近，许多人终于开始认真对待这一点，现在他们中的一些人突然变得过于乐观了。这些人往往幸福地没有意识到我们必须解决的剩余挑战才能实现真正的人工智能。我的 2024 年 TED 演讲 [15] 总结了其中的一些内容。 参考资料（在网上很容易找到）： [1] J.施密杜伯。让世界可微分：关于在非平稳环境中使用全递归自监督神经网络 （NN） 进行动态强化学习和规划。TR FKI-126-90，慕尼黑工业，1990年2月，1990年11月修订。本文还通过生成对抗网络引入了人工好奇心和内在动机，其中生成器神经网络在极小极大博弈中与预测神经网络作战。 [2] J.S.在模型构建神经控制器中实现好奇心和无聊的可能性。J. A. Meyer 和 S. W. Wilson 编辑，适应性行为模拟国际会议论文集：从动物到动物，第 222-227 页。麻省理工学院出版社/布拉德福德图书公司，1991 年。基于[1]。 [3] JS AI 博客 （2020）。1990 年：使用循环世界模型和人工好奇心进行规划和强化学习。总结了 [1][2] 和许多后来的论文，包括 [7][8]。 [4] JS AI 博客 （2021）：自 1990 年以来的人工好奇心和创造力。总结了 [1][2] 和许多后来的论文，包括 [7][8]。 [5] 慕尼黑工业大学学习机器人CogBotLab（2004-2009） [6] NNAISENSE，成立于 2014 年，致力于物理世界中的 AI [7] JS （2015）。关于学习思考：强化学习 （RL） 控制器和循环神经世界模型新组合的算法信息论。arXiv 1210.0118。第 5.3 节描述了一个 RL 提示工程师，它学习查询其模型以进行抽象推理、规划和决策。今天，这被称为“思维链”。 [8] J.S.（2018）。一个大网，万事俱备。arXiv 1802.08864。另见专利US11853886B2和我的 DeepSeek 推文：DeepSeek 使用 2015 年强化学习提示工程师 [7] 及其 2018 年改进 [8] 的元素，该优化 [8] 将 RL 机器和 [7] 的世界模型折叠成一个网络。这使用了我 1991 年的神经网络蒸馏程序：一个蒸馏的思维链系统。 [9] J.S.图灵超卖。不过，这不是图灵的错。人工智能博客（2021 年，在 Hacker News 上排名 #1） [10] J.S. Intelligente Roboter werden vom Leben fasziniert sein.（智能机器人会对生活着迷。F.A.Z.，2015 [11] J.S. 在《倒塌的墙：人工智能的过去、现在和未来》中。《科学美国人》，观察，2017 年。 [12] J.S. KI ist eine Riesenchance für Deutschland.（人工智能对德国来说是一个巨大的机会。F.A.Z.，2018 [13] H.琼斯。J.S. 说他一生的工作不会导致反乌托邦。福布斯杂志，2023 年。 [14] J.S. Jazzyear访谈，上海，2024年。 [15] J.S. TED 在 TED AI Vienna （2024） 上的演讲：为什么 2042 年将是 AI 的重要一年。请参阅随附的视频剪辑。 [16] J.S. Baut den KI-gesteuerten Allzweckroboter！（构建人工智能控制的万能机器人！F.A.Z.，2024 年 [17] J.S. 1995-2025：德国和日本与美国和中国的衰落。万能机器人能否推动卷土重来？AI 博客，2025 年 1 月，基于 [16]。 [18] M. Alhakami、DR Ashley、J. Dunham、Y. Dai、F. Faccio、E. Feron、J. Schmidhuber。面向具有丰富交互能力的极其强大的婴儿机器人，用于先进的机器学习算法。预印本 arxiv 2404.08093,2024 年。