畳み込みニューラルネットワーク(CNN)を発明したのは誰ですか? 1969年:福島にはCNN関連のReLUがありました[2]。 1979年:福島は、畳み込み層とダウンサンプリング層を備えた基本的なCNNアーキテクチャを持っていました[1]。コンピューティングのコストは 1989 年の 100 倍、現在の 10 億倍のコストでした。 1987年:Waibelは、Linnainmaaの1970年のバックプロパゲーション[3]を、1次元畳み込み[4]を持つ重み分担TDNNに適用しました。 1988年:Wei Zhangらは、「最新の」バックプロップトレーニングされた2次元CNNを文字認識に適用しました[5]。 上記はすべて1979年から1988年にかけて日本で出版されたものです。 1989年:LeCunらはCNNを文字認識(郵便番号)に再び適用しました[6,10]。 1990-93: 空間平均に基づく福島のダウンサンプリング [1] は、1 次元 TDNN の最大プーリングに置き換えられました (Yamaguchi et al.)[7] および 2-D CNN (Weng et al.)[8]. 2011年:ずっと後、私のチームはDan Ciresanとともに、NVIDIA GPU上で最大プーリングCNNを非常に高速に作成しました。2011年、DanNetは初の超人的なパターン認識結果を達成しました[9]。2011年5月から2012年9月まで、DanNetは参加したすべての画像認識チャレンジで4回連続で優勝しました。しかし、確かに、これは主に、前千年紀の基本的な洞察をエンジニアリングしてスケールアップし、はるかに高速なハードウェアから利益を得ることでした。 一部の「AI専門家」は、「CNNを機能させること」(例:[5,6,9])は、CNNを発明することと同じくらい重要であると主張しています。しかし、「それらを機能させる」かどうかは、研究室が元の研究をスケールアップするために必要な最新のコンピューターを購入できるほど裕福であるかどうかに大きく依存していました。それは今日と同じです。基礎研究とエンジニアリング/開発 - R&DにおけるRとD。 参照 [1] K. 福島 (1979)。位置移動の影響を受けないパターン認識機構のニューラルネットワークモデル ネオコグニトロンIECE、vol. J62-A、no. 10、658-665 ページ、1979 年。 [2] K. 福島 (1969)。アナログしきい値要素の多層ネットワークによる視覚的特徴抽出システム科学とサイバネティクスに関するIEEEトランザクション。5 (4): 322-333.この研究により、現在多くのCNNで使用されている整流線形ユニット(ReLU)が導入されました。 [3] S. リンナインマー (1970)。修士論文、ヘルシンキ大学、1970年。自動微分の逆モードとしても知られる「最新の」バックプロパゲーションに関する最初の出版物。(シュミットフーバーのよく知られたバックプロパゲーションの概要「バックプロパゲーションを発明したのは誰ですか?」を参照してください) [4] A.ワイベル。時間遅延ニューラルネットワークを用いた音素認識電子情報通信学会大会、東京、日本、1987年。1次元畳み込みによる重み分担TDNNのバックプロパゲーション [5] W. Zhang、J. Tanida、K. Itoh、Y. Ichioka。シフト不変パターン認識ニューラルネットワークとその光アーキテクチャ応用物理学会大会講演論文集, 1988.英語文字認識への応用による最初のバックプロパゲーション学習2次元CNN [6] Y. LeCun、B. Boser、JS Denker、D. Henderson、RE Howard、W. Hubbard、LD Jackel: 手書きの郵便番号認識に適用されるバックプロパゲーション、神経計算、1(4):541-551、1989。[10]の第3条も参照してください。 [7] 山口健一郎, 坂本健二, 健二 淳一, 赤羽隆一郎, 藤本祐一.話者に依存しない孤立した単語認識のためのニューラルネットワークFirst International Conference on Spoken Language Processing (ICSLP 90), 神戸, 日本, 1990年11月.福島の空間平均化の代わりにMax-Poolingを使用した1次元畳み込みTDNN[1]。 [8] ウェン、J.、アフジャ、N.、および黄、TS (1993)。2次元画像からの3次元物体の認識とセグメンテーションの学習。Proc. 4th Intl. Conf. Computer Vision, ベルリン, pp. 121-128.ダウンサンプリング層が福島の空間平均化の代わりにMax-Pooling(非常に普及している)を使用する2次元CNN[1]。 [9] 2011年、DanNet(7+層)という高速で深いGPUベースのCNNがコンピュータビジョン公募展で初めて超人的な性能を達成した。概要「2011年:DanNetがCNNの深い革命を引き起こす」を参照してください。 [10] チューリング賞受賞者の3人が、作成者をクレジットしなかった主要な方法とアイデアを再出版した方法。テクニカルレポートIDSIA-23-23、スイスAIラボIDSIA、2023年12月14日。2021年バウアー賞授賞式のYouTubeビデオもご覧ください:J.シュミットフーバーが福島邦彦を称賛しています。