10年前の2015年5月、私たちは数百の層を持つ最初の非常に深い勾配ベースのフィードフォワードニューラルネットワーク(FNN)を発表しました(以前のFNNは最大数十の層でした)。勾配消失の問題を克服するために、当社の高速道路ネットワークは、1991年に@HochreiterSeppによって最初に導入された残差接続を使用して、非常に深いLSTM RNNの忘却ゲート(Gers et al.、1999)と同様の乗法ゲートを介してゲートされた、繰り返しNN(RNN)で一定のエラーフローを実現しました。ハイウェイ NN は、私の元博士課程の学生である @rupspace とクラウス グレフの研究によって可能になりました。ハイウェイのNNゲートを1.0に設定すると、7か月後に公開されたResNetが効果的に得られます。 ディープラーニングはNNの深さがすべてです。LSTMは、リカレントNNに本質的に無限の深さをもたらしました。ハイウェイネットはそれをフィードフォワードNNにもたらしました。