Hace 10 años, en mayo de 2015, publicamos las primeras redes neuronales feedforward (FNN) basadas en gradientes muy profundos con cientos de capas (las FNN anteriores tenían un máximo de unas pocas docenas de capas). Para superar el problema del gradiente de fuga, nuestras redes de carreteras utilizaron las conexiones residuales introducidas por primera vez en 1991 por @HochreiterSepp para lograr un flujo de error constante en las NN recurrentes (RNN), cerradas a través de puertas multiplicativas similares a las puertas de olvido (Gers et al., 1999) de nuestra LSTM RNN muy profunda. Las NN de la autopista fueron posibles gracias al trabajo de mis antiguos estudiantes de doctorado @rupspace y Klaus Greff. Establecer las puertas de Highway NN en 1.0 nos da efectivamente la ResNet publicada 7 meses después. El aprendizaje profundo tiene que ver con la profundidad de NN. Las LSTM aportaron una profundidad esencialmente ilimitada a las NN recurrentes; Highway Nets lo llevó a las NN de feedforward.