1991: erste Destillation von neuronalen Netzwerken [1-3]. Ich nannte es damals "collapsing", nicht "distilling". Referenzen [1] J. Schmidhuber (1991). Neuronale Sequenzchunker. Tech Report FKI-148-91, Technische Universität München. Abschnitt 3.2.2. & Abschnitt 4 handeln von "collapsing" oder "distilling" oder "compressing" des Wissens eines neuronalen Netzwerks in ein anderes neuronales Netzwerk. [2] JS (1992). Lernen komplexer, erweiterter Sequenzen unter Verwendung des Prinzips der Geschichtsverdichtung. Neural Computation, 4(2):234-242, 1992. Basierend auf [1]. [3] JS (AI Blog, 2021, aktualisiert 2025). 1991: Erstes sehr tiefes Lernen mit unbeaufsichtigtem Pre-Training. Erste Destillation eines neuronalen Netzwerks.