1991年：首次神经网络蒸馏[1-3]。当时我称之为“崩溃”，而不是“蒸馏”。 引用 [1] J.施密杜伯（1991）。神经序列块。技术报告 FKI-148-91，慕尼黑科技大学。第 3.2.2 节。& 第 4 节是关于将一个神经网络的知识“折叠”或“提炼”或“压缩”到另一个神经网络中。 [2] JS （1992）。使用历史压缩原理学习复杂的扩展序列。神经计算，4（2）：234-242,1992。基于[1]。 [3] JS（人工智能博客，2021 年，2025 年更新）。1991 年：首次采用无监督预训练进行深度学习。第一次神经网络蒸馏。