有史以來被引用最多的兩篇論文基於我們1991年的工作 有數千萬篇研究論文涵蓋了許多科學領域。根據Google Scholar（2025年）的資料，有史以來被引用最多的兩篇科學文章（在三年內的引用次數，忽略手冊）都是關於深度人工神經網絡[WHO4-11]。以目前的增長速度，它們或許很快就會成為有史以來被引用最多的兩篇論文。見腳註1。 這兩篇文章直接基於我們在1991年3月至6月發表的內容，當時計算成本約為今天的1000萬倍。（巧合的是，1991年是20世紀唯一的回文年:-) 1. 其中一篇論文是關於一種名為Transformer的神經網絡（見ChatGPT中的T）。從2023年到2025年，它獲得了超過157,000次Google Scholar引用。這是一種基於我們在1991年3月發表的未標準化線性Transformer（ULTRA）原則的快速權重程序。詳情見技術報告[WHO10]：誰發明了Transformer神經網絡？ 2. 另一篇論文是關於使用神經網絡的深度殘差學習。從2023年到2025年，它獲得了超過150,000次Google Scholar引用。深度殘差學習與殘差網絡的發明和進一步發展是在1991年6月至2015年5月之間進行的——針對遞歸神經網絡（RNN）和前饋神經網絡（FNN）——由我的學生@HochreiterSepp、Felix Gers、Alex Graves、@rupspace和Klaus Greff。名為LSTM的深度殘差RNN成為20世紀被引用最多的AI，而深度殘差FNN變體則成為21世紀被引用最多的AI。詳情見技術報告[WHO11]：誰發明了深度殘差學習？ 1991年的其他里程碑包括：3. 第一篇關於生成對抗網絡（GANs）用於世界模型和人工好奇心的同行評審論文[WHO8]——稍後，2014年的一篇關於GANs的論文成為了“被引用最多的現存科學家”的論文。4. 深度神經網絡的預訓練[DLH]（ChatGPT中的P）。5. 神經網絡蒸餾（對著名的2025 DeepSeek至關重要）[WHO9]。 在1991年，少數人預期這些想法會塑造現代AI，從而影響現代世界及其最有價值的公司[DLH]。 ---------- 腳註1. 有一篇高度引用的心理學論文[PSY06]存在競爭。還應提到，各種跟蹤學術引用的數據庫查看不同的文檔集，並且引用數字有所不同[MOST25-26]。一些數據庫包括高度引用的手冊[RMAN][PSY13]。 一些論文有許多共同作者，許多研究人員指出，引用排名應該進行標準化以考慮這一點。每位共同作者的Google Scholar引用次數最多的論文（超過300,000次）仍然是瑞士生物學家Ulrich Laemmli（1970年）的論文[LAE]。 一般來說，對於引用排名要持懷疑態度！在2011年，我在《自然》雜誌上寫道（“引用泡沫即將破裂？”）[NAT1]："就像推動最近金融泡沫的毫無價值的擔保債務憑證一樣，與具體商品和真實出口不同，引用是容易印刷和膨脹的。金融放鬆管制導致銀行家和評級機構的短期激勵，使他們高估了自己的CDO，導致整個經濟崩潰。同樣，今天的學術排名為教授提供了最大化引用次數而非科學進步的激勵[...] 我們可能已經身處引用泡沫之中——見證相對不知名的科學家現在可以收集比他們領域中最具影響力的創始人更多的引用[...] 請注意，我來自每位科學家和每人均有最多引用的國家。"[NAT1] 參考文獻 [DLH] J. Schmidhuber. 現代AI和深度學習的註釋歷史。技術報告IDSIA-22-22，瑞士IDSIA，2022年，更新於2025年。預印本arXiv:2212.11279 [LAE] U. K. Laemmli. 在噬菌體T4頭部組裝過程中結構蛋白的切割。自然，227（5259）：680-685，1970年。 [MIR] J. Schmidhuber（2019年10月，更新於2025年）。深度學習：我們的奇蹟之年1990-1991。預印本arXiv:2005.05744 ...