Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Две самых цитируемых статьи всех времен основаны на нашей работе 1991 года
Существует десятки миллионов научных статей, охватывающих многие научные дисциплины. Согласно Google Scholar (2025), две самых цитируемых научных статьи всех времен (по количеству цитирований за трехлетний период, игнорируя руководства) обе касаются глубоких искусственных нейронных сетей [WHO4-11]. При текущем темпе роста, возможно, они вскоре станут двумя самыми цитируемыми статьями за всю историю. См. сноску 1.
Обе статьи напрямую основаны на том, что мы опубликовали 35 лет назад в Чудесном Году [MIR] с марта по июнь 1991 года, когда вычисления стоили примерно в 10 миллионов раз дороже, чем сегодня. (Совпадение, 1991 год - единственный палиндромный год 20 века :-)
1. Одна из двух статей касается нейронной сети (NN), называемой Transformer (см. T в ChatGPT). С 2023 по 2025 год она получила более 157 тыс. цитирований в Google Scholar. Это тип Fast Weight Programmer, основанный на принципах нашего Ненормализованного Линейного Трансформера (ULTRA), опубликованного в марте 1991 года. См. детали в техническом отчете [WHO10]: Кто изобрел нейронные сети Transformer?
2. Вторая статья касается глубокого остаточного обучения с NN. С 2023 по 2025 год она получила более 150 тыс. цитирований в Google Scholar. Глубокое остаточное обучение с остаточными сетями было изобретено и далее разработано с июня 1991 года по май 2015 года - как для рекуррентных NN (RNN), так и для прямых NN (FNN) - моими студентами @HochreiterSepp, Феликсом Гершем, Алексом Грейвсом, @rupspace и Клаусом Греффом. Глубокая остаточная RNN, называемая LSTM, стала самой цитируемой AI 20 века, а глубокая остаточная FNN - самой цитируемой AI 21 века. См. детали в техническом отчете [WHO11]: Кто изобрел глубокое остаточное обучение?
Другие важные события 1991 года включают: 3. Первую рецензируемую статью о генеративных состязательных сетях (GAN) для мировых моделей и искусственного любопытства [WHO8] - гораздо позже, статья 2014 года о GAN стала самой цитируемой статьей "самого цитируемого живого ученого." 4. Предобучение для глубоких NN [DLH] (P в ChatGPT). 5. Дистилляция NN (центральная для знаменитого DeepSeek 2025) [WHO9].
В 1991 году немногие ожидали, что эти идеи сформируют современный AI и, следовательно, современный мир и его самые ценные компании [DLH].
----------
Сноска 1. Существует конкуренция через высокоцитируемую психологическую статью [PSY06]. Также следует упомянуть, что различные базы данных, отслеживающие академические цитирования, рассматривают разные наборы документов и отличаются по количеству цитирований [MOST25-26]. Некоторые включают высокоцитируемые руководства [RMAN][PSY13].
Некоторые статьи имеют множество соавторов, и многие исследователи указывают на то, что рейтинги цитирования должны быть нормализованы с учетом этого. Статья с наибольшим количеством цитирований в Google Scholar на соавтора (более 300 000) все еще принадлежит швейцарскому биологу Ульриху Леммли (1970) [LAE].
В общем, однако, будьте скептичны к рейтингам цитирования! В 2011 году я написал в Nature ("Цитатный пузырь вот-вот лопнет?") [NAT1]: "Как менее чем бесполезные обеспеченные долговые обязательства, которые привели к недавнему финансовому пузырю, и в отличие от конкретных товаров и реальных экспортов, цитаты легко печатать и раздувать. Финансовая дерегуляция привела к краткосрочным стимулам для банкиров и рейтинговых агентств переоценивать свои CDO, что привело к падению целых экономик. Точно так же сегодняшние академические рейтинги предоставляют стимул профессорам максимизировать количество цитирований вместо научного прогресса [...] Мы, возможно, уже находимся в середине цитатного пузыря - свидетельствуйте, как относительно неизвестные ученые теперь могут собирать больше цитирований, чем самые влиятельные основатели своих областей [...] Обратите внимание, что я пишу из страны с наибольшим количеством цитирований на душу населения и на ученого." [NAT1]
СПИСОК ЛИТЕРАТУРЫ
[DLH] J. Шмидхубер. Аннотированная история современного AI и глубокого обучения. Технический отчет IDSIA-22-22, IDSIA, Швейцария, 2022, обновлено в 2025. Препринт arXiv:2212.11279
[LAE] U. K. Леммли. Расщепление структурных белков во время сборки головы бактериофага T4. Nature, 227 (5259):680-685, 1970.
[MIR] J. Шмидхубер (октябрь 2019, обновлено в 2025). Глубокое обучение: наш чудесный год 1990-1991. Препринт arXiv:2005.05744
...

Топ
Рейтинг
Избранное
