Os dois artigos mais citados de todos os tempos são baseados em nosso trabalho de 1991 Existem dezenas de milhões de artigos científicos abrangendo diversas disciplinas científicas. Segundo o Google Scholar (2025), os dois artigos científicos mais citados de todos os tempos (em termos de citações ao longo de um período de três anos, ignorando manuais) são ambos sobre redes neurais artificiais profundas [WHO4-11]. Na taxa de crescimento atual, talvez em breve eles sejam os dois artigos mais citados de todos os tempos, ponto final. Veja a Nota de Rodapé 1. Ambos os artigos são diretamente baseados no que publicamos há 35 anos no Ano Milagroso [MIR], entre março e junho de 1991, quando o processamento era cerca de 10 milhões de vezes mais caro do que hoje. (Coincidentemente, 1991 é o único ano palindrômico do século XX :-) 1. Um dos dois artigos é sobre uma rede neural (NN) chamada Transformer (veja o T no ChatGPT). De 2023 a 2025, recebeu mais de 157 mil citações no Google Scholar. É um tipo de Programador de Peso Rápido baseado nos princípios do nosso Transformador Linear Não Normalizado (ULTRA) publicado em março de 1991. Veja detalhes no relatório técnico [WHO10]: Quem inventou as redes neurais Transformer? 2. O outro artigo é sobre aprendizado residual profundo com NNs. De 2023 a 2025, recebeu mais de 150 mil citações no Google Scholar. O aprendizado residual profundo com redes residuais foi inventado e desenvolvido entre junho de 1991 e maio de 2015 – tanto para NNs recorrentes (RNNs) quanto para feedforwards (FNNs) – pelos meus alunos @HochreiterSepp, Felix Gers, Alex Graves @rupspace e Klaus Greff. A RNN residual profunda chamada LSTM tornou-se a IA mais citada do século XX, uma variante residual profunda da FNN a IA mais citada do século XXI. Veja detalhes no relatório técnico [WHO11]: Quem inventou o aprendizado residual profundo? Outros marcos de 1991 incluem: 3. O primeiro artigo revisado por pares sobre redes generativas adversariais (GANs) para modelos mundiais e curiosidade artificial [WHO8] - muito tempo depois, um artigo de 2014 sobre GANs tornou-se o artigo mais citado do "cientista vivo mais citado." 4. Pré-treinamento para NNs profundos [DLH] (o P no ChatGPT). 5. Destilação de NN (central para o famoso DeepSeek de 2025) [WHO9]. Em 1991, poucas pessoas esperavam que essas ideias moldassem a IA moderna e, assim, o mundo moderno e suas empresas mais valiosas [DLH]. ---------- Nota de rodapé 1. Há concorrência por meio de um artigo de psicologia altamente citado [PSY06]. Também vale mencionar que vários bancos de dados que acompanham citações acadêmicas analisam diferentes conjuntos de documentos e diferem nos números das citações [MOST25-26]. Alguns incluem manuais altamente citados [RMAN][PSY13]. Alguns artigos têm vários coautores, e muitos pesquisadores apontaram que os rankings de citação devem ser normalizados para levar isso em conta. O artigo com mais citações no Google Scholar por coautor (mais de 300.000) ainda é o do biólogo suíço Ulrich Laemmli (1970) [LAE]. De modo geral, porém, seja cético quanto aos rankings de citações! Em 2011, escrevi na Nature ("Bolha de citações prestes a estourar?") [NAT1]: "Como as obrigações de dívida colateralizadas que não valem nada que impulsionaram a recente bolha financeira, e ao contrário dos bens concretos e das exportações reais, as citações são fáceis de imprimir e inflar. A desregulamentação financeira levou a incentivos de curto prazo para banqueiros e agências de classificação supervalorizarem seus CDOs, derrubando economias inteiras. Da mesma forma, os rankings acadêmicos atuais incentivam os professores a maximizarem a contagem de citações em vez do progresso científico [...] Talvez já estejamos no meio de uma bolha de citações – veja como cientistas relativamente desconhecidos agora conseguem coletar mais citações do que os fundadores mais influentes de suas áreas [...] Note que escrevo do país com mais citações per capita e por cientista." [NAT1] REFERÊNCIAS [DLH] J. Schmidhuber. História Anotada da IA Moderna e do Deep Learning. Relatório Técnico IDSIA-22-22, IDSIA, Suíça, 2022, atualizado em 2025. Preprint arXiv:2212.11279 [LAE] U. K. Laemmli. Clivagem de proteínas estruturais durante a montagem da cabeça do bacteriófago T4. Nature, 227 (5259):680-685, 1970. [MIR] J. Schmidhuber (outubro de 2019, atualizado em 2025). Aprendizado Profundo: Nosso Ano Milagroso 1990-1991. Preprint arXiv:2005.05744 [MOST25] H. Pearson, H. Ledford, M. Hutson, R. Van Noorden. Exclusivo: os artigos mais citados do século XXI. Nature, abril de 2025. [MOST25b] R. Van Noorden. Os clássicos clássicos da ciência: os artigos de pesquisa de décadas atrás ainda muito citados hoje. Nature, abril de 2025. [MOST26] J. Schmidhuber. Os dois artigos mais citados de todos os tempos são baseados em nosso trabalho de 1991. Nota técnica IDSIA-1-26, janeiro de 2026. [NAT1] J. Schmidhuber. Bolha de citações prestes a estourar? Nature, vol. 469, p. 34, 6 de janeiro de 2011. [PSY06] V. Braun & V. Clarke (2006). Uso da análise temática em psicologia. Pesquisa qualitativa em psicologia, 3(2):77-101, 2006. [PSY13] Associação Americana de Psiquiatria (2013). Manual diagnóstico e estatístico de transtornos mentais. [RMAN] Equipe Principal R. R: Uma Linguagem e Ambiente para Computação Estatística. Manual da Fundação R para Computação Estatística, Viena, Áustria, www ponto R-project ponto org [WHO4] J. Schmidhuber (JS). Quem inventou as redes neurais artificiais? Nota técnica IDSIA-15-25, novembro de 2025. [WHO5] JS. Quem inventou o deep learning? Nota técnica IDSIA-16-25, nov 2025. [WHO6] JS (AI Blog, 2014; atualizado em 2025). Quem inventou a retropropagação? [WHO7] JS. Quem inventou as redes neurais convolucionais? Nota técnica IDSIA-17-25, 2025. [WHO8] JS. Quem Inventou as Redes Generativas Adversariais? Nota técnica IDSIA-14-25, dezembro de 2025. [WHO9] JS. Quem inventou a destilação de conhecimento com redes neurais artificiais? Nota técnica IDSIA-12-25, nov 2025. [WHO10] JS. Quem Inventou as Redes Neurais Transformers? Nota técnica IDSIA-11-25, nov 2025. [WHO11] JS. Quem inventou o aprendizado residual profundo? Relatório Técnico IDSIA-09-25, 2025. Preprint arXiv:2509.24732

Quem realmente inventou as redes neurais Transformers? Linha do tempo da evolução dos Transformers desde 1991:

3 dos 7 premiados (Drs. Bengio, LeCun, Hinton) [QE] republicaram repetidamente técnicas importantes de IA cujos criadores eles não reconheceram, nem mesmo em pesquisas posteriores. Eles não inventaram nenhum dos algoritmos fundamentais da IA moderna. As evidências estão encontradas em relatórios conhecidos [NOB][DLP][CN25][AIB] respaldados por inúmeras referências. Os relatórios [NOB][DLP][CN25] foram revisados por muitos especialistas em Aprendizado de Máquina, alguns deles pioneiros famosos. Os 3 premiados não tentaram se defender. Eles não podem – os fatos são os fatos. Os romanos já sabiam: magna est veritas et praevalebit (a verdade é poderosa e prevalecerá). REFERÊNCIAS [QE] Prêmio Queen Elizabeth de Engenharia 2025 [NOB] Um Prêmio Nobel de Plágio. Relatório Técnico IDSIA-24-24, 2024 (atualizado em 2025). Hinton republicou metodologias fundamentais para redes neurais artificiais desenvolvidas por Ivakhnenko e outros durante as décadas de 1960 e 1970, assim como outras técnicas, sem citar os artigos originais. Mesmo em suas pesquisas subsequentes e no artigo recente de 2025, ele não reconheceu os inventores originais. Tweets populares sobre isso: [CN25] Quem inventou as redes neurais convolucionais? Nota técnica IDSIA-17-25, IDSIA, 2025. Dica: LeCun não tinha. Noções básicas da CNN: Fukushima (1979-86). Retropropagação para CNNs: Zhang et al. (1988-), outros. Tweets populares sobre isso: Relacionado: [DLP] Como 3 premiados com o Turing republicaram métodos e ideias chave cujos criadores não conseguiram creditar. Relatório Técnico IDSIA-23-23, Swiss AI Lab IDSIA, 2023 (atualizado em 2025). Melhor começar pela Seção 3. Tweet: [DLH] História Anotada da IA Moderna e do Deep Learning. Relatório Técnico IDSIA-22-22, IDSIA, Lugano, Suíça, 2022 (atualizado em 2025). Preprint Isso amplia minha pesquisa premiada de deep learning de 2015 na revista "Neural Networks." Tweet [AIB] Blog de IA. Com aulas sobre a história da IA e computação, por exemplo: Quem inventou o deep learning? Quem inventou a retropropagação? Quem inventou as redes neurais convolucionais? Quem inventou as redes neurais artificiais? Quem inventou as redes generativas adversariais? Quem inventou as redes neurais Transformers? Quem inventou o aprendizado residual profundo? Quem inventou a destilação neural de conhecimento? Quem inventou o computador? Quem inventou o transistor? Quem inventou o circuito integrado? ...