Lançando um novo "Revisor Agente" para artigos de pesquisa. Comecei a programar isso como um projeto de fim de semana, e @jyx_su melhorou muito. Fui inspirado por um aluno que teve um artigo rejeitado 6 vezes ao longo de 3 anos. O ciclo de feedback deles — esperar ~6 meses por feedback a cada vez — era dolorosamente lento. Queríamos ver se um fluxo de trabalho agentico pode ajudar os pesquisadores a iterar mais rápido. Quando treinamos o sistema nas revisões ICLR 2025 e medimos a correlação Spearman (maior é melhor) no conjunto de teste: - Correlação entre dois revisores humanos: 0,41 - Correlação entre IA e um revisor humano: 0,42 Isso sugere que a revisão agente está se aproximando do desempenho em nível humano. O agente fundamenta seu feedback pesquisando no arXiv, então funciona melhor em áreas como IA, onde pesquisas são publicadas livremente. É uma ferramenta experimental, mas espero que ajude na sua pesquisa. Confira aqui:

Depois de ouvir vários podcasts do Harry sobre o 20VC, foi divertido participar dele. Falamos sobre gargalos na adoção da IA, geopolítica dos EUA/China, quais oportunidades ainda precisam ser construídas (resumindo: muitas), e muito mais!

Acabei de voltar da AI Dev x NYC, a conferência de desenvolvedores de IA onde nossa comunidade se reúne para um dia de programação, aprendizado e conexão. O clima na sala estava vibrante! Foi no último desenvolvimento de IA em San Francisco que conheci Kirsty Tan e comecei a colaborar com ela no que se tornou nossa empresa de consultoria em IA, AI Aspire. Reuniões presenciais podem abrir novas oportunidades, e espero que os próximos meses tragam mais histórias sobre coisas que começaram em AI Dev x NYC! O evento foi repleto de conversas sobre programação com IA, IA agente, engenharia de contexto, governança e construção e escalabilidade de aplicações de IA em startups e grandes corporações. Mas a impressão predominante que tirei foi de um otimismo quase universal sobre nossa área, apesar da mistura de pessimismo e otimismo sobre a IA no mundo em geral. Por exemplo, muitas empresas ainda não conseguiram que agentes de IA entreguem um retorno significativo sobre o investimento, e alguns céticos em IA citam um estudo do MIT que dizia que 95% dos pilotos de IA estão fracassando. (Este estudo, aliás, tem falhas metodológicas que tornam a manchete viral enganosa; veja o link no post original.) Mas no AI Dev estavam muitas das equipes responsáveis pelo conjunto bem-sucedido e em rápido crescimento de aplicações de IA. Conversando com outros desenvolvedores, percebi que, devido à baixa penetração da IA nos negócios, é ao mesmo tempo que (a) muitas empresas ainda não têm IA entregando ROI significativo, e (b) muitas equipes qualificadas de IA estão começando a gerar ROI significativo e veem o número de projetos de IA bem-sucedidos crescer rapidamente, embora com base baixa. É por isso que os desenvolvedores de IA estão otimistas quanto ao crescimento que está por vir. Vários expositores me disseram que essa foi a melhor conferência que participaram em muito tempo, porque puderam conversar com desenvolvedores de verdade. Um deles me disse que muitas outras conferências pareciam apenas superficios, enquanto os participantes do AI Dev tinham um entendimento técnico muito mais profundo e, portanto, estavam interessados e capazes de entender as nuances da tecnologia de ponta. Seja a discussão sobre observabilidade de fluxos de trabalho agentes, as nuances da engenharia de contexto para codificação de IA ou um debate sobre quanto tempo a proliferação de academias RL para treinamento de LLMs continuará, havia uma expertise técnica profunda na sala que nos permite olhar coletivamente para o futuro. Um momento especial para mim foi quando Nick Thompson, moderando um painel com Miriam Vogel e eu, perguntou sobre governança. Respondi que a recente retórica hostil dos Estados Unidos em relação aos imigrantes é uma das piores medidas que estão tomando, e muitos na plateia aplaudiram. Nick falou sobre esse momento em um vídeo (links no post original). Gostei de conhecer muitas pessoas na AI Dev e sou grato a todos que vieram, assim como a todos os nossos palestrantes, expositores, patrocinadores, voluntários e funcionários do evento. Meu único arrependimento é que, mesmo tendo aumentado o tamanho do evento 3 vezes em relação ao anterior em São Francisco, tivemos que limitar o número de ingressos porque o espaço não podia acomodar mais participantes. Mesmo com muito trabalho agora online, eventos presenciais são especiais e podem ser pontos de virada para indivíduos e projetos. Planejamos tornar o próximo AI Dev em São Francisco, nos dias 28 e 29 de abril de 2026, um evento ainda maior, e esperamos que a conferência ajude a estimular mais compartilhamentos e conexões no futuro. [Texto original: ]