Släpper en ny "Agentic Reviewer" för forskningsartiklar. Jag började koda detta som ett helgprojekt, och @jyx_su gjorde det mycket bättre. Jag blev inspirerad av en student som fick en artikel refuserad 6 gånger under 3 år. Deras återkopplingsslinga – att vänta ~6 månader på återkoppling varje gång – var smärtsamt långsam. Vi ville se om ett agentiskt arbetsflöde kan hjälpa forskare att iterera snabbare. När vi tränade systemet på ICLR 2025-översikter och mätte Spearman-korrelationen (högre är bättre) på testuppsättningen: - Korrelation mellan två mänskliga granskare: 0,41 - Korrelation mellan AI och en mänsklig granskare: 0,42 Detta tyder på att agentisk granskning närmar sig prestation på mänsklig nivå. Agenten grundar sin feedback genom att söka i arXiv, så det fungerar bäst inom områden som AI där forskning publiceras fritt. Det är ett experimentellt verktyg, men jag hoppas det hjälper dig med din forskning. Kolla in den här: