Olen huono julkaisemaan asioita ajoissa! (tekosyyni on, että opetan Addis Coderissa jälleen tänä vuonna) Tämän artikkelin posteristunto tapahtuu JUURI NYT! Istunto 5: V-Gather Find 28.7.2025 18:00-19:30 Tervehdi @ChuxuanHu :)
Daniel Kang
Daniel Kang29.7.2025
Can AI agents assess the reproducibility of research findings? Our #ACL2025 paper shows that they fall short with REPRO-Bench, a new benchmark that evaluates agents on real-world social science reproducibility tasks of 112 papers, full PDFs, code, and data. Our highest performing agent scores <40%! 1/6
2,8K