Araştırma makaleleri için yeni bir "Ajanik Reviewer" yayınlamak. Bunu hafta sonu projesi olarak kodlamaya başladım ve @jyx_su çok daha iyi hale getirdi. Bir öğrencinin 3 yıl içinde 6 kez reddedilen bir makalesi beni etkiledi. Geri bildirim döngüsü -- her zaman ~6 ay geri bildirim beklemek -- acı verici derecede yavaştı. Ajanik bir iş akışının araştırmacıların daha hızlı yineleme yapmalarına yardımcı olup olmayacağını görmek istedik. ICLR 2025 incelemelerinde sistemi eğittiğimizde ve test setinde Spearman korelasyonunu (yüksek olduğu kadar iyi) ölçtüğümüzde: - İki insan incelemeci arasındaki korelasyon: 0.41 - Yapay zeka ile insan incelemeci arasındaki korelasyon: 0.42 Bu, ajanik incelemenin insan düzeyinde performansa yaklaştığını gösteriyor. Ajan, geri bildirimini arXiv'i aramaya dayandırır, bu yüzden araştırmaların özgürce yayımlandığı yapay zeka gibi alanlarda en iyi şekilde çalışır. Deneysel bir araç ama umarım araştırmanızda size yardımcı olur. Buradan göz atabilirsiniz: