Wydanie nowego "Agentic Reviewer" do prac badawczych. Zacząłem to kodować jako projekt weekendowy, a @jyx_su znacznie to poprawił. Zainspirował mnie student, którego praca została odrzucona 6 razy w ciągu 3 lat. Ich pętla feedbackowa -- czekanie ~6 miesięcy na feedback za każdym razem -- była boleśnie wolna. Chcieliśmy sprawdzić, czy agentowy proces roboczy może pomóc badaczom szybciej iterować. Kiedy przeszkoliliśmy system na recenzjach ICLR 2025 i zmierzyliśmy korelację Spearmana (im wyższa, tym lepsza) na zbiorze testowym: - Korelacja między dwoma recenzentami ludzkimi: 0.41 - Korelacja między AI a recenzentem ludzkim: 0.42 To sugeruje, że agentowe recenzowanie zbliża się do wydajności na poziomie ludzkim. Agent opiera swoje feedbacki na wyszukiwaniu w arXiv, więc najlepiej działa w dziedzinach takich jak AI, gdzie badania są tam publikowane za darmo. To narzędzie eksperymentalne, ale mam nadzieję, że pomoże Ci w Twoich badaniach. Sprawdź to tutaj:

Po wysłuchaniu wielu podcastów Harry'ego 20VC, miło było w nim wystąpić. Rozmawialiśmy o wąskich gardłach w adopcji AI, geopolityce USA/Chiny, jakie możliwości pozostają do zbudowania (tl;dr: dużo) i nie tylko!

Właśnie wróciłem z AI Dev x NYC, konferencji dla deweloperów AI, gdzie nasza społeczność spotyka się na dzień kodowania, nauki i nawiązywania kontaktów. Atmosfera w sali była niesamowita! To na ostatnim AI Dev w San Francisco spotkałem Kirsty Tan i zaczęliśmy współpracować nad tym, co stało się naszą firmą doradczą AI Aspire. Spotkania na żywo mogą rodzić nowe możliwości, i mam nadzieję, że nadchodzące miesiące przyniosą więcej historii o rzeczach, które zaczęły się na AI Dev x NYC! Wydarzenie było pełne rozmów o kodowaniu z AI, agentic AI, inżynierii kontekstowej, zarządzaniu oraz budowaniu i skalowaniu aplikacji AI w startupach i dużych korporacjach. Ale ogólne wrażenie, które wyniosłem, to niemal powszechny optymizm dotyczący naszej dziedziny, mimo mieszanki pesymizmu i optymizmu dotyczącego AI w szerszym świecie. Na przykład wiele firm jeszcze nie uzyskało znaczącego ROI z agentów AI, a niektórzy sceptycy AI cytują badanie MIT, które mówi, że 95% pilotaży AI kończy się niepowodzeniem. (To badanie, nawiasem mówiąc, ma wady metodologiczne, które sprawiają, że wiralny nagłówek jest mylący; zobacz link w oryginalnym poście.) Ale na AI Dev było wiele zespołów odpowiedzialnych za udane i szybko rosnące zestawy aplikacji AI. Rozmawiając z innymi deweloperami, zdałem sobie sprawę, że z powodu niskiej penetracji AI w firmach, jednocześnie prawdą jest, że (a) wiele firm jeszcze nie ma AI przynoszącego znaczące ROI, a (b) wiele wykwalifikowanych zespołów AI zaczyna przynosić znaczące ROI i widzi, jak liczba udanych projektów AI szybko rośnie, chociaż z niskiej bazy. Dlatego deweloperzy AI są optymistyczni co do wzrostu, który ma nadejść. Wielu wystawców powiedziało mi, że to była najlepsza konferencja, w jakiej uczestniczyli od dłuższego czasu, ponieważ mogli rozmawiać z prawdziwymi deweloperami. Jeden z nich powiedział, że wiele innych konferencji wydawało się być powierzchownych, podczas gdy uczestnicy AI Dev mieli znacznie głębsze zrozumienie techniczne i dlatego byli zainteresowani i w stanie zrozumieć niuanse nowoczesnej technologii. Niezależnie od tego, czy dyskusja dotyczyła obserwowalności agentowych przepływów pracy, niuansów inżynierii kontekstowej dla kodowania AI, czy debaty na temat tego, jak długo będzie trwała proliferacja RL gymów do szkolenia LLM, w sali była głęboka ekspertyza techniczna, która pozwala nam wspólnie patrzeć dalej w przyszłość. Jednym z wyjątkowych momentów dla mnie było, gdy Nick Thompson, moderując panel z Miriam Vogel i mną, zapytał o zarządzanie. Odpowiedziałem, że niedawna wroga retoryka Stanów Zjednoczonych wobec imigrantów jest jednym z najgorszych ruchów, jakie podejmują, a wielu w publiczności oklaskiwało. Nick mówił o tym momencie w wideo (linki w oryginalnym poście). Cieszyłem się, że mogłem poznać wiele osób na AI Dev i jestem wdzięczny wszystkim, którzy przyszli oraz wszystkim naszym mówcom, wystawcom, sponsorom, wolontariuszom i pracownikom wydarzenia. Moim jedynym żalem jest to, że, mimo że zwiększyliśmy skalę wydarzenia 3x w porównaniu do poprzedniego wydarzenia w San Francisco, musieliśmy ograniczyć liczbę biletów, ponieważ przestrzeń nie mogła pomieścić więcej uczestników. Mimo że tak wiele pracy odbywa się teraz online, wydarzenia na żywo są wyjątkowe i mogą być punktami zwrotnymi dla osób i projektów. Planujemy, aby następne AI Dev w San Francisco, które odbędzie się 28-29 kwietnia 2026 roku, było jeszcze większym wydarzeniem i czekamy na to, że konferencja pomoże wzbudzić więcej dzielenia się i nawiązywania kontaktów w przyszłości. [Oryginalny tekst: ]