Voitimme ensimmäisen sijan Berkeley AgentX -huippukokouksessa vertailu- ja arviointiradalla! Onnittelut tiimille :)
Daniel Kang
Daniel Kang9.7.2025
Koska tekoälyagentit ovat lähellä todellista käyttöä, mistä tiedämme, mitä he todella voivat tehdä? Luotettavat vertailuarvot ovat kriittisiä, mutta agenttiset vertailuarvot ovat rikki! Esimerkki: WebArena merkitsee keston laskentatehtävässä "45+8 minuuttia" oikeaksi (todellinen vastaus: "63 minuuttia"). Muut vertailuarvot arvioivat agenttien pätevyyden väärin 1,6-100 %. Miksi agenttisten järjestelmien arviointiperusteet ovat hauraita? Katso alta ketju ja linkit 1/8
1,1K