ImageNetissä oli jotain syvästi tyydyttävää. Siinä oli hyvin kuratoitu koulutussarja. Selkeästi määritelty testausprotokolla. Kilpailu, joka kokosi yhteen parhaat tutkijat. Ja tulostaulukko, joka synnytti ResNetit ja ViT:t ja muutti lopulta kentän lopullisesti. Sitten NLP seurasi. Riippumatta siitä, kuinka paljon OpenAI, Anthropic ja xAI ovat eri mieltä, ne ovat ainakin yhtä mieltä yhdestä asiasta: benchmarkingista. MMLU, HLE, SWEBench - et voi edistyä ennen kuin pystyt mittaamaan sitä. Robotiikalla ei vieläkään ole tällaista kokoontumista. Kukaan ei ole samaa mieltä mistään: laitteistosta, tehtävästä, pisteytyksestä, simulaatiomoottorista tai todellisesta ympäristöstä. Jokainen on määritelmän mukaan SOTA, joka on vertailuarvo, jonka he määrittelevät lennossa kullekin paperille. ImageNetin tekijältä - BEHAVIOR tarttuu pelottavaan haasteeseen yhdistää robotiikan vertailuanalyysi toistettavaan fysiikkamoottoriin (Isaac Sim). Projekti alkoi ennen kuin valmistuin Stanford Vision Labista, ja sen rakentaminen vaati niin monta vuotta omistautumista ja tohtorinuraa. Toivon, että KÄYTTÄYTYMINEN on joko tarvitsemamme mäkikiipeilysignaali tai kipinä, joka saa meidät vihdoin puhumaan siitä, kuinka mitata todellista edistystä alana.