de tl;dr van het interview van Dwarkesh Patel met Ilya Sutskever • Huidige benaderingen zullen "een eind komen en dan afnemen"; ze zullen blijven verbeteren, maar zullen geen AGI leveren. • Het soort systeem dat zou werken is iets "dat we nog niet weten hoe we moeten bouwen." • Er worden aanzienlijke gevolgen voor de arbeidsmarkt verwacht in de komende jaren. • Hoofdbottleneck: generalisatie. Modellen zijn veel slechter dan mensen daarin. • Je kunt trainen op elk competitief programmeerprobleem, en het model zal nog steeds geen echte "smaak" ontwikkelen, terwijl een tiener in ~10 uur leert rijden. • Eval-scores zien er geweldig uit, maar de prestaties in de echte wereld blijven achter omdat RL-training uiteindelijk optimaliseert voor de evaluaties zelf. • De echte beloningshackers zijn de onderzoekers die deze benchmarks en trainingsloops creëren. • Hij zegt dat hij ideeën heeft over wat ontbreekt, maar zal ze niet openbaar delen. • ASI echter binnen 5-20 jaar "Weet je wat gek is? Dat dit allemaal echt is" Ik voelde die zin echt.