De bekende podcaster Dwarkesh Patel had onlangs een interview met AK, en dit is zijn beschrijving: Voor mij was het meest interessante deel dat Andrej Karpathy (vaak door fans "de AI-god" genoemd) uitlegde waarom grote taalmodellen (LLM) niet zoals mensen kunnen leren. Zoals verwacht, kwam de god van de AI weer met een bijzonder levendig woord om versterkend leren (Reinforcement Learning, afgekort RL) te beschrijven: "met een rietje toezichtdata opzuigen". Wat betekent dat? Het betekent dat in een succesvolle poging (bijvoorbeeld als de AI een schaakspel wint), de uiteindelijke beloning voor het "winnen" wordt verdeeld over elke stap die het heeft gezet en elk woord dat het heeft gegenereerd. Zelfs als sommige stappen onderweg fout of irrelevant zijn, zolang het eindresultaat goed is, worden deze stappen allemaal "gewaardeerd" door het algoritme. > "Ik heb eerder al gezegd dat mensen geen versterkend leren gebruiken. Ik denk dat de manier waarop mensen leren volledig anders is. Versterkend leren is veel slechter dan de meeste mensen denken. Versterkend leren is slecht. Het enige is dat andere algoritmen die we eerder hadden, veel slechter waren dan dat." Dus, hoe leren mensen eigenlijk? > "Als ik een boek lees, is dat boek voor mij een set 'aanwijzingen' (prompts) om 'synthetische data' (synthetic data generation) in mijn hoofd te 'synthesizeren'. Je moet deze informatie actief verwerken om echt kennis te verwerven. Maar grote taalmodellen (LLM) hebben geen overeenkomstig mechanisme; ze doen dat echt niet." > "Ik zou graag een fase in het voortrainingsproces (pretraining) van het model zien waarin het model kan 'overpeinzen' over het materiaal dat het leest en probeert het te koppelen aan de kennis die het al heeft (dat wil zeggen, het integreren). Er is momenteel helemaal geen mechanisme voor. Dit is nog steeds in de onderzoeksfase." Waarom kunnen we deze "denktraining" niet nu al aan grote taalmodellen toevoegen? > "Er zijn zeer subtiele, moeilijk te begrijpen redenen waarom dit niet zo eenvoudig is. Als ik het model laat 'nadenken' over een boek en wat synthetische data genereer, zou je in eerste instantie denken: 'Dit ziet er geweldig uit! Waarom kunnen we het niet gebruiken om te trainen?' Je kunt het proberen, maar als je dat blijft doen, zal de prestatie van het model in feite slechter worden." > "Bijvoorbeeld, als we een hoofdstuk van een boek nemen en ik laat een groot taalmodel erover 'nadenken'. Het zal je een antwoord geven dat er heel redelijk uitziet. Maar als ik het 10 keer laat antwoorden, zul je merken dat deze 10 antwoorden bijna identiek zijn." > "Je krijgt uit deze modellen niet de rijkdom, diversiteit en 'entropie' (hier verwijzend naar de chaos en creativiteit van het denken) die je krijgt bij menselijk denken. Je kunt niet zoals een mens allerlei bizarre ideeën krijgen. Dus, hoe kunnen we synthetische data laten werken terwijl het model de neiging heeft om te 'collapsen' (collapse) (wat betekent dat de antwoorden eentonig en diversiteitsarm worden) en tegelijkertijd die 'entropie' behouden? Dat is nog steeds een onderzoeksprobleem." Hoe vermijden mensen deze "denkcollaps"? > "(De vergelijking tussen mensen en modellen) is een opmerkelijk idee. Mensen 'collapsen' ook in hun leven. Kinderen hebben nog geen 'overfitting' (overfitting) (wat betekent dat hun denken star is en zich alleen aan specifieke patronen aanpast). Ze zeggen dingen die je verbazen. Dat komt omdat ze nog niet 'gecollapst' zijn. Maar wij volwassenen zijn al 'gecollapst'. We zullen uiteindelijk steeds dezelfde ideeën overdenken, wat we zeggen wordt steeds meer gelijk, onze leersnelheid daalt, en de 'collaps' wordt steeds erger, uiteindelijk vervalt alles." In feite is er een zeer interessant artikel (Erik Hoel's "De Overfitted Brain") dat stelt dat de evolutie van de functie van dromen bij mensen is om ons te helpen onze 'generaliserende capaciteit' (generalization) (het vermogen om van het ene naar het andere te leren) te verbeteren en ons te beschermen tegen de 'overfitting' die voortkomt uit dagelijks leren. ...