Het meest interessante voor mij is het gedeelte waarin @karpathy beschrijft waarom LLM's niet kunnen leren zoals mensen. Zoals je zou verwachten, komt hij met een prachtig evocatieve zin om RL te beschrijven: “supervisie-bits door een rietje zuigen.” Een enkele eindbeloning wordt uitgezonden over elk token in een succesvolle traject, waarbij zelfs verkeerde of irrelevante wendingen die naar het juiste antwoord leiden, worden opgewaardeerd. > “Mensen gebruiken geen versterkend leren, zoals ik eerder heb gezegd. Ik denk dat ze iets anders doen. Versterkend leren is veel slechter dan de gemiddelde persoon denkt. Versterkend leren is verschrikkelijk. Het toeval wil dat alles wat we daarvoor hadden veel slechter is.” Dus wat doen mensen in plaats daarvan? > “Het boek dat ik aan het lezen ben, is een set prompts voor mij om synthetische gegevensgeneratie te doen. Het is door die informatie te manipuleren dat je daadwerkelijk die kennis verwerft. We hebben daar geen equivalent van met LLM's; ze doen dat niet echt.” > “Ik zou graag willen zien dat er tijdens de pretraining een soort fase is waarin het model door het materiaal nadenkt en probeert het te verzoenen met wat het al weet. Er is geen equivalent van dit alles. Dit is allemaal onderzoek.” Waarom kunnen we deze training vandaag de dag niet gewoon aan LLM's toevoegen? > “Er zijn zeer subtiele, moeilijk te begrijpen redenen waarom het niet triviaal is. Als ik gewoon synthetische generatie van het model geef dat over een boek nadenkt, kijk je ernaar en je denkt: 'Dit ziet er geweldig uit. Waarom kan ik hier niet op trainen?' Je zou het kunnen proberen, maar het model zal daadwerkelijk veel slechter worden als je blijft proberen.” > “Stel dat we een hoofdstuk van een boek hebben en ik vraag een LLM om erover na te denken. Het zal je iets geven dat er heel redelijk uitziet. Maar als ik het 10 keer vraag, zul je merken dat ze allemaal hetzelfde zijn.” > “Je krijgt niet de rijkdom en de diversiteit en de entropie van deze modellen zoals je die van mensen zou krijgen. Hoe krijg je synthetische gegevensgeneratie aan de praat ondanks de ineenstorting en terwijl je de entropie behoudt? Het is een onderzoeksprobleem.” Hoe omzeilen mensen modelinval? > “Deze analogieën zijn verrassend goed. Mensen collapsen tijdens hun leven. Kinderen hebben nog niet overfit. Ze zullen dingen zeggen die je zullen verbazen. Omdat ze nog niet zijn ingestort. Maar wij [volwassenen] zijn ingestort. We eindigen met het herbezoeken van dezelfde gedachten, we eindigen met het zeggen van steeds meer van hetzelfde, de leersnelheden gaan omlaag, de ineenstorting blijft erger worden, en dan vervalt alles.” In feite is er een interessant artikel dat stelt dat dromen is geëvolueerd om generalisatie te helpen en overfitting aan dagelijkse leerervaringen te weerstaan - kijk naar The Overfitted Brain door @erikphoel. Ik vroeg Karpathy: Is het niet interessant dat mensen het beste leren in een deel van hun leven (kindertijd) waarvan ze de werkelijke details volledig vergeten, volwassenen nog steeds heel goed leren maar een vreselijk geheugen hebben over de bijzonderheden van de dingen die ze lezen of bekijken, en LLM's willekeurige details over tekst kunnen onthouden die geen mens zou kunnen, maar momenteel behoorlijk slecht zijn in generalisatie? > “[Foutieve menselijke geheugen] is een kenmerk, geen bug, omdat het je dwingt alleen de generaliseerbare componenten te leren. LLM's worden afgeleid door al het geheugen dat ze hebben van de voorgetrainde documenten. Daarom wil ik, als ik het heb over de cognitieve kern, eigenlijk het geheugen verwijderen. Ik zou graag willen dat ze minder geheugen hebben zodat ze dingen moeten opzoeken en ze alleen de algoritmen voor denken behouden, en het idee van een experiment, en al deze cognitieve lijm voor handelen.”