DApp Store | Web3 Hub for hendelser og spill

Populære emner

宝玉

Prompt Engineer, dedikert til å lære og spre kunnskap om AI, programvareteknikk og ingeniørledelse.

Den kjente podcastbloggeren Dwarkesh Patel hadde nylig et intervju med AK, og her er hvordan han beskrev det: For meg var den mest interessante delen Andrej Karpathy (en AI-ekspert ofte referert til som "Kashen") som forklarte hvorfor store språkmodeller (LLM) ikke kan lære som mennesker. Ganske riktig, Kashen laget et spesielt levende ord for å beskrive forsterkende læring (RL): "Absorber overvåkede data med et sugerør". Hva betyr dette? Det vil si at i et vellykket forsøk (som at AI vinner et sjakkparti), vil den endelige belønningen for å "vinne" bli fordelt likt på hvert skritt det tar og hvert ord det genererer. Selv om noen av trinnene i midten er feil eller irrelevante, så lenge det endelige resultatet er riktig, vil alle disse trinnene bli "lagt til" av algoritmen. > «Jeg har sagt før at mennesker ikke bruker forsterkende læring. Jeg tror mennesker lærer helt annerledes. Forsterkende læring er mye verre enn gjennomsnittspersonen tror. Intensiv læring suger. Det er bare det at de andre algoritmene vi hadde før var mye verre enn det. ” Så, hvordan lærer mennesker? > «Jeg leste en bok som for meg er et sett med 'oppfordringer' for å gjøre meg til 'syntetisk datagenerering' i hodet mitt. Du må jobbe proaktivt med denne informasjonen for å virkelig få kunnskap. Store språkmodeller (LLM-er) har imidlertid ikke en tilsvarende mekanisme; Det gjør de virkelig ikke. ” > «Jeg vil gjerne se en kobling i fortreningsfasen av modellen der modellen kan «tenke på» det den leser og prøve å «matche» det med det den allerede vet. Nå er det ingen slik mekanisme i det hele tatt. Dette er fortsatt på forskningsstadiet. ” Så hvorfor kan vi ikke legge til denne typen "tenketrening" til store språkmodeller nå? > "Det er veldig subtile, uforståelige grunner til dette, noe som gjør det ikke så enkelt. Hvis jeg ber modellen om å "tenke" på en bok og generere noen syntetiske data, tenker du ved første øyekast: "Dette ser bra ut!" Hvorfor kan du ikke bruke den til trening? Du kan prøve, men hvis du fortsetter å gjøre dette, vil modellen faktisk prestere dårligere. ” > «La oss si at vi tar et kapittel i en bok, og jeg ber en stor språkmodell om å 'tenke'. Det vil gi deg et avsnitt som ser veldig fornuftig ut. Men hvis jeg ber den om å svare 10 ganger, vil du se at svarene er nesten identiske i de 10 gangene. ” > «Du får ikke rikdommen, mangfoldet og 'entropien' til menneskelig tenkning fra disse modellene (i dette tilfellet kaoset og kreativiteten i tenkningen). Du kan ikke få alle slags ville ideer som en person. Så hvordan kan syntetiske data fungere og opprettholde denne "entropien" når modellen har en tendens til å "kollapse" (noe som betyr at svaret blir enkelt og mangler mangfold)? Dette er fortsatt et forskningsproblem. ” Så hvordan unngår mennesker denne "kollapsen av tenkning"? > Ideen (om analogi mellom mennesker og modeller) er overraskende god. I sine egne liv vil mennesker faktisk 'kollapse'. Barn har ennå ikke "overtilpasset" (refererer til rigid tenkning og bare tilpasser seg visse mønstre). De vil si noe som sjokkerer deg. Det er fordi de ikke har "kollapset" ennå. Men vi voksne har 'kollapset'. Vi ender opp med å tenke det samme om og om igjen, det vi sier blir mer og mer konvergerende, læringshastigheten vår synker, "kollapsen" blir verre og verre, og til slutt forringes alt. ” Faktisk antyder en interessant artikkel (Erik Hoels "The Overfitted Brain") at utviklingen av den menneskelige drømmefunksjonen er å hjelpe oss med å forbedre vår "generalisering" (evnen til å trekke slutninger) og motstå "overtilpasningen" forårsaket av daglig læring. Så jeg spurte Kashen: Er dette spesielt interessant? I den perioden da menneskets læringsevne er sterkest (barndommen), vil vi glemme alle de spesifikke detaljene i det vi har lært. Selv om voksne kan lære godt, er hukommelsen deres om det de har lest eller sett også forferdelig; Når det gjelder store språkmodeller, kan de huske massive tekstdetaljer som mennesker ikke kan huske i det hele tatt, men de presterer dårlig når det gjelder "generaliseringsevne". > "(Menneskelig glemsomt minne) Dette er nettopp en 'funksjon', ikke en 'feil'. Fordi det tvinger deg til å lære bare de tingene som virkelig har evnen til å generalisere. Når det gjelder store språkmodeller, blir de "distrahert" av de massive detaljene de har registrert i sine (forhåndstrente) dokumenter. Det er derfor når jeg snakker om den "kognitive kjernen", vil jeg faktisk ta bort minnet. Jeg vil heller ha en dårligere hukommelse, slik at de (aktivt) må slå opp informasjon, og bare beholde "tenkealgoritmene", "ideen om å eksperimentere" og alle disse "kognitive limene" for handling. ”

Den mest interessante delen for meg er hvor @karpathy beskriver hvorfor LLM-er ikke er i stand til å lære som mennesker. Som du forventer, kommer han med en fantastisk stemningsfull setning for å beskrive RL: "suger tilsynsbiter gjennom et sugerør." En enkelt sluttbelønning blir kringkastet over hvert token i en vellykket bane, og oppvekter selv feil eller irrelevante svinger som fører til det riktige svaret. > "Mennesker bruker ikke forsterkende læring, som jeg har sagt før. Jeg tror de gjør noe annerledes. Forsterkende læring er mye verre enn gjennomsnittspersonen tror. Forsterkende læring er forferdelig. Det har seg slik at alt vi hadde før er mye verre.» Så hva gjør mennesker i stedet? > «Boken jeg leser er et sett med oppfordringer til meg om å gjøre syntetisk datagenerering. Det er ved å manipulere den informasjonen at du faktisk får den kunnskapen. Vi har ingen ekvivalent til det med LLM-er; de gjør egentlig ikke det.» > «Jeg vil gjerne se et slags stadium der modellen tenker gjennom materialet og prøver å forene det med det den allerede vet. Det er ingen ekvivalent til noe av dette. Alt dette er forskning.» Hvorfor kan vi ikke bare legge denne opplæringen til LLM-er i dag? > «Det er veldig subtile, vanskelig å forstå grunner til at det ikke er trivielt. Hvis jeg bare gir en syntetisk generasjon av modellen ved å tenke på en bok, ser du på den og tenker: 'Dette ser bra ut. Hvorfor kan jeg ikke trene på det?' Du kan prøve, men modellen vil faktisk bli mye verre hvis du fortsetter å prøve.» > «Si at vi har et kapittel i en bok, og jeg ber en LLM om å tenke på det. Det vil gi deg noe som ser veldig rimelig ut. Men hvis jeg spør om det 10 ganger, vil du legge merke til at alle er like.» > «Du får ikke rikdommen og mangfoldet og entropien fra disse modellene som du ville fått fra mennesker. Hvordan får du syntetisk datagenerering til å fungere til tross for kollapsen og samtidig som entropien opprettholdes? Det er et forskningsproblem.» Hvordan kommer mennesker seg rundt modellkollaps? > "Disse analogiene er overraskende gode. Mennesker kollapser i løpet av livet. Barn har ikke overfit ennå. De vil si ting som vil sjokkere deg. Fordi de ennå ikke er kollapset. Men vi [voksne] er kollapset. Vi ender opp med å gå tilbake til de samme tankene, vi ender opp med å si mer og mer av de samme tingene, læringsratene går ned, kollapsen fortsetter å bli verre, og så forverres alt.» Faktisk er det en interessant artikkel som argumenterer for at drømmer utviklet seg for å hjelpe til med generalisering, og motstå overtilpasning til daglig læring - slå opp The Overfitted Brain etter @erikphoel. Jeg spurte Karpathy: Er det ikke interessant at mennesker lærer best i en del av livet (barndommen) hvis faktiske detaljer de glemmer fullstendig, voksne lærer fortsatt veldig bra, men har forferdelig hukommelse om detaljene i tingene de leser eller ser på, og LLM-er kan huske vilkårlige detaljer om tekst som ingen mennesker kunne, men som for øyeblikket er ganske dårlige til å generalisere? > "[Feilbarlig menneskelig hukommelse] er en funksjon, ikke en feil, fordi den tvinger deg til å bare lære de generaliserbare komponentene. LLM-er blir distrahert av alt minnet de har om de forhåndstrente dokumentene. Det er derfor når jeg snakker om den kognitive kjernen, vil jeg faktisk fjerne minnet. Jeg vil gjerne at de skal ha mindre hukommelse slik at de må slå opp ting, og de opprettholder bare algoritmene for tanken, og ideen om et eksperiment, og alt dette kognitive limet for skuespill.»

Topp

Rangering

Favoritter