DApp Store | Centrum Web3 pro události a hry

Populární témata

宝玉

Prompt Engineer, který se věnuje učení a šíření znalostí o umělé inteligenci, softwarovém inženýrství a inženýrském managementu.

Známý podcastový blogger Dwarkesh Patel nedávno poskytl rozhovor AK a zde je návod, jak to popsal: Pro mě bylo nejzajímavější vysvětlování Andreje Karpathyho (odborníka na umělou inteligenci, často označovaného jako "Kashen") toho, proč se velké jazykové modely (LLM) nemohou učit jako lidé. Jistě, Kashen vymyslel obzvláště živé slovo k popisu zpětnovazebního učení (RL): "Absorbovat řízená data brčkem". Co to znamená? To znamená, že při úspěšném pokusu (jako je vítězství umělé inteligence v šachové partii) bude konečná odměna za "výhru" rovnoměrně rozložena mezi každý její krok a každé slovo, které vygeneruje. I když jsou některé kroky uprostřed nesprávné nebo irelevantní, pokud je konečný výsledek správný, všechny tyto kroky budou algoritmem "přidány". > "Už jsem řekl, že lidé nepoužívají zpětnovazební učení. Myslím, že lidé se učí úplně jinak. Zpětnovazební učení je mnohem horší, než si průměrný člověk myslí. Intenzivní učení je na. Jde jen o to, že ostatní algoritmy, které jsme měli předtím, byly mnohem horší než on. ” Jak se tedy lidé učí? > "Četl jsem knihu, která je pro mě souborem 'podnětů', které mi v hlavě dělají 'syntetické generování dat'. S těmito informacemi musíte pracovat proaktivně, abyste skutečně získali znalosti. Velké jazykové modely (LLM) však nemají odpovídající mechanismus; To opravdu nedělají. ” > "Rád bych viděl odkaz v předtréninkové fázi modelu, kde by model mohl 'přemýšlet' o tom, co čte, a pokusit se to 'sladit' s tím, co již ví. Nyní takový mechanismus vůbec neexistuje. To je stále ve fázi výzkumu. ” Tak proč nemůžeme tento druh tréninku "myšlení" přidat k velkým jazykovým modelům už teď? > "Existují pro to velmi jemné, nepochopitelné důvody, které to činí ne tak jednoduchým. Když požádám model, aby se "zamyslel" nad knihou a vygeneroval nějaká syntetická data, na první pohled si pomyslíte: "To vypadá skvěle!" Proč jej nemůžete použít pro trénink? Můžete to zkusit, ale pokud v tom budete pokračovat, model bude ve skutečnosti fungovat hůře. ” > "Řekněme, že si vezmeme kapitolu z knihy a já požádám velký jazykový model, aby 'přemýšlel'. Poskytne vám odstavec, který vypadá velmi rozumně. Ale když ho požádám, aby odpověděl 10krát, uvidíte, že odpovědi jsou v těchto 10 případech téměř identické. ” > "Z těchto modelů nezískáte bohatství, rozmanitost a 'entropii' lidského myšlení (v tomto případě chaos a kreativitu myšlení). Nemůžete mít všechny druhy divokých nápadů jako člověk. Jak tedy mohou syntetická data fungovat a udržet si tuto "entropii", když model má tendenci "kolabovat" (což znamená, že odpověď se stává jedinou a postrádá rozmanitost)? To je stále výzkumný problém. ” Jak se tedy lidé vyhýbají tomuto "kolapsu myšlení"? > Myšlenka (analogie mezi lidmi a modely) je překvapivě dobrá. Ve svých vlastních životech se lidské bytosti ve skutečnosti "zhroutí". Děti ještě nejsou "převybavené" (což odkazuje na rigidní myšlení a přizpůsobování se pouze určitým vzorcům). Řeknou něco, co vás šokuje. To proto, že se ještě "nezhroutili". Ale my dospělí jsme se "zhroutili". Skončíme tím, že budeme myslet na stejnou věc znovu a znovu, to, co říkáme, se stává více a více konvergentní, naše rychlost učení klesá, "kolaps" se zhoršuje a zhoršuje a nakonec se všechno degraduje. ” Ve skutečnosti zajímavý článek (Erik Hoel's "The Overequipped Brain") naznačuje, že evoluce lidské snové funkce nám má pomoci zlepšit naše "zobecnění" (schopnost vyvozovat závěry) a odolat "přeučení" způsobenému každodenním učením. Tak jsem se zeptal Kashena: Je to obzvlášť zajímavé? —— V období, kdy je lidská schopnost učit se nejsilnější (dětství), zapomeneme na všechny specifické podrobnosti toho, co jsme se naučili. Dospělí se sice umí dobře učit, ale jejich paměť na to, co četli nebo viděli, je také hrozná; Pokud jde o velké jazykové modely, mohou si pamatovat obrovské textové detaily, které si lidé vůbec nepamatují, ale mají špatný výkon z hlediska "schopnosti zobecňování". > "(Lidská zapomnětlivá paměť) To je přesně 'vlastnost', ne 'chyba'. Protože vás to nutí učit se jen ty věci, které mají skutečně schopnost zobecňovat. Pokud jde o velké jazykové modely, ty jsou "rozptylovány" obrovskými detaily, které zaznamenaly ve svých (předem natrénovaných) dokumentech. Proto, když mluvím o "kognitivním jádru", chci si vlastně vzít paměť. Raději bych měl horší paměť, aby museli (aktivně) vyhledávat informace a nechávat si pouze "myslící algoritmy", "myšlenku experimentování" a všechny tyto "kognitivní lepidlo" pro akci. ”

Nejzajímavější částí pro mě je, kde @karpathy popisuje, proč se LLM nemohou učit jako lidé. Jak byste očekávali, přichází s úžasně sugestivní frází, která popisuje RL: "sání supervizních kousků brčkem". Jediná závěrečná odměna se vysílá přes každý token na úspěšné trajektorii, čímž se zvyšuje i nesprávná nebo nepodstatná otočení, která vedou ke správné odpovědi. > "Lidé nepoužívají zpětnovazební učení, jak jsem řekl dříve. Myslím, že dělají něco jiného. Zpětnovazební učení je mnohem horší, než si průměrný člověk myslí. Zpětnovazební učení je hrozné. Stává se, že všechno, co jsme měli předtím, je mnohem horší." Co tedy lidé dělají místo toho? > "Kniha, kterou čtu, je pro mě sada výzev ke generování syntetických dat. Manipulací s těmito informacemi tyto znalosti skutečně získáte. Nemáme žádný ekvivalent toho s LLM; To opravdu nedělají." > "Rád bych během předtréninku viděl nějakou fázi, kdy model materiál promyslí a pokusí se ho sladit s tím, co už zná. Neexistuje žádný ekvivalent ničeho z toho. To vše je výzkum." Proč nemůžeme toto školení přidat do LLM už dnes? > "Existují velmi jemné, těžko pochopitelné důvody, proč to není triviální. Když dám syntetickou generaci modelu a přemýšlíte o knize, podíváte se na ni a řeknete si: 'To vypadá skvěle. Proč na něm nemůžu trénovat?' Můžete to zkusit, ale pokud to budete zkoušet dál, model se ve skutečnosti mnohem zhorší." > "Řekněme, že máme kapitolu v knize a já požádám LLM, aby se nad tím zamyslel. Dá vám něco, co vypadá velmi rozumně. Ale když se na to zeptám desetkrát, všimnete si, že jsou všechny stejné." > "Z těchto modelů nezískáváte bohatství, rozmanitost a entropii, jakou byste získali od lidí. Jak docílit toho, aby generování syntetických dat fungovalo i přes kolaps a při zachování entropie? Je to výzkumný problém." Jak lidé obcházejí kolaps modelu? > "Tyto analogie jsou překvapivě dobré. Lidé se v průběhu svého života zhroutí. Děti se ještě nepřepasovaly. Řeknou věci, které vás šokují. Protože ještě nejsou zhroucené. Ale my [dospělí] jsme zhrouceni. Nakonec se vracíme ke stejným myšlenkám, říkáme stále více stejných věcí, míra učení klesá, kolaps se stále zhoršuje a pak se všechno zhoršuje." Ve skutečnosti existuje zajímavý článek, který tvrdí, že snění se vyvinulo, aby napomáhalo zobecňování a odolávalo přeučení každodennímu učení – podívejte se na The Overequipped Brain od @erikphoel. Zeptal jsem se Karpathyho: Není zajímavé, že lidé se nejlépe učí v té části svého života (dětství), jejíž skutečné detaily zcela zapomínají, dospělí se stále učí opravdu dobře, ale mají hroznou paměť na podrobnosti věcí, které čtou nebo sledují, a LLM si mohou zapamatovat libovolné detaily o textu, které by žádný člověk nedokázal, ale v současné době jsou dost špatní v generalizaci? > "[Omylná lidská paměť] je vlastnost, ne chyba, protože vás nutí učit se pouze zobecnitelné komponenty. LLM jsou rozptylováni veškerou pamětí, kterou mají z předem natrénovaných dokumentů. Proto, když mluvím o kognitivním jádru, chci vlastně odstranit paměť. Byla bych ráda, kdyby měli méně paměti, aby si museli věci vyhledávat a udržovali si pouze algoritmy pro myšlení, myšlenku experimentu a všechno to kognitivní lepidlo pro herectví."

Top

Hodnocení

Oblíbené