Známý podcastový blogger Dwarkesh Patel nedávno poskytl rozhovor AK a zde je návod, jak to popsal: Pro mě bylo nejzajímavější vysvětlování Andreje Karpathyho (odborníka na umělou inteligenci, často označovaného jako "Kashen") toho, proč se velké jazykové modely (LLM) nemohou učit jako lidé. Jistě, Kashen vymyslel obzvláště živé slovo k popisu zpětnovazebního učení (RL): "Absorbovat řízená data brčkem". Co to znamená? To znamená, že při úspěšném pokusu (jako je vítězství umělé inteligence v šachové partii) bude konečná odměna za "výhru" rovnoměrně rozložena mezi každý její krok a každé slovo, které vygeneruje. I když jsou některé kroky uprostřed nesprávné nebo irelevantní, pokud je konečný výsledek správný, všechny tyto kroky budou algoritmem "přidány". > "Už jsem řekl, že lidé nepoužívají zpětnovazební učení. Myslím, že lidé se učí úplně jinak. Zpětnovazební učení je mnohem horší, než si průměrný člověk myslí. Intenzivní učení je na. Jde jen o to, že ostatní algoritmy, které jsme měli předtím, byly mnohem horší než on. ” Jak se tedy lidé učí? > "Četl jsem knihu, která je pro mě souborem 'podnětů', které mi v hlavě dělají 'syntetické generování dat'. S těmito informacemi musíte pracovat proaktivně, abyste skutečně získali znalosti. Velké jazykové modely (LLM) však nemají odpovídající mechanismus; To opravdu nedělají. ” > "Rád bych viděl odkaz v předtréninkové fázi modelu, kde by model mohl 'přemýšlet' o tom, co čte, a pokusit se to 'sladit' s tím, co již ví. Nyní takový mechanismus vůbec neexistuje. To je stále ve fázi výzkumu. ” Tak proč nemůžeme tento druh tréninku "myšlení" přidat k velkým jazykovým modelům už teď? > "Existují pro to velmi jemné, nepochopitelné důvody, které to činí ne tak jednoduchým. Když požádám model, aby se "zamyslel" nad knihou a vygeneroval nějaká syntetická data, na první pohled si pomyslíte: "To vypadá skvěle!" Proč jej nemůžete použít pro trénink? Můžete to zkusit, ale pokud v tom budete pokračovat, model bude ve skutečnosti fungovat hůře. ” > "Řekněme, že si vezmeme kapitolu z knihy a já požádám velký jazykový model, aby 'přemýšlel'. Poskytne vám odstavec, který vypadá velmi rozumně. Ale když ho požádám, aby odpověděl 10krát, uvidíte, že odpovědi jsou v těchto 10 případech téměř identické. ” > "Z těchto modelů nezískáte bohatství, rozmanitost a 'entropii' lidského myšlení (v tomto případě chaos a kreativitu myšlení). Nemůžete mít všechny druhy divokých nápadů jako člověk. Jak tedy mohou syntetická data fungovat a udržet si tuto "entropii", když model má tendenci "kolabovat" (což znamená, že odpověď se stává jedinou a postrádá rozmanitost)? To je stále výzkumný problém. ” Jak se tedy lidé vyhýbají tomuto "kolapsu myšlení"? > Myšlenka (analogie mezi lidmi a modely) je překvapivě dobrá. Ve svých vlastních životech se lidské bytosti ve skutečnosti "zhroutí". Děti ještě nejsou "převybavené" (což odkazuje na rigidní myšlení a přizpůsobování se pouze určitým vzorcům). Řeknou něco, co vás šokuje. To proto, že se ještě "nezhroutili". Ale my dospělí jsme se "zhroutili". Skončíme tím, že budeme myslet na stejnou věc znovu a znovu, to, co říkáme, se stává více a více konvergentní, naše rychlost učení klesá, "kolaps" se zhoršuje a zhoršuje a nakonec se všechno degraduje. ” Ve skutečnosti zajímavý článek (Erik Hoel's "The Overequipped Brain") naznačuje, že evoluce lidské snové funkce nám má pomoci zlepšit naše "zobecnění" (schopnost vyvozovat závěry) a odolat "přeučení" způsobenému každodenním učením. ...