Miło mi było być gościem u Dwarkesha w zeszłym tygodniu, myślałem, że pytania i rozmowa były naprawdę dobre. Właśnie teraz obejrzałem ponownie ten podcast. Przede wszystkim, tak, wiem, i przepraszam, że mówię tak szybko :). To jest dla mnie niekorzystne, ponieważ czasami wątek mojej mowy wyprzedza wątek moich myśli, więc myślę, że kilka wyjaśnień mi się nie udało z tego powodu, a czasami byłem też zdenerwowany, że zbaczam z tematu lub wchodzę zbyt głęboko w coś stosunkowo nieistotnego. W każdym razie, kilka uwag/wskaźników: Harmonogramy AGI. Moje komentarze na temat harmonogramów AGI wydają się być najbardziej popularną częścią wczesnej reakcji. To "dekada agentów" odnosi się do tego wcześniejszego tweeta. W zasadzie moje harmonogramy AI są o 5-10 razy bardziej pesymistyczne w porównaniu do tego, co znajdziesz na lokalnej imprezie AI w SF lub na swoim twitterowym timeline, ale wciąż dość optymistyczne w kontekście rosnącej fali zaprzeczających AI i sceptyków. Pozorny konflikt nie jest: moim zdaniem jednocześnie 1) widzieliśmy ogromny postęp w ostatnich latach z LLM, podczas gdy 2) wciąż pozostaje wiele pracy do wykonania (praca gruntowa, praca integracyjna, czujniki i aktuatory w świecie fizycznym, praca społeczna, praca nad bezpieczeństwem i ochroną (łamanie zabezpieczeń, trucie itp.)) oraz badania do przeprowadzenia, zanim będziemy mieli byt, którego wolałbyś zatrudnić zamiast człowieka do dowolnej pracy na świecie. Myślę, że ogólnie rzecz biorąc, 10 lat powinno być bardzo optymistycznym harmonogramem dla AGI, tylko w kontraście do obecnego szumu nie wydaje się to w ten sposób. Zwierzęta vs Duchy. Moja wcześniejsza analiza na podcaście Suttona. Jestem sceptyczny, że istnieje jeden prosty algorytm, który można puścić w świat i nauczy się wszystkiego od podstaw. Jeśli ktoś zbuduje coś takiego, będę w błędzie i będzie to najbardziej niesamowity przełom w AI. W moim mniemaniu, zwierzęta wcale nie są tego przykładem - są zapakowane z ogromną ilością inteligencji przez ewolucję, a nauka, którą przeprowadzają, jest w sumie dość minimalna (przykład: zebra w chwili narodzin). Zakładając nasze inżynieryjne kapelusze, nie zamierzamy powtarzać ewolucji. Ale z LLM natknęliśmy się na alternatywne podejście do "zapakowania" ogromnej ilości inteligencji w sieci neuronowej - nie przez ewolucję, ale przez przewidywanie następnego tokena w internecie. To podejście prowadzi do innego rodzaju bytu w przestrzeni inteligencji. Różni się od zwierząt, bardziej przypomina duchy lub byty. Ale możemy (i powinniśmy) sprawić, by były bardziej podobne do zwierząt z czasem, a w pewnym sensie o to chodzi w wielu pracach na granicy. O RL. Krytykowałem RL już kilka razy, np. . Po pierwsze, "sączysz nadzór przez słomkę", więc myślę, że sygnał/flop jest bardzo zły. RL jest również bardzo hałaśliwe, ponieważ zakończenie może mieć wiele błędów, które mogą być zachęcane (jeśli przypadkiem trafisz na właściwą odpowiedź), a odwrotnie, genialne tokeny wglądu mogą być zniechęcane (jeśli przypadkiem się pomylisz później). Nadzór procesów i sędziowie LLM również mają swoje problemy. Myślę, że zobaczymy alternatywne paradygmaty uczenia się. Jestem za "interakcją agentową", ale przeciw "uczeniu przez wzmocnienie". Widziałem ostatnio kilka prac, które moim zdaniem idą w dobrym kierunku wzdłuż linii tego, co nazwałem "uczeniem się przez systemowe podpowiedzi", ale myślę, że istnieje również luka między pomysłami na arxiv a rzeczywistą, na dużą skalę implementacją w laboratorium LLM, które działa w ogólny sposób. Ogólnie jestem dość optymistyczny, że wkrótce zobaczymy dobre postępy w tym wymiarze pozostałej pracy, a np. powiedziałbym, że pamięć ChatGPT i tak dalej są pierwotnymi przykładami nowych paradygmatów uczenia się. Rdzeń poznawczy. Moja wcześniejsza publikacja na temat "rdzenia poznawczego": , pomysł na uproszczenie LLM, utrudnienie im zapamiętywania lub aktywne usuwanie ich pamięci, aby lepiej radziły sobie z generalizacją. W przeciwnym razie zbytnio polegają na tym, co zapamiętały. Ludzie nie mogą tak łatwo zapamiętywać, co teraz wydaje się bardziej cechą niż wadą w porównaniu. Może niemożność zapamiętywania jest rodzajem regularizacji. Również moja publikacja sprzed jakiegoś czasu na temat tego, jak trend w rozmiarze modeli jest "wsteczny" i dlaczego "modele muszą najpierw stać się większe, zanim będą mogły stać się mniejsze". Podróż w czasie do Yanna LeCuna 1989. To jest post, który opisałem w bardzo pośpiesznym/złym stylu w podcaście: . W zasadzie - jak bardzo można poprawić wyniki Yanna LeCuna dzięki wiedzy o 33 latach postępu algorytmicznego? Jak bardzo wyniki były ograniczone przez każdy z algorytmów, dane i obliczenia? Studium przypadku tam. nanochat. Moja implementacja end-to-end pipeline'u treningu/wnioskowania ChatGPT (najważniejsze elementy). O agentach LLM. Moja krytyka branży dotyczy bardziej przeszacowania narzędzi w stosunku do obecnych możliwości. Żyję w tym, co postrzegam jako świat pośredni, w którym chcę współpracować z LLM i gdzie nasze zalety/wady są dopasowane. Branża żyje w przyszłości, w której w pełni autonomiczne byty współpracują równolegle, aby napisać cały kod, a ludzie są bezużyteczni. Na przykład, nie chcę agenta, który znika na 20 minut i wraca z 1000 liniami kodu. Z pewnością nie czuję się gotowy, aby nadzorować zespół 10 z nich. Chciałbym pracować w kawałkach, które mogę utrzymać w głowie, gdzie LLM wyjaśnia kod, który pisze. Chciałbym, aby udowodnił mi, że to, co zrobił, jest poprawne, chcę, aby wyciągnął dokumentację API i pokazał mi, że użył rzeczy poprawnie. Chcę, aby miał mniej założeń i pytał/współpracował ze mną, gdy nie jest pewny czegoś. Chcę uczyć się w trakcie i stawać się lepszym programistą, a nie tylko dostawać góry kodu, które są mi mówione, że działają. Po prostu myślę, że narzędzia powinny być bardziej realistyczne w stosunku do swoich możliwości i tego, jak pasują do branży dzisiaj, a obawiam się, że jeśli nie zostanie to dobrze zrobione, możemy skończyć z górami bałaganu gromadzącymi się w oprogramowaniu oraz wzrostem podatności, naruszeń bezpieczeństwa itp. Automatyzacja pracy. Jak radiolodzy radzą sobie świetnie i które zawody są bardziej podatne na automatyzację i dlaczego. Fizyka. Dzieci powinny uczyć się fizyki w wczesnej edukacji nie dlatego, że będą zajmować się fizyką, ale dlatego, że jest to przedmiot, który najlepiej uruchamia mózg. Fizyków można porównać do komórek macierzystych embrionalnych. Mam dłuższy post, który jest w połowie napisany w moich szkicach od ~roku, który mam nadzieję wkrótce dokończyć. Jeszcze raz dziękuję Dwarkeshowi za zaproszenie!