Właśnie miałem losową myśl: LLM-y takie jak ChatGPT muszą być ogromnym wsparciem dla niekompetentnych ministrów rządowych w małych krajach, którzy zdobyli swoje stanowiska dzięki nepotyzmowi lub sieciom patronackim. Ci ludzie często mają prawdziwą władzę, ale są zmuszeni ukrywać swoją niekompetencję przed podwładnymi, przed władzą polityczną i przed społeczeństwem, z oczywistych powodów. Na przykład, jestem pewien, że są ministrowie ds. górnictwa, którzy wiedzą bardzo mało o górnictwie, biznesie czy ekonomii, ale mimo to są odpowiedzialni za negocjacje z wyrafinowanymi międzynarodowymi firmami górniczymi. Albo gubernatorzy banków centralnych, którzy tak naprawdę nie rozumieją podstawowej makroekonomii ani tego, jak działają kredyty i inflacja. W przeszłości ci ludzie musieli w zasadzie "improwizować" i mieć nadzieję na najlepsze, lub polegać na swoich nieco mniej niekompetentnych podwładnych i modlić się, żeby nie poszło zbyt źle. Mogli też wydawać dużo pieniędzy na ekspertów konsultantów, co ma swoje własne wady. Teraz ci ministrowie mogą po prostu otworzyć ChatGPT w prywatności swojego biura i wyjaśnić swoje problemy oraz decyzje, które muszą podjąć, przesłać dokumenty i formularze z MFW lub skądkolwiek indziej, i uzyskać całkiem dobre porady ekspertów za darmo z modelu na czołowej linii. Wszystko to bez ujawniania nikomu, że nie wiedzą, co robią. Byłoby fascynujące wiedzieć, ile osób korzysta z LLM-ów w ten sposób dzisiaj. Wydaje się, że to dobra rzecz. Świat ma ogromny niedobór ekspertyzy. A raczej, ci, którzy mają dostęp do władzy, często nie są tymi, którzy mają odpowiednie umiejętności lub wiedzę. Mam tylko nadzieję, że ci ludzie wykupują subskrypcję za 200 dolarów miesięcznie i korzystają z modelu GPT-5 Pro. Ale w pewnym sensie wątpię, że tak jest…

Dobre intencje nie mają znaczenia w takich sprawach. Liczą się rzeczywiste konsekwencje naszych decyzji i działań dotyczących rozwoju i wdrażania AI oraz robotyki. Cokolwiek, co nas spowalnia lub stawia w niekorzystnej sytuacji w porównaniu do Chin w imię "bezpieczeństwa", jest złe.

DeepSeek właśnie opublikował dość szokujący nowy dokument. Naprawdę ukryli tu główną myśl, nazywając go po prostu DeepSeek OCR. Chociaż jest to bardzo silny model OCR, jego cel i implikacje ich podejścia wykraczają daleko poza to, czego można by się spodziewać po "jeszcze jednym modelu OCR". Tradycyjnie, tokeny wizji LLM wydawały się niemal myślą poboczną lub "przyczepioną" do paradygmatu LLM. A 10 tys. słów w języku angielskim zajmowałoby znacznie więcej miejsca w multimodalnym LLM, gdyby było wyrażone jako zrozumiałe piksele, niż gdyby było wyrażone jako tokeny. Więc te 10 tys. słów mogło zamienić się w 15 tys. tokenów, lub 30 tys. do 60 tys. "tokenów wizualnych". Tak więc tokeny wizji były znacznie mniej efektywne i naprawdę miały sens tylko w przypadku danych, które nie mogły być skutecznie przekazane słowami. Ale to teraz się odwraca w oparciu o pomysły zawarte w tym dokumencie. DeepSeek odkrył, jak uzyskać 10 razy lepszą kompresję przy użyciu tokenów wizualnych niż przy użyciu tokenów tekstowych! Teoretycznie można by więc przechować te 10 tys. słów w zaledwie 1,500 ich specjalnych skompresowanych tokenów wizualnych. To może nie być tak nieoczekiwane, jak się wydaje, jeśli pomyślisz o tym, jak działa twój własny umysł. W końcu wiem, że kiedy szukam fragmentu książki, którą już przeczytałem, wyobrażam to sobie wizualnie i zawsze pamiętam, po której stronie książki to było i mniej więcej gdzie na stronie, co sugeruje, że działa jakaś forma wizualnej reprezentacji pamięci. Teraz nie jest jasne, jak dokładnie to współdziała z innymi funkcjami poznawczymi LLM; czy model może rozumować tak inteligentnie na podstawie tych skompresowanych tokenów wizualnych, jak może to robić przy użyciu zwykłych tokenów tekstowych? Czy to sprawia, że model jest mniej elokwentny, zmuszając go do bardziej wizualnej modalności? Ale można sobie wyobrazić, że w zależności od dokładnych kompromisów, może to być bardzo ekscytująca nowa oś do znacznego zwiększenia efektywnych rozmiarów kontekstu. Szczególnie w połączeniu z innym niedawnym dokumentem DeepSeek sprzed kilku tygodni na temat rzadkiej uwagi. Z tego, co wiemy, Google mógł już coś takiego wymyślić, co mogłoby wyjaśniać, dlaczego Gemini ma tak ogromny rozmiar kontekstu i jest tak dobry i szybki w zadaniach OCR. Jeśli tak, prawdopodobnie by tego nie powiedzieli, ponieważ byłoby to postrzegane jako ważna tajemnica handlowa. Ale miłą rzeczą w DeepSeek jest to, że uczynili to wszystko otwartym źródłem i otwartymi wagami oraz wyjaśnili, jak to zrobili, więc teraz każdy może to wypróbować i zbadać. Nawet jeśli te sztuczki sprawiają, że uwaga jest bardziej stratna, potencjał uzyskania granicznego LLM z oknem kontekstowym 10 lub 20 milionów tokenów jest dość ekscytujący. Można by zasadniczo wcisnąć wszystkie kluczowe dokumenty wewnętrzne firmy do wstępu do podpowiedzi i zbuforować to z OpenAI, a następnie po prostu dodać swoje konkretne zapytanie lub podpowiedź na to i nie musieć się martwić o narzędzia wyszukiwania, a nadal byłoby to szybkie i opłacalne. Lub umieścić cały kod w kontekście i zbuforować go, a następnie po prostu kontynuować dodawanie odpowiednika różnic git, gdy wprowadzasz zmiany w kodzie. Jeśli kiedykolwiek czytałeś historie o wielkim fizyku Hansie Bethe, był znany z tego, że miał zapamiętane ogromne ilości przypadkowych faktów fizycznych (jak cała tablica okresowa; temperatury wrzenia różnych substancji itp.), aby mógł płynnie myśleć i obliczać, nie przerywając nigdy swojego toku myślenia, aby coś sprawdzić w tabeli odniesień. Posiadanie ogromnych ilości wiedzy specyficznej dla zadania w pamięci roboczej jest niezwykle przydatne. To wydaje się bardzo sprytnym i dodatnim podejściem do potencjalnego rozszerzenia tej pamięci o 10 razy lub więcej.