Ho appena avuto un pensiero casuale: i LLM come ChatGPT devono essere una grande benedizione per i ministri governativi incompetenti nei piccoli paesi che hanno ottenuto le loro posizioni attraverso il nepotismo o le reti di patronato. Queste persone spesso hanno un vero potere, ma sono spesso costrette a nascondere la loro incompetenza ai subordinati, ai governanti politici e alla popolazione, per ovvi motivi. Ad esempio, sono sicuro che ci siano alcuni ministri delle miniere che sanno molto poco di estrazione mineraria, affari o economia, ma sono comunque responsabili della negoziazione con sofisticate aziende minerarie internazionali. O governatori di banche centrali che non comprendono realmente le basi della macroeconomia o come funzionano il credito e l'inflazione. In passato, queste persone dovevano sostanzialmente "improvvisare" e sperare per il meglio, o deferire ai loro sottoposti leggermente meno incompetenti e pregare che le cose non andassero troppo male. Oppure potrebbero spendere molti soldi per consulenti esperti, il che ha i suoi svantaggi. Ora, quei ministri possono semplicemente aprire ChatGPT nella privacy del loro ufficio e spiegare i loro problemi e le decisioni che devono prendere, caricare documenti e moduli dal FMI o da dove sia, e ricevere ottimi consigli esperti gratuitamente da un modello all'avanguardia. Tutto senza rivelare a nessuno che non sanno cosa stanno facendo. Sarebbe così affascinante sapere quante persone stanno usando i LLM in questo modo oggi. Sembra una cosa positiva. Il mondo è molto carente di competenze. O meglio, coloro che hanno accesso al potere spesso non sono quelli con le competenze o le conoscenze rilevanti. Spero solo che queste persone stiano pagando per l'abbonamento da $200/mese e utilizzando il modello GPT-5 Pro. Ma ho qualche dubbio che lo facciano…

Le buone intenzioni non contano in situazioni come questa. Ciò che conta sono le reali conseguenze nel mondo reale delle decisioni e delle azioni che prendiamo su come sviluppare e implementare l'AI e la robotica. Qualsiasi cosa che ci rallenti o ci svantaggi rispetto alla Cina in nome della "sicurezza" è negativa.

DeepSeek ha appena rilasciato un nuovo documento piuttosto scioccante. Hanno davvero sepolto il lede qui riferendosi ad esso semplicemente come DeepSeek OCR. Sebbene sia un modello OCR molto potente, lo scopo di esso e le implicazioni del loro approccio vanno ben oltre ciò che ci si aspetterebbe da "un altro modello OCR". Tradizionalmente, i token LLM visivi sembravano quasi un pensiero secondario o un "aggiunta" al paradigma LLM. E 10k parole in inglese occuperebbero molto più spazio in un LLM multimodale quando espresse come pixel intelligibili piuttosto che come token. Quindi quelle 10k parole potrebbero essere diventate 15k token, o 30k a 60k "token visivi". Quindi i token visivi erano molto meno efficienti e avevano senso usarli solo per dati che non potevano essere efficacemente trasmessi con le parole. Ma ora questo si inverte grazie alle idee in questo documento. DeepSeek ha scoperto come ottenere una compressione 10 volte migliore usando token visivi rispetto ai token testuali! Quindi potresti teoricamente memorizzare quelle 10k parole in soli 1.500 dei loro speciali token visivi compressi. Questo potrebbe non essere così inaspettato come sembra se pensi a come funziona la tua mente. Dopotutto, so che quando cerco una parte di un libro che ho già letto, la immagino visivamente e ricordo sempre da che parte del libro si trovava e approssimativamente dove sulla pagina era, il che suggerisce una sorta di rappresentazione della memoria visiva in azione. Ora, non è chiaro come esattamente questo interagisca con le altre funzioni cognitive a valle di un LLM; il modello può ragionare in modo altrettanto intelligente su quei token visivi compressi come può fare usando i token testuali regolari? Rende il modello meno articolato costringendolo in una modalità più orientata alla visione? Ma puoi immaginare che, a seconda dei compromessi esatti, potrebbe essere un nuovo asse molto entusiasmante per espandere notevolmente le dimensioni del contesto efficace. Soprattutto quando combinato con l'altro recente documento di DeepSeek di un paio di settimane fa riguardo all'attenzione sparsa. Per quanto ne sappiamo, Google potrebbe aver già scoperto qualcosa del genere, il che potrebbe spiegare perché Gemini ha una dimensione del contesto così enorme ed è così bravo e veloce nei compiti OCR. Se lo hanno fatto, probabilmente non lo direbbero perché sarebbe visto come un importante segreto commerciale. Ma la cosa bella di DeepSeek è che hanno reso tutto open source e open weights e spiegato come l'hanno fatto, quindi ora tutti possono provarlo ed esplorarlo. Anche se questi trucchi rendono l'attenzione più lossy, il potenziale di ottenere un LLM di frontiera con una finestra di contesto di 10 o 20 milioni di token è piuttosto entusiasmante. Potresti praticamente stipare tutti i documenti interni chiave di un'azienda in un preambolo di prompt e memorizzarlo con OpenAI e poi aggiungere semplicemente la tua specifica query o prompt sopra e non dover affrontare strumenti di ricerca e avere comunque tutto veloce ed economico. Oppure mettere un intero codice sorgente nel contesto e memorizzarlo, e poi continuare ad aggiungere l'equivalente delle differenze git mentre apporti modifiche al codice. Se hai mai letto storie sul grande fisico Hans Bethe, era noto per avere memorizzate enormi quantità di fatti fisici casuali (come l'intero tavolo periodico; i punti di ebollizione di varie sostanze, ecc.) in modo da poter pensare e calcolare senza mai dover interrompere il suo flusso per cercare qualcosa in una tabella di riferimento. Avere enormi quantità di conoscenze specifiche per il compito nella tua memoria di lavoro è estremamente utile. Questo sembra un approccio molto intelligente e additivo per potenzialmente espandere quel banco di memoria di 10 volte o più.