Acabo de tener un pensamiento aleatorio: los LLM como ChatGPT deben ser una gran bendición para los ministros de gobierno incompetentes en países pequeños que obtuvieron sus puestos a través del nepotismo o las redes de clientelismo. Estas personas a menudo tienen poder real, pero a menudo se ven obligadas a ocultar su incompetencia a sus subordinados, a los gobernantes políticos y a la población, por razones obvias. Por ejemplo, estoy seguro de que hay algunos ministros de minería que saben muy poco sobre minería y negocios o economía, pero que sin embargo están a cargo de negociar con sofisticadas empresas mineras internacionales. O gobernadores de bancos centrales que realmente no entienden la macroeconomía básica o cómo funcionan el crédito y la inflación. En el pasado, estas personas básicamente tenían que "improvisar" y esperar lo mejor, o ceder ante sus subordinados un poco menos incompetentes y rezar para que las cosas no salieran tan mal. O pueden gastar mucho dinero en consultores expertos, lo que tiene sus propios inconvenientes. Ahora, esos ministros pueden simplemente abrir ChatGPT en la privacidad de su oficina y explicar sus problemas y las decisiones que deben tomar, cargar documentos y formularios del FMI o donde sea, y obtener un buen asesoramiento de expertos de forma gratuita desde un modelo de frontera. Todo sin revelar a nadie que no saben lo que están haciendo. Sería fascinante saber cuántas personas están usando LLM de esta manera hoy en día. Parece algo bueno. El mundo tiene muy poca experiencia. O más bien, aquellos que tienen acceso al poder a menudo no son los que tienen las habilidades o conocimientos relevantes. Solo espero que estas personas se lancen a la suscripción de $ 200 / mes y usen el modelo GPT-5 Pro. Pero dudo que lo sean...

Las buenas intenciones no importan en cosas como esta. Lo que importa son las consecuencias reales en el mundo real de las decisiones y acciones que tomamos sobre cómo desarrollar e implementar la IA y la robótica. Cualquier cosa que nos ralentice o nos ponga en desventaja en relación con China en nombre de la "seguridad" es mala.

DeepSeek acaba de publicar un nuevo artículo bastante impactante. Realmente enterraron el lede aquí refiriéndose a él simplemente como DeepSeek OCR. Si bien es un modelo de OCR muy sólido, el propósito del mismo y las implicaciones de su enfoque van mucho más allá de lo que cabría esperar de "otro modelo de OCR". Tradicionalmente, los tokens de visión LLM casi parecían una ocurrencia tardía o un "complemento" para el paradigma LLM. Y 10k palabras de inglés ocuparían mucho más espacio en un LLM multimodal cuando se expresan como píxeles inteligibles que cuando se expresan como tokens. Entonces, esas 10k palabras pueden haberse convertido en 15k tokens, o de 30k a 60k "tokens visuales". Por lo tanto, los tokens de visión eran mucho menos eficientes y realmente solo tenían sentido usarlos para datos que no se podían transmitir de manera efectiva con palabras. Pero eso se invierte ahora de las ideas de este artículo. ¡DeepSeek descubrió cómo obtener una compresión 10 veces mejor usando tokens de visión que con tokens de texto! Entonces, teóricamente, podría almacenar esas 10k palabras en solo 1,500 de sus tokens visuales comprimidos especiales. Esto puede no ser tan inesperado como parece si piensas en cómo funciona tu propia mente. Después de todo, sé que cuando busco una parte de un libro que ya he leído, lo imagino visualmente y siempre recuerdo en qué lado del libro estaba y aproximadamente en qué parte de la página estaba, lo que sugiere algún tipo de representación visual de la memoria en el trabajo. Ahora, no está claro cómo interactúa exactamente esto con el otro funcionamiento cognitivo posterior de un LLM; ¿Puede el modelo razonar de manera tan inteligente sobre esos tokens visuales comprimidos como puede usar tokens de texto normales? ¿Hace que el modelo sea menos articulado al forzarlo a una modalidad más orientada a la visión? Pero puede imaginar que, dependiendo de las compensaciones exactas, podría ser un nuevo eje muy emocionante para expandir en gran medida los tamaños de contexto efectivos. Especialmente cuando se combina con el otro artículo reciente de DeepSeek de hace un par de semanas sobre la escasa atención. Por lo que sabemos, Google ya podría haber descubierto algo como esto, lo que podría explicar por qué Gemini tiene un tamaño de contexto tan grande y es tan bueno y rápido en las tareas de OCR. Si lo hicieran, probablemente no lo dirían porque sería visto como un secreto comercial importante. Pero lo bueno de DeepSeek es que han hecho todo el código abierto y los pesos abiertos y han explicado cómo lo hicieron, por lo que ahora todos pueden probarlo y explorar. Incluso si estos trucos hacen que la atención sea más perjudicial, el potencial de obtener un LLM fronterizo con una ventana de contexto de 10 o 20 millones de tokens es bastante emocionante. Básicamente, podría meter todos los documentos internos clave de una empresa en un preámbulo rápido y almacenarlo en caché con OpenAI y luego simplemente agregar su consulta o mensaje específico encima de eso y no tener que lidiar con herramientas de búsqueda y aún así hacer que sea rápido y rentable. O coloque una base de código completa en el contexto y colóquela en caché, y luego siga agregando el equivalente de las diferencias de git a medida que realiza cambios en el código. Si alguna vez has leído historias sobre el gran físico Hans Bethe, era conocido por tener grandes cantidades de hechos físicos aleatorios memorizados (como toda la tabla periódica, puntos de ebullición de varias sustancias, etc.) para poder pensar y calcular sin problemas sin tener que interrumpir su flujo para buscar algo en una tabla de referencia. Tener una gran cantidad de conocimientos específicos de tareas en su memoria de trabajo es extremadamente útil. Esto parece un enfoque muy inteligente y aditivo para expandir potencialmente ese banco de memoria 10 veces o más.