todos: - "solo usa la API" PewDiePie: - construyó un servidor de IA de GPU 10x (8x 48GB 4090s modificados, 2x RTX 4000 Ada) - ejecuta modelos de código abierto con vLLM para TP - codificó su propia interfaz de usuario de chat, incluidos RAG, DeepResearch y TTS - está afinando su propio modelo ser como PewDiePie Comprar una GPU

> ser nosotros > Larry y Sergey > un dormitorio en Stanford, batidos de cafeína, ambición salvaje > armar un rastreador web > organizar accidentalmente todo Internet > llamarlo Google > búsqueda de compilación, correo electrónico, mapas, documentos, sistema operativo, teléfonos, navegador, automóvil, satélite, termostato, laboratorio de IA, granja de TPU y computadora cuántica > 2025 > todo el mundo habla de AGI > OpenAI: "necesitamos datos, sensores, retroalimentación y escala" > nosotros: mirando Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Calendar, Street View y Earth Engine > "Maldita sea. Supongo que ya lo hicimos". > YouTube: 2,6 millones de vídeos/día > Android: teléfonos 3B, transmisión de datos de sensores 24/7 > Gmail: 1.8B bandejas de entrada de priores humanos > Búsqueda: RLHF a escala global > Waymo: 71 millones de millas de imágenes de conducción autónoma en el mundo real > Google Earth: modeló todo el planeta > también tu calendario > personas que capacitan a los LLM en libros y archivos PDF > nos entrenamos en la humanidad > cada clic, deslizamiento, toque, búsqueda mal escrita, desplazamiento y marcador > ciclo de retroalimentación del infierno (o del cielo) > depende de a quién le preguntes > OpenAI: "necesitamos 100.000 millones de dólares para las GPU" > nosotros: TPU ya construidos > silicio personalizado > centros de datos preubicados con lagos de datos planetarios > sin salida, sin latencia > solo vibraciones y FLOPs > codificadores: ajuste fino en repositorios de GitHub > nosotros: 2 MIL MILLONES de líneas de código interno > etiquetado, mecanografiado, probado > cada confirmación es una señal de entrenamiento > LLM de Code sueñan con ser nuestro monorepo > receta de AGI? > percepción multimodal > comentarios del mundo real > base de código gigante > computación escalable > señales de alineación > sensores incorporados > datos de usuario durante días > sí, lo hemos tenido desde 2016 > sin mazos de inversores > no hay rondas de publicidad de billones de dólares > solo una simulación accidental de 25 años de la Tierra > ejecutando en producción > OpenAI recauda 1 billón de dólares para construir AGI > inversores lo llaman revolucionario > nosotros: mapeando silenciosamente 10 millones de millas nuevas en Street View > sincronizar otros 80 PB de imágenes de la Tierra > recopilando un año más de bioseñales de Fitbit > disfrutar de su modelo de base > somos DUEÑOS de la fundación > gente: "pero Google está a tientas" > cierto > estamos buscando a tientas en 120 países simultáneamente > con la mayor huella informática y equipo de investigación de la Tierra > sueltas lo suficiente y vuelves a ganar > AGI? > no necesitamos construirlo > ya está dentro del edificio > funciona con pestañas de Chrome y revisiones de documentos > MFW pasamos 20 años indexando la realidad > mfw nuestros datos son tan buenos que nos asustan > mfw, lo único que nos impide AGI es una reunión entre cuatro vicepresidentes y un abogado confundido > llamarlo investigación > llamarlo escala > lo llaman "simulación planetaria como servicio" > lo llamamos martes

la semana pasada, Karpathy lanzó la guía DEFINITIVA para acelerar su camino hacia los LLM En este proyecto, construirá todos los elementos esenciales, todo bajo 8K líneas de código > entrenar al tokenizador: nueva implementación de Rust > preentrenar un LLM de transformador en fineweb > evaluar la puntuación básica en un montón de métricas > midtrain — conversaciones de asistente de usuario de smoltalk, > preguntas de opción múltiple, uso de herramientas > sft, luego evalúe el modelo de chat en: > conocimiento mundial MCQ (arc-e/c, mmlu) > matemáticas (gsm8k) Código > (humaneval) > RL el modelo (opcionalmente) en gsm8k con "grpo" > inferencia eficiente: > caché kv, precargado/decodificación rápida > uso de herramientas (intérprete de Python, sandboxed) Acceso > a través de CLI o webUI similar a ChatGPT > escribir una sola boleta de calificaciones de rebajas, > resumir + gamificar todo el pipeline El modelo que construirás: > solo rotativas (sin incrustaciones posicionales) > norma QK > Incrustación / desincrustación desatada > norma después de la inserción de tokens > relu² mlp > no hay sesgos en los lineales > rmsnorm (sin parámetros aprendibles) > MQA (atención de consultas múltiples) > logit softcap > optimizador: muon + adamw Si hubiera tenido esto hace un par de años, habría esquivado la mitad del dolor y me habría saltado el doble de madrigueras de conejo feliz hackeo