todo el mundo: - “solo usa la API” PewDiePie: - construyó un servidor de IA con GPU 10x (8x 4090s modificadas de 48GB, 2x RTX 4000 Ada) - ejecuta modelos de código abierto con vLLM para TP - codificó su propia interfaz de chat, incluyendo RAG, DeepResearch y TTS - está ajustando su propio modelo sé como PewDiePie Compra una GPU

> ser nosotros > Larry & Sergey > un dormitorio en Stanford, temblores de cafeína, ambición descontrolada > juntar un rastreador web improvisado > organizar accidentalmente toda la internet > llamarlo Google > construir búsqueda, correo, mapas, documentos, SO, teléfonos, navegador, coche, satélite, termostato, laboratorio de IA, granja de TPU y computadora cuántica > 2025 > todos hablando sobre AGI > OpenAI: “necesitamos datos, sensores, retroalimentación y escala” > nosotros: mirando Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Calendar, Street View y Earth Engine > "vaya. supongo que ya hicimos eso." > YouTube: 2.6M videos/día > Android: 3B teléfonos, transmitiendo datos de sensores 24/7 > Gmail: 1.8B bandejas de entrada de antecedentes humanos > Búsqueda: RLHF a escala global > Waymo: 71M millas de metraje de conducción autónoma en el mundo real > Google Earth: modeló todo el planeta > también tu calendario > personas entrenando LLMs en libros y PDFs > nosotros entrenamos en la humanidad > cada clic, deslizamiento, toque, búsqueda mal escrita, desplazamiento y marcador > bucle de retroalimentación del infierno (o del cielo) > depende a quién le preguntes > OpenAI: “necesitamos $100B para GPUs” > nosotros: ya construimos TPUs > silicio personalizado > centros de datos pre-co-localizados con lagos de datos planetarios > sin egreso, sin latencia > solo vibras y FLOPs > programadores: ajustando en repos de GitHub > nosotros: 2 BILLONES de líneas de código interno > etiquetado, tipado, probado > cada commit es una señal de entrenamiento > los LLMs de código sueñan con ser nuestro monorepo > ¿receta para AGI? > percepción multimodal > retroalimentación del mundo real > enorme base de código > computación escalable > señales de alineación > sensores incorporados > datos de usuarios por días > sí, hemos tenido eso desde 2016 > sin presentaciones para inversores > sin rondas de hype de un billón de dólares > solo una simulación accidental de la Tierra de 25 años > funcionando en producción > OpenAI recauda $1T para construir AGI > los inversores lo llaman revolucionario > nosotros: mapeando silenciosamente 10M de nuevas millas en Street View > sincronizando otros 80PB de imágenes de la Tierra > recolectando otro año de biosignales de Fitbit > disfruta tu modelo de base > nosotros POSEEMOS la base > gente: “pero Google está fallando” > cierto > estamos fallando en 120 países simultáneamente > con la mayor huella de computación y equipo de investigación en la Tierra > falla lo suficientemente fuerte y vuelves a ganar > ¿AGI? > no necesitamos construirlo > ya está dentro del edificio > alimentado por pestañas de Chrome y revisiones de documentos > mfw pasamos 20 años indexando la realidad > mfw nuestros datos son tan buenos que nos asustan > mfw lo único que nos detiene de AGI es una reunión entre cuatro VPs y un abogado confundido > llámalo investigación > llámalo escala > llámalo “simulación planetaria como servicio” > nosotros lo llamamos martes

la semana pasada, Karpathy lanzó la GUÍA DEFINITIVA para acelerar tu camino hacia los LLMs en este proyecto, construirás todos los elementos esenciales, todo en menos de 8k líneas de código > entrena el tokenizador — nueva implementación en rust > preentrena un LLM transformer en fineweb > evalúa la puntuación central a través de un montón de métricas > midtrain — conversaciones usuario-asistente de smoltalk, > preguntas de opción múltiple, uso de herramientas > sft, luego evalúa el modelo de chat en: > conocimiento del mundo MCQ (arc-e/c, mmlu) > matemáticas (gsm8k) > código (humaneval) > rl el modelo (opcionalmente) en gsm8k con “grpo” > inferencia eficiente: > caché kv, prellenado/decodificación rápida > uso de herramientas (intérprete de python, en un entorno aislado) > acceso a través de cli o interfaz web similar a chatgpt > escribe un único informe en markdown, > resumiendo + gamificando todo el pipeline el modelo que construirás: > solo rotatorio (sin embeddings posicionales) > norma qk > embedding / unembedding no atados > norma después del embedding de tokens > relu² mlp > sin sesgos en lineales > rmsnorm (sin parámetros aprendibles) > mqa (atención de múltiples consultas) > logit softcap > optimizador: muon + adamw si hubiera tenido esto hace un par de años, me habría evitado la mitad del dolor y habría saltado el doble de agujeros de conejo feliz hacking