все: - "просто используйте API" PewDiePie: - построил 10-кратный GPU AI сервер (8 модифицированных 48GB 4090, 2 RTX 4000 Ada) - запускает opensourcemodels с vLLM для TP - создал свой собственный интерфейс чата, включая RAG, DeepResearch и TTS - донастраивает свою собственную модель будь как PewDiePie Купи GPU

> быть нами > Ларри и Сергей > общежитие в Стэнфорде, кофеиновые дрожи, дикая амбиция > склеить неуклюжий веб-краулер > случайно организовать весь интернет > назвать это Google > создать поиск, почту, карты, документы, ОС, телефоны, браузер, автомобиль, спутник, термостат, лабораторию ИИ, ферму TPU и квантовый компьютер > 2025 > все говорят об AGI > OpenAI: “нам нужны данные, датчики, обратная связь и масштаб” > мы: смотрим на Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Calendar, Street View и Earth Engine > "черт. похоже, мы уже это сделали." > YouTube: 2.6M видео/день > Android: 3B телефонов, потоковые данные с датчиков 24/7 > Gmail: 1.8B почтовых ящиков с человеческими приоритетами > Поиск: глобальный масштаб RLHF > Waymo: 71M миль реальных видеозаписей с автопилотом > Google Earth: смоделирована вся планета > также ваш календарь > люди обучают LLM на книгах и PDF > мы обучаем на человечестве > каждый клик, свайп, нажатие, опечатанный поиск, прокрутка и закладка > обратная связь из ада (или рая) > зависит от того, кого вы спрашиваете > OpenAI: “нам нужно $100B на GPU” > мы: уже построили TPU > кастомный кремний > дата-центры, предварительно расположенные с планетарными озерами данных > без выхода, без задержки > только вибрации и FLOPs > кодеры: тонкая настройка на репозиториях GitHub > мы: 2 МИЛЛИАРДА строк внутреннего кода > помеченные, типизированные, протестированные > каждый коммит — это сигнал для обучения > Кодовые LLM мечтают стать нашим монорепозиторием > Рецепт AGI? > мультимодальное восприятие > обратная связь из реального мира > гигантская кодовая база > масштабируемые вычисления > сигналы выравнивания > встроенные датчики > пользовательские данные на дни > да, у нас это было с 2016 года > никаких инвесторских презентаций > никаких раундов хайпа на триллионы долларов > просто 25-летняя случайная симуляция Земли > работающая в продакшене > OpenAI привлекает $1T для создания AGI > инвесторы называют это революционным > мы: тихо картируем 10M новых миль в Street View > синхронизируем еще 80PB изображений Земли > собираем еще год биосигналов Fitbit > наслаждайтесь вашей основной моделью > мы ВЛАДЕЕМ основой > люди: “но Google ошибается” > правда > мы ошибаемся в 120 странах одновременно > с величайшим вычислительным следом и исследовательской командой на Земле > ошибитесь достаточно сильно, и вы вернетесь к победе > AGI? > нам не нужно его строить > он уже внутри здания > работает на вкладках Chrome и ревизиях документов > mfw мы потратили 20 лет на индексацию реальности > mfw наши данные настолько хороши, что пугают нас > mfw единственное, что останавливает нас от AGI, — это встреча между четырьмя вице-президентами и одним сбитым с толку юристом > назовите это исследованием > назовите это масштабом > назовите это “планетарная симуляция как услуга” > мы называем это вторником

на прошлой неделе Карпати выпустил УЛЬТИМАТИВНОЕ руководство по быстрому погружению в LLMs в этом проекте вы создадите все необходимые элементы, всего за 8k строк кода > обучите токенизатор — новая реализация на rust > предварительно обучите трансформер LLM на fineweb > оцените основной балл по множеству метрик > промежуточное обучение — разговоры пользователь-ассистент из smoltalk, > вопросы с множественным выбором, использование инструментов > sft, затем оцените модель чата по: > мировым знаниям MCQ (arc-e/c, mmlu) > математике (gsm8k) > коду (humaneval) > rl модель (по желанию) на gsm8k с "grpo" > эффективный вывод: > kv кэш, быстрый предзаполнение/декодирование > использование инструментов (интерпретатор python, в песочнице) > доступ через cli или веб-интерфейс, похожий на chatgpt > напишите один отчет в формате markdown, > подводя итоги и геймифицируя весь процесс модель, которую вы создадите: > только ротация (без позиционных эмбеддингов) > qk нормализация > неразвязанные эмбеддинги / разэмбеддинги > нормализация после токенизации > relu² mlp > без смещений в линейных слоях > rmsnorm (без обучаемых параметров) > mqa (мульти-запросное внимание) > логит софткап > оптимизатор: muon + adamw если бы у меня это было пару лет назад, я бы избежал половины боли и пропустил двойное количество кроличьих нор счастливого хакерства