Кожен: - "просто використовуйте API" PewDiePie: - вбудований 10-кратний AI-сервер з графічним процесором (8x модифікований 48 ГБ 4090s, 2x RTX 4000 Ada) - працює з opensourcemodels з vLLM для TP - створив власний інтерфейс чату, включаючи RAG, DeepResearch і TTS - проводиться тонка настройка власної моделі будь як PewDiePie Купити графічний процесор

> бути нами > Ларрі та Сергій > гуртожиток у Стенфорді, коктейлі з кофеїну, дикі амбіції > зібрати докупи жвавого веб-сканера > випадково організувати весь інтернет > називають це Google > створюйте пошук, електронну пошту, карти, документи, ОС, телефони, браузер, автомобіль, супутник, термостат, лабораторію штучного інтелекту, ферму TPU та квантовий комп'ютер > 2025 > всіх, хто говорить про AGI > OpenAI: «нам потрібні дані, датчики, зворотний зв'язок і масштабування» > нас: дивитися на Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Calendar, Street View та Earth Engine > "Блін. Гадаю, ми вже це зробили». > YouTube: 2,6 млн відео на день > Android: телефони 3B, потокові дані датчиків 24/7 > Gmail: 1,8 млрд поштових скриньок людей-пріорів > Пошук: RLHF глобального масштабу > Waymo: 71 мільйон миль реальних кадрів з автономного водіння > Google Планета Земля: змоделював всю планету > і ваш календар > людей, які навчають LLM на книгах та PDF > ми тренуємо на людяності > кожен клік, свайп, торкання, пошук з помилками, прокручування та закладка > петля зворотного зв'язку з пекла (або раю) > залежить від того, кого ви запитаєте > OpenAI: «нам потрібно $100 млрд на графічні процесори» > нас: вже побудовані ТПУ > кремній на замовлення > дата-центри, попередньо розташовані разом з планетарними озерами даних > ні виходу, ні затримки > просто флюїди та провали > кодери: тонке налаштування на репозиторіях GitHub > нас: 2 МІЛЬЯРДИ рядків внутрішнього коду > маркована, набрана, протестована > кожен коміт є тренувальним сигналом > Code LLM мріють стати нашим монорепозиторієм > рецепт AGI? > мультимодального сприйняття > реальний відгук > гігантська кодова база > масштабованих обчислень > сигналів вирівнювання > втілені датчики > даних користувачів протягом днів > так, у нас це було з 2016 року > немає колод для інвесторів > жодних раундів ажіотажу на трильйон доларів > просто 25-річна випадкова симуляція Землі > Обкатка в ПРОД > OpenAI залучить $1 трлн на створення AGI > інвестори називають його революційним > нас: непомітно наносимо на карту 10 мільйонів нових миль у Перегляді вулиць > синхронізація ще 80 ПБ зображень Землі > ще один рік збору біосигналів Fitbit > насолоджуєтеся своєю моделлю тонального крему > ми ВОЛОДІЄМО фундаментом > людей: "але Google нишпорить" > правда > ми нишпоримо в 120 країнах одночасно > з найбільшим обчислювальним слідом і дослідницькою командою на Землі > досить сильно наплутати, і ви повертаєтеся до перемоги > AGI? > нам не потрібно його будувати > він вже всередині будівлі > працює на вкладках Chrome і ревізіях документів > MFW ми витратили 20 років на індексацію реальності > mfw наші дані настільки хороші, що це нас лякає > mfw єдине, що зупиняє нас від AGI, це зустріч чотирьох віце-президентів і одного розгубленого адвоката > називають це дослідженням > називають це масштабом > називаю це «планетарною симуляцією як послугою» > ми називаємо його вівторком

минулого тижня Karpathy випустили ULTIMATE guide з швидкісного бігу на шляху до LLM У цьому проекті ви створите все необхідне, все під 8 тисячами рядків коду > навчити токенізатор — нова реалізація rust > попереднє тренування трансформатора LLM на fineweb > оцінювати базову оцінку за кількома показниками > midtrain — конвої з асистентом користувача від Smoltalk, > Q з множинним вибором, використання інструменту > sft, а потім eval модель чату на: > Світові знання MCQ (arc-e/c, mmlu) > математики (GSM8K) > код (людський) > модель rl (опціонально) на GSM8K з "GRPO" > ефективного висновку: > кеш kv, швидке попереднє заповнення/декодування > використання інструментів (інтерпретатор Python, пісочниця) > доступ через CLI або Webui, схожий на ChatGPT > писати єдиний табель успішності, > підведення підсумків + гейміфікація всього пайплайну Модель, яку ви створите: > тільки поворотні (без позиційних вбудовувань) > норма qk > розв'язане вбудовування / розв'язання > норма після вбудовування токена > relu² mlp > відсутність упереджень у лінійних > rmsnorm (без параметрів, що вивчаються) > mqa (multi-query attention) > Logit softcap Оптимізатор >: Мюон + ADAMW Якби у мене було це пару років тому, я ухилився б від половини болю і пропустив подвійну кролячу нору Щасливий злом