Наш стек GPU как для NVIDIA, так и для AMD, за исключением минимального количества подписанного прошивки, на 100% является открытым исходным кодом и чистым Python, за исключением компилятора. Он не использует драйверы, фреймворки или библиотеки от производителей. Вот почему его так легко заставить работать на Mac. Для компиляторов на AMD мы используем upstream LLVM, а на NVIDIA - компилятор NAK из проекта MESA. Мы планируем заменить компилятор на чистый tinygrad через год или два. Слияние RANGEIFY сделало наши операции по снижению соответствующими современным стандартам, в стиле TVM. Мы изучаем ThunderKittens и TileLang для повышения скорости на этом уровне и должны подготовить все это за 200 дней к сроку нашего контракта на обучение AMD Llama 405B. Из-за небольшого размера tinygrad и его чистой природы Python, это самая простая библиотека ML для достижения прогресса, то есть с самой быстрой кривой улучшения. С использованием стиля Megakernel для планирования, стиля MODeL_opt для планирования и стиля E-graph для символического, мы должны превзойти современные стандарты по скорости в PyTorch и JAX. Если мы это сделаем, у NVIDIA больше не будет преимущества. Для добавления нового ускорителя в tinygrad нужно всего 1000 строк. И я не имею в виду добавление нового ускорителя с помощью драйвера ядра, компилятора и библиотек. Всего 1000 строк программного обеспечения для *всего* ускорителя, работающего прямо на PCIe BAR, как это делает tinygrad с GPU NVIDIA и AMD сейчас.