Nasz stos GPU dla zarówno NVIDIA, jak i AMD, z wyjątkiem minimalnych elementów podpisanego oprogramowania, jest w 100% otwartym źródłem i czystym Pythonem, z wyjątkiem kompilatora. Nie używa sterowników, frameworków ani bibliotek dostawców. Dlatego tak łatwo jest go uruchomić na Macu. Dla kompilatorów, na AMD używamy upstream LLVM, a na NVIDIA korzystamy z kompilatora NAK z projektu MESA. Planujemy również zastąpić kompilator czystym tinygrad za rok lub dwa. Po scaleniu RANGEIFY, nasze obniżanie teraz odpowiada stanowi sztuki, w stylu TVM. Badamy ThunderKittens i TileLang pod kątem prędkości na tym poziomie i powinniśmy mieć wszystkie te rzeczy gotowe w ciągu 200 dni na termin naszego kontraktu szkoleniowego AMD Llama 405B. Ze względu na mały rozmiar tinygrad i jego czystą naturę Pythona, jest to najłatwiejsza biblioteka ML do postępu, czyli najszybszy wzrost poprawy. Z stylem Megakernel do planowania, stylem MODeL_opt do planowania i stylem E-graph do symbolicznego, powinniśmy przejść poza stan sztuki w prędkości PyTorch i JAX. Jeśli to zrobimy, strefa komfortu NVIDIA się kończy. To maksymalnie 1000 linii, aby dodać nowy akcelerator do tinygrad. I nie mam na myśli dodawania nowego akceleratora z pomocą sterownika jądra, kompilatora i bibliotek. Tylko 1000 linii oprogramowania dla *całego* akceleratora mówiącego bezpośrednio na PCIe BARs, tak jak tinygrad robi to teraz z GPU NVIDIA i AMD.

@geerlingguy A tak naprawdę, AMD jest jeszcze łatwiejsze. Po prostu zainstaluj sterownik `extra/usbgpu/tbgpu` i AMD=1

@geerlingguy A tak naprawdę, AMD jest jeszcze łatwiejsze. Wystarczy zainstalować sterownik `extra/usbgpu/tbgpu` i ustawić AMD=1. 0 planuje wspierać Intela na tym poziomie.