Unser GPU-Stack für sowohl NVIDIA als auch AMD ist, abgesehen von minimalen Teilen signierter Firmware, zu 100 % Open Source und rein in Python, mit Ausnahme des Compilers. Es verwendet keine Treiber, Frameworks oder Bibliotheken von Anbietern. Deshalb ist es so einfach, es auf dem Mac zum Laufen zu bringen. Für Compiler verwenden wir bei AMD das Upstream LLVM und bei NVIDIA den NAK-Compiler aus dem MESA-Projekt. Wir planen, den Compiler in ein oder zwei Jahren durch reines tinygrad zu ersetzen. Mit RANGEIFY, das jetzt integriert ist, entspricht unser Abwärtskonvertierungszeug dem Stand der Technik, im TVM-Stil. Wir studieren ThunderKittens und TileLang für Geschwindigkeit auf diesem Niveau und sollten all diese Dinge in 200 Tagen für den Fälligkeitstermin unseres AMD Llama 405B-Trainingsvertrags bereit haben. Aufgrund der geringen Größe von tinygrad und seiner reinen Python-Natur ist es die einfachste ML-Bibliothek, um Fortschritte zu erzielen, sprich die schnellste Verbesserung. Mit dem Megakernel-Stil für die Planung, dem MODeL_opt-Stil für die Planung und dem E-Graph-Stil für symbolische Verarbeitung sollten wir den Stand der Technik in Bezug auf Geschwindigkeit in PyTorch und JAX übertreffen. Wenn wir das schaffen, ist der Vorteil von NVIDIA vorbei. Es sind höchstens 1000 Zeilen, um einen neuen Beschleuniger zu tinygrad hinzuzufügen. Und ich meine nicht, einen neuen Beschleuniger mit Hilfe eines Kernel-Treibers, Compilers und Bibliotheken hinzuzufügen. Nur 1000 Zeilen Software für den *ganzen* Beschleuniger, der direkt über die PCIe BARs kommuniziert, so wie tinygrad es jetzt mit den NVIDIA- und AMD-GPUs macht.

@geerlingguy Oder eigentlich ist AMD sogar einfacher. Installiere einfach den `extra/usbgpu/tbgpu` Treiber und AMD=1

@geerlingguy Oder eigentlich ist AMD sogar einfacher. Installiere einfach den `extra/usbgpu/tbgpu` Treiber und setze AMD=1. 0 plant, Intel auf diesem Niveau zu unterstützen.