GPU-stabelen vår for både NVIDIA og AMD, bortsett fra minimale biter av signert fastvare, er 100 % åpen kildekode og ren Python bortsett fra kompilatoren. Den bruker ikke leverandørdrivere, rammeverk eller biblioteker. Derfor er det så enkelt å få det til å fungere på Mac. For kompilatorer, på AMD, bruker vi oppstrøms LLVM, og på NVIDIA bruker vi NAK-kompilatoren fra MESA-prosjektet. Vi planlegger å erstatte kompilatoren med ren tinygrad om et år eller to også. Med RANGEIFY slått sammen, matcher senketingene våre nå den nyeste TVM-stilen. Vi studerer ThunderKittens og TileLang for hastighet på det nivået, og bør ha alt dette klart om 200 dager til forfallsdatoen for vår AMD Llama 405B-treningskontrakt. På grunn av tinygrads lille størrelse og rene Python-natur, er det det enkleste ML-biblioteket å gjøre fremskritt på, også kjent som den raskeste forbedringskråningen. Med Megakernel-stil for planlegging, MODeL_opt stil for planlegging og E-graph-stil for symbolsk, bør vi blåse forbi toppmoderne i PyTorch- og JAX-hastighet. Hvis vi gjør det, er NVIDIAs vollgrav over. Det er maksimalt 1000 linjer for å legge til en ny akselerator til tinygrad. Og jeg mener ikke å legge til en ny akselerator ved hjelp av en kjernedriver, kompilator og biblioteker. Bare 1000 linjer med programvare for *hele* akseleratoren som snakker rett på PCIe BAR-ene, som det tinygrad gjør med NVIDIA- og AMD-GPU-ene nå.

@geerlingguy Eller faktisk, AMD er enda enklere. Bare installer 'extra/usbgpu/tbgpu'-driveren og AMD=1

@geerlingguy Eller faktisk, AMD er enda enklere. Bare installer 'extra/usbgpu/tbgpu'-driveren og AMD=1. 0 planlegger å støtte Intel på dette nivået.