Nuestra pila de GPU para NVIDIA y AMD, además de piezas mínimas de firmware firmado, es 100% de código abierto y Python puro, excepto por el compilador. No utiliza controladores, marcos o bibliotecas de proveedores. Por eso es tan fácil hacer que funcione en Mac. Para los compiladores, en AMD, usamos LLVM ascendente, y en NVIDIA, usamos el compilador NAK del proyecto MESA. Planeamos reemplazar el compilador con tinygrad puro en uno o dos años también. Con RANGEIFY fusionado, nuestro material de descenso ahora coincide con el estilo TVM de última generación. Estamos estudiando ThunderKittens y TileLang para la velocidad a ese nivel, y deberíamos tener todo esto listo en 200 días para la fecha de vencimiento de nuestro contrato de entrenamiento AMD Llama 405B. Debido al pequeño tamaño de tinygrad y a la naturaleza pura de Python, es la biblioteca de ML más fácil de progresar, también conocida como la pendiente más rápida de mejora. Con el estilo Megakernel para la programación, el estilo MODeL_opt para la planificación y el estilo E-graph para el simbólico, deberíamos superar el estado del arte en PyTorch y la velocidad JAX. Si hacemos eso, el foso de NVIDIA se acaba. Son 1000 líneas como máximo para agregar un nuevo acelerador a tinygrad. Y no pretendo agregar un nuevo acelerador con la ayuda de un controlador de kernel, compilador y bibliotecas. Solo 1000 líneas de software para el acelerador * completo * hablando directamente en los PCIe BAR, como lo que tinygrad está haciendo con las GPU NVIDIA y AMD ahora.

@geerlingguy O en realidad, AMD es aún más fácil. Simplemente instale el controlador 'extra/usbgpu/tbgpu' y AMD=1

@geerlingguy O en realidad, AMD es aún más fácil. Simplemente instale el controlador 'extra/usbgpu/tbgpu' y AMD=1. 0 planea admitir Intel en este nivel.