Có 384 GB VRAM nhanh trong Blackwell tinybox 🧵

Chúng tôi đã chán việc sử dụng các công cụ của nhà cung cấp để kiểm tra băng thông, vì vậy chúng tôi đã viết một công cụ đa năng trong tinygrad. Các GPU được kết nối ở chế độ PCIe 5.0 x16 đầy đủ.

Torch GEMM trên một thẻ đơn lẻ đạt 438 TFLOPS BF16 -> FP32. Điều đó đưa hiệu suất GEMM thực tế của máy lên 1.75 PFLOPS.

Tại mmapeak, chúng tôi đang đạt 3.1 PFLOPS trên các thẻ. Đây là nơi mà việc không giảm sức mạnh của 5090 thực sự tỏa sáng, nó gấp hơn hai lần FLOPS thô của một tinybox green v2!

Tất cả các hộp Blackwell của chúng tôi sẽ được vận chuyển với mảng RAID mới nhất của chúng tôi. **55.3 GB/s** băng thông đọc đã được kiểm tra, nhanh hơn RAM trên hầu hết các điện thoại di động.

Trong khi chúng ta chờ đợi gpu-fryer, đây là mmapeak. **3.1 PFLOPS** trên các thẻ fp16 -> fp32. Đây là nơi mà việc thiếu nerf của 5090 thực sự tỏa sáng, nó gấp hơn hai lần FLOPS thô của một tinybox green v2!

Đây là nó trong huggingface/gpu-fryer. 2522W ở công suất tối đa, không có Max-Q ở đây!

Nhiệt độ cuối cùng ở trạng thái bão hòa sau 15 phút là 72C, 80C, 71C và 76C. Chúng tôi vẫn đang làm việc về chính sách quạt và bố trí thẻ, các bộ làm mát khác với những gì chúng tôi đã làm trước đây. Nhưng máy vận chuyển sẽ *ít nhất* tốt như thế này.