Sự thiếu hụt GPU trong AI không bao giờ chỉ là về các chip. Chúng ta có rất nhiều. Cuộc khủng hoảng thực sự là chúng ta vẫn không thể sử dụng hầu hết trong số đó. Đây là lý do tại sao 🧵

@cot_research 2/ Nhìn vào khoảng cách: Tính toán tình nguyện như Folding@Home hoạt động tốt trên phần cứng tiêu dùng. Ngay cả @pewdiepie cũng đang làm việc tuyệt vời và đóng góp! Tuy nhiên, các khối lượng công việc AI hiện đại sẽ thất bại. Cùng một nhóm phần cứng. Kết quả rất khác nhau. Tại sao?

3/ Các môi trường AI hiện đại (suy diễn hoặc đào tạo) giả định điều kiện vô trùng: - GPU giống hệt nhau - Liên kết ổn định, độ trễ thấp Tuy nhiên, thế giới thực là một mớ hỗn độn của các máy móc khác nhau và internet chậm chạp. Ngăn xếp công nghệ tiêu chuẩn sụp đổ ở đây.

4/ Nhiều mạng lưới tính toán "phi tập trung" được gọi như vậy chưa đạt được sự phù hợp giữa sản phẩm và thị trường vì họ coi sự hỗn loạn này như một trường hợp ngoại lệ. Họ xây dựng các thị trường để tập hợp các GPU nhàn rỗi, nhưng việc tập hợp không phải là phối hợp. Nếu phần cứng không thể hoạt động như một cỗ máy đồng nhất, thì nó... hơi vô dụng.

5/ Sự phối hợp là ở phía thượng nguồn. Trong các mạng máy tính: nếu bạn không giải quyết sự phối hợp của phần cứng bị phân mảnh trước, thì mọi thứ khác bạn xây dựng đều không quan trọng. Độ tin cậy và Trải nghiệm Nhà phát triển là những vấn đề ở phía hạ nguồn.

6/ @YottaLabs là đội đầu tiên mà tôi thấy giải quyết vấn đề này từ gốc rễ và đạt được tiến bộ mạnh mẽ. Bằng cách xây dựng lại hệ thống AI, từ bộ lập lịch đến lớp giao tiếp, họ đã mang lại hiệu suất tính toán phi tập trung gần như đạt ~15% so với các cụm tập trung.

7/ Điều thú vị hơn nữa là mô hình kinh doanh của @YottaLabs. Thị trường chỉ là thứ yếu. Họ đang xây dựng một hàng rào dữ liệu trong khả năng phục hồi hoạt động mà Google không thể sao chép - bộ tối ưu thông minh. Yotta đưa mọi đỉnh nhiệt và sự cố mạng trở lại bộ tối ưu của họ. Sẽ có thêm thông tin về điều này sau.