BOOM! TĂNG TỐC AI LỚN! Hot Rod AI nhanh hơn 100 lần, tiêu thụ ít năng lượng hơn 100,000 lần! — Khôi phục Mạch Tương tự: Một Bước Nhảy Vọt Hướng Tới AI Siêu Hiệu Quả với Sự Chú Ý Trong Bộ Nhớ Tôi bắt đầu với điện tử tương tự khi còn nhỏ và luôn nghĩ rằng máy tính tương tự sẽ trở lại. Máy tính tương tự của những năm 1960 sử dụng mạng nơ-ron dựa trên điện áp thay vì đồng hồ nhị phân. Tương tự Nhanh Hơn Kỹ Thuật Số Các mô hình ngôn ngữ lớn ở cốt lõi của chúng nằm trong kiến trúc transformer, nơi các cơ chế tự chú ý sàng lọc qua các chuỗi dữ liệu khổng lồ để dự đoán từ hoặc token tiếp theo. Trên các GPU thông thường, việc chuyển dữ liệu giữa bộ nhớ cache và các đơn vị xử lý tiêu tốn thời gian và năng lượng, làm tắc nghẽn toàn bộ hệ thống. Chúng cần một chu kỳ đồng hồ để di chuyển chính xác các bit vào và ra khỏi bộ nhớ và thanh ghi, và điều này chiếm >90% thời gian và năng lượng dư thừa. Nhưng bây giờ một nghiên cứu đột phá đề xuất một thiết lập tính toán trong bộ nhớ tùy chỉnh có thể cắt giảm những sự không hiệu quả này, có khả năng định hình lại cách chúng ta triển khai AI sinh tạo. Sự đổi mới tập trung vào "các tế bào tăng"—các bộ nhớ tương tự dựa trên điện tích mới nổi, vừa là nơi lưu trữ vừa là động cơ tính toán. Khác với các GPU kỹ thuật số, mà phải tải các dự đoán token từ cache vào SRAM cho mỗi bước sinh, kiến trúc này giữ dữ liệu ở nơi mà toán học diễn ra: NGAY TRÊN CHIP! Với tốc độ đồng hồ gần TỐC ĐỘ ÁNH SÁNG vì nó không bao giờ bật/tắt như trong nhị phân kỹ thuật số. Bằng cách tận dụng các phép toán tích chấm tương tự song song, thiết kế này tính toán tự chú ý một cách tự nhiên, tránh được việc di chuyển dữ liệu mà phần cứng GPU gặp phải. Để thu hẹp khoảng cách giữa các mô hình kỹ thuật số lý tưởng và thực tế ồn ào của các mạch tương tự, các nhà nghiên cứu đã nghĩ ra một thuật toán khởi tạo thông minh. Phương pháp này điều chỉnh các LLM đã được huấn luyện trước, chẳng hạn như GPT-2, mà không cần huấn luyện lại hoàn toàn, đảm bảo hiệu suất liền mạch mặc dù có những không lý tưởng như trôi điện áp hoặc giới hạn độ chính xác. Kết quả thật không thể tin được! ...