Những điều tôi rút ra được từ buổi keynote của Apple hôm nay: - Apple đang tập trung vào việc cải thiện GPU cho suy diễn AI. Apple Neural Engine thậm chí không được nhắc đến một lần nào. - Dự kiến khả năng tính toán suy diễn sẽ tăng 3-4 lần (có thể hơn) trong các chip Apple Silicon M5 sắp tới cho Mac. Băng thông bộ nhớ vẫn là một yếu tố quan trọng khi nói đến suy diễn, nhưng với các mô hình MoE thưa mới như Qwen 3 Next, yếu tố tính toán sẽ trở nên quan trọng hơn. - MLX (không phải CoreML) là nơi AI đang diễn ra. Tôi giả định Metal sẽ hỗ trợ các Bộ tăng tốc Neural từ ngày đầu tiên và MLX cũng sẽ như vậy hoặc sẽ sớm sau đó. - Nếu sự tăng trưởng hiệu suất 3-4 lần là có thật, các chip M5 sắp tới sẽ cực kỳ tuyệt vời trong suy diễn và đào tạo AI. Chúng đã là sự lựa chọn tốt nhất về giá trị và sẽ còn tốt hơn nữa khi M5 ra mắt. - Với cả phần mềm (MLX), mô hình và phần cứng đều được cải thiện, suy diễn AI trên thiết bị cục bộ sẽ nhận được một cú hích lớn trên cả iPhone và Mac.