Pelajaran terbesar saya dari keynote Apple hari ini: - Apple fokus pada peningkatan GPU untuk inferensi AI. Apple Neural Engine bahkan tidak disebutkan sekalipun. - Harapkan komputasi inferensi meningkat 3-4x (mungkin lebih) di chip Apple Silicon M5 yang akan datang untuk Mac. Bandwidth memori masih menjadi faktor penting dalam hal inferensi, tetapi dengan model MoE baru yang jarang seperti Qwen 3 Next, faktor komputasi akan menjadi lebih penting. - MLX (bukan CoreML) adalah tempat AI terjadi. Saya berasumsi Metal akan mendukung Neural Accelerators sejak hari pertama dan begitu juga MLX atau akan segera setelahnya. - Jika peningkatan kinerja 3-4x nyata, chip M5 yang akan datang akan sangat hebat dalam inferensi dan pelatihan AI. Mereka sudah menjadi yang terbaik untuk uang dan akan lebih dari itu ketika M5 diluncurkan - Dengan peningkatan perangkat lunak (MLX), model, dan perangkat keras, inferensi AI lokal di perangkat akan mendapatkan dorongan besar di iPhone dan Mac