Anda berada dalam wawancara ML Engineer di Netflix. Pewawancara bertanya: "Anda telah melatih model rekomendasi baru. Bagaimana Anda memastikannya siap untuk menggantikan yang lama?" Anda membalas: "Saya akan membandingkan metrik pada validasi dan set pengujian." Wawancara selesai. Inilah yang Anda lewatkan: Masalahnya adalah, meskipun menguji model ML secara ketat secara lokal (pada validasi dan set pengujian), bisa menjadi ide yang buruk untuk langsung mengganti model sebelumnya dengan model baru. Ini karena sulit untuk mereplikasi lingkungan dan kondisi produksi yang tepat secara lokal, dan membenarkan keberhasilan dengan akurasi val/uji. Strategi yang lebih andal adalah menguji model dalam produksi (ya, pada data masuk dunia nyata). Meskipun ini mungkin terdengar berisiko, tim ML melakukannya sepanjang waktu, dan itu tidak terlalu rumit. Nota: > Model lama: Model yang ada. > Model kandidat: Model baru. Berikut adalah empat cara umum untuk melakukannya: 1️⃣ Pengujian A/B ...