Jesteś na rozmowie kwalifikacyjnej na stanowisko inżyniera ML w Netflix. Interviewer pyta: "Wytrenujesz nowy model rekomendacji. Jak upewnisz się, że jest gotowy do zastąpienia starego?" Odpowiadasz: "Porównam metryki na zbiorach walidacyjnych i testowych." Rozmowa zakończona. Oto, co przegapiłeś: Problem polega na tym, że mimo rygorystycznego testowania modelu ML lokalnie (na zbiorach walidacyjnych i testowych), może to być fatalny pomysł, aby natychmiast zastąpić poprzedni model nowym modelem. Dzieje się tak, ponieważ trudno jest odtworzyć dokładne środowisko produkcyjne i warunki lokalnie oraz uzasadnić sukces na podstawie dokładności walidacji/testów. Bardziej niezawodną strategią jest testowanie modelu w produkcji (tak, na rzeczywistych danych przychodzących). Chociaż może to brzmieć ryzykownie, zespoły ML robią to cały czas i nie jest to takie skomplikowane. Uwaga: > Model dziedziczny: Istniejący model. > Model kandydujący: Nowy model. Oto cztery powszechne sposoby, aby to zrobić: 1️⃣ Testowanie A/B ...