Jste na pohovoru ML Engineer na Netflixu. Tazatel se ptá: "Vytrénovali jste nový model doporučení. Jak se ujistíte, že je připraven nahradit ten starý?" Vy odpovíte: "Porovnám metriky na validaci a testovací sady." Rozhovor skončil. Zde je to, co jste zmeškali: Problém je v tom, že navzdory přísnému testování modelu ML lokálně (na validaci a testovacích sadách) by mohl být hrozný nápad okamžitě nahradit předchozí model novým modelem. Je to proto, že je obtížné replikovat přesné produkční prostředí a podmínky lokálně a ospravedlnit úspěch pomocí přesnosti val/test. Spolehlivější strategií je otestovat model v produkčním prostředí (ano, na reálných příchozích datech). I když to může znít riskantně, týmy ML to dělají neustále a není to tak složité. Poznámka: > Starší model: Stávající model. > Kandidátský model: Nový model. Zde jsou čtyři běžné způsoby, jak to udělat: 1️⃣ A/B testování ...