你正在 Netflix 的 ML 工程師面試中。 面試官問： 「你已經訓練了一個新的推薦模型。 你如何確保它準備好取代舊的模型？」 你回答：「我會比較驗證集和測試集的指標。」 面試結束。 這是你錯過的： 問題在於，儘管在本地（在驗證集和測試集上）嚴格測試 ML 模型，但立即用新模型取代舊模型可能是一個糟糕的主意。 這是因為在本地複製精確的生產環境和條件是困難的，並且無法用驗證/測試準確度來證明成功。 一個更可靠的策略是在生產環境中測試模型（是的，使用實際的進入數據）。 雖然這聽起來風險很大，但 ML 團隊經常這樣做，並且並不那麼複雜。 注意： > 傳統模型：現有模型。 > 候選模型：新模型。 以下是四種常見的方法： 1️⃣ A/B 測試 ...