あなたはNetflixのMLエンジニアの面接を受けています。 インタビュアーは次のように尋ねます。 「新しいレコメンデーションモデルをトレーニングしました。 古いものを置き換える準備ができていることを確認するにはどうすればよいですか?」 あなたは「検証とテストセットの指標を比較します」と答えます。 インタビューは終わりました。 見逃したものは次のとおりです。 問題は、ML モデルをローカルで (検証セットとテスト セットで) 厳密にテストしているにもかかわらず、以前のモデルを新しいモデルに即座に置き換えるのはひどい考えである可能性があることです。 これは、正確な生産環境と条件をローカルで再現し、val/test の精度で成功を正当化することが困難であるためです。 より信頼性の高い戦略は、本番環境でモデルをテストすることです (はい、実際の受信データで)。 これは危険に聞こえるかもしれませんが、ML チームは常にそれを行っており、それほど複雑ではありません。 手記： > レガシーモデル: 既存のモデル。 > 候補モデル: 新しいモデル。 これを行う 4 つの一般的な方法を次に示します。 1️⃣ A/B テスト ...