你正在参加Netflix的机器学习工程师面试。 面试官问： “你训练了一个新的推荐模型。 你如何确保它准备好替换旧模型？” 你回答：“我会比较验证集和测试集上的指标。” 面试结束。 你错过了以下几点： 问题在于，尽管在本地（在验证集和测试集上）严格测试机器学习模型，但立即用新模型替换旧模型可能是个糟糕的主意。 这是因为很难在本地复制确切的生产环境和条件，并用验证/测试准确率来证明成功。 一个更可靠的策略是在生产环境中测试模型（是的，使用真实的实时数据）。 虽然这听起来可能有风险，但机器学习团队经常这样做，而且并不复杂。 注意： > 旧模型：现有模型。 > 候选模型：新模型。 以下是四种常见的方法： 1️⃣ A/B 测试 ...