Вы на интервью на должность ML-инженера в Netflix. Интервьюер спрашивает: "Вы обучили новую модель рекомендаций. Как вы убедитесь, что она готова заменить старую?" Вы отвечаете: "Я сравню метрики на валидационных и тестовых наборах." Интервью окончено. Вот что вы пропустили: Проблема в том, что, несмотря на тщательное тестирование ML-модели локально (на валидационных и тестовых наборах), может быть ужасной идеей мгновенно заменить предыдущую модель на новую. Это связано с тем, что трудно воспроизвести точную производственную среду и условия локально и оправдать успех с помощью точности валидации/теста. Более надежная стратегия — протестировать модель в производственной среде (да, на реальных входящих данных). Хотя это может показаться рискованным, команды ML делают это постоянно, и это не так сложно. Примечание: > Устаревшая модель: Существующая модель. > Кандидатная модель: Новая модель. Вот четыре распространенных способа сделать это: 1️⃣ A/B тестирование ...