Ви проходите співбесіду з інженером машинного навчання на Netflix. Інтерв'юер запитує: "Ви підготували нову модель рекомендацій. Як переконатися, що він готовий до заміни старого?» Ви відповідаєте: «Я порівняю метрики на валідації та тестових наборах». Інтерв'ю закінчено. Ось що ви пропустили: Проблема полягає в тому, що, незважаючи на ретельне тестування моделі ML локально (на валідації та тестових наборах), може бути жахливою ідеєю миттєво замінити попередню модель на нову. Це пов'язано з тим, що важко відтворити точне виробниче середовище та умови на місцевому рівні, і обґрунтувати успіх точністю вимірювання/тестування. Більш надійною стратегією є перевірка моделі на виробництві (так, на реальних вхідних даних). Хоча це може здатися ризикованим, команди ML роблять це постійно, і це не так вже й складно. Примітка: > Застаріла модель: існуюча модель. > Модель кандидата: Нова модель. Ось чотири поширені способи зробити це: 1️⃣ A/B тестування ...