Du bist in einem Vorstellungsgespräch als ML Engineer bei Netflix. Der Interviewer fragt: "Du hast ein neues Empfehlungsmodell trainiert. Wie stellst du sicher, dass es bereit ist, das alte zu ersetzen?" Du antwortest: "Ich werde die Metriken auf Validierungs- und Testdatensätzen vergleichen." Interview vorbei. Hier ist, was du verpasst hast: Das Problem ist, dass es trotz rigoroser Tests eines ML-Modells lokal (auf Validierungs- und Testdatensätzen) eine schreckliche Idee sein könnte, das vorherige Modell sofort durch das neue Modell zu ersetzen. Das liegt daran, dass es schwierig ist, die genaue Produktionsumgebung und die Bedingungen lokal zu replizieren und den Erfolg mit den Genauigkeiten von Val/Test zu rechtfertigen. Eine zuverlässigere Strategie ist es, das Modell in der Produktion zu testen (ja, mit echten eingehenden Daten). Obwohl das riskant erscheinen mag, tun ML-Teams das ständig, und es ist nicht so kompliziert. Hinweis: > Legacy-Modell: Das bestehende Modell. > Kandidatenmodell: Das neue Modell. Hier sind vier gängige Möglichkeiten, dies zu tun: 1️⃣ A/B-Tests ...