Compromisul bias-variance are un detaliu lipsă! Nu mulți ingineri ML știu despre asta. Ia în considerare potrivirea unui model de regresie polinomială pe un set de date fictiv, să zicem, y=sin(x) + zgomot. Așa cum se arată în primul grafic din imagine, pe măsură ce creștem gradul (m): - Pierderea la antrenament va scădea la zero. - Pierderea de test (sau validare) va scădea și apoi va crește. Dar observați ce se întâmplă pe măsură ce continuăm să creștem gradul (m): ↳ Pierderea la test scade din nou (prezentat în al doilea grafic) Acest fenomen se numește "fenomenul de coborâre dublă" și este frecvent observat în modelele de învățare profundă. Este contraintuitiv deoarece arată că creșterea complexității modelului poate îmbunătăți performanța generalizării. Din câte știu, aceasta este încă o întrebare deschisă. Nu este pe deplin clar de ce rețelele neuronale manifestă acest comportament. Există totuși câteva teorii legate de regularizare, cum ar fi aceasta: Este posibil ca modelul să aplice un fel de regularizare implicită. Ca urmare, se poate concentra precis pe un număr potrivit de parametri pentru generalizare. De fapt, poți încerca tu însuți: - Creează un set de date mic de dimensiune n. - Antrenează o regresie polinomială de grad m, începând de la 1 la o valoare mai mare decât n. - Graficează pierderea testului și pierderea de antrenament pentru fiecare m. 👉 Pe cuvântul tău: Ai auzit de coborâre dublă înainte?

Iată exact momentul în care Ilya Sutskever vorbește despre asta în podcastul lui Lex Fridman: