Bitzu

Machine Learning Associate · Ocena modeli i generalizacja

Niedopasowanie a przeuczenie i kompromis obciążenie-wariancja

Najważniejsze

  • Niedopasowanie (duże obciążenie): model jest zbyt prosty, więc błąd treningowy i walidacyjny są wysokie.
  • Przeuczenie (duża wariancja): błąd treningowy jest niski, a walidacyjny znacznie wyższy.
  • Remedia na przeuczenie: regularyzacja, prostszy model, więcej danych treningowych.
  • Remedia na niedopasowanie: bardziej złożony model, więcej lub lepsze cechy, słabsza regularyzacja.
  • Więcej danych pomaga na wariancję, nie na obciążenie.

Źródło: https://scikit-learn.org/stable/modules/learning_curve.html

Przykładowe pytania

Jednokrotny wybór

Model ma bardzo niski błąd treningowy, ale znacznie wyższy błąd walidacyjny. Jak nazywa się ten wzorzec?

  1. Niedopasowanie
  2. Wyciek danych wyłącznie do zbioru testowego
  3. Przeuczenie
  4. Dobrze dopasowany model
Pokaż odpowiedź

Odpowiedź: C. Przeuczenie

Duża różnica przy niskim błędzie treningowym to przeuczenie (duża wariancja). Niedopasowanie dawałoby wysoki błąd na obu zbiorach.

Zaznacz wszystkie poprawne

Które działania mogą zmniejszyć przeuczenie?

  1. Zwiększyć siłę regularyzacji
  2. Dodać więcej danych treningowych
  3. Zmniejszyć złożoność modelu, na przykład płytsze drzewo
  4. Dodać więcej warstw do sieci
  5. Trenować przez wiele dodatkowych epok bez monitorowania błędu walidacyjnego
Pokaż odpowiedź

Odpowiedź: A. Zwiększyć siłę regularyzacji, B. Dodać więcej danych treningowych, C. Zmniejszyć złożoność modelu, na przykład płytsze drzewo

Silniejsza regularyzacja, więcej danych i prostszy model zmniejszają wariancję. Dodawanie warstw i dłuższy trening zwiększają pojemność i zwykle nasilają przeuczenie.

Prawda czy fałsz

Prawda czy fałsz: zebranie większej ilości danych treningowych to niezawodny sposób na niedopasowany model.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Zbyt prosty model pozostaje zbyt prosty mimo większej liczby wierszy; oba błędy nadal są wysokie. Więcej danych pomaga głównie wtedy, gdy problemem jest wariancja.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module