Machine Learning Associate · Algorytmy, potoki i niezbalansowane dane
Łagodzenie niezbalansowania klas
Najważniejsze
- Gdy jedna klasa jest rzadka, model może mieć wysoką dokładność ignorując ją.
- Opcje: resampling zbioru treningowego (nadpróbkowanie mniejszości, podpróbkowanie większości lub syntetyczne punkty SMOTE), wagi klas, by błędy na mniejszości kosztowały więcej, oraz ocena przez precision, recall, F1 lub PR AUC zamiast dokładności.
- Dziel ze stratyfikacją i resampluj tylko część treningową, nigdy testową.
Źródło: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html
Przykładowe pytania
Tylko 1% rekordów jest pozytywnych. Która metryka jest najbardziej informatywna dla klasy pozytywnej?
- Dokładność (accuracy)
- Pole pod krzywą precision-recall
- R-kwadrat
- Średni błąd bezwzględny
Pokaż odpowiedź
Odpowiedź: B. Pole pod krzywą precision-recall
Precision-recall skupia się na rzadkiej klasie. Accuracy może osiągnąć 99% przewidując tylko większość, a R-kwadrat i MAE to metryki regresji.
Które techniki pomagają przy niezbalansowanym zbiorze treningowym?
- Wagi klas karzące mocniej błędy na mniejszości
- Losowe podpróbkowanie klasy większościowej
- Całkowite usunięcie klasy mniejszościowej
- Generowanie syntetycznych próbek mniejszości SMOTE na zbiorze treningowym
- Ocena modelu tylko przez accuracy
Pokaż odpowiedź
Odpowiedź: A. Wagi klas karzące mocniej błędy na mniejszości, B. Losowe podpróbkowanie klasy większościowej, D. Generowanie syntetycznych próbek mniejszości SMOTE na zbiorze treningowym
Wagi, podpróbkowanie i SMOTE na danych treningowych równoważą uczenie. Usunięcie mniejszości usuwa to, co chcemy przewidzieć, a sama accuracy ukrywa problem.
Można bezpiecznie nadpróbkować klasę mniejszościową na całym zbiorze przed podziałem na trening i test.
Pokaż odpowiedź
Odpowiedź: Fałsz
Zduplikowane lub syntetyczne wiersze mniejszości trafiłyby do obu zbiorów, przeciekając informacje treningowe do testu i zawyżając wyniki. Najpierw podziel, potem resampluj tylko trening.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
