Bitzu

Machine Learning Associate · Ocena modeli i generalizacja

Wybór właściwej metryki do celu biznesowego

Najważniejsze

  • Kosztowne fałszywe negatywy (badania przesiewowe): recall.
  • Kosztowne fałszywe pozytywy (blokowanie dobrych klientów): precision.
  • Niezbalansowane klasy: precision, recall, F1 lub widoki PR, nie accuracy.
  • Szeregowanie niezależne od progu: ROC AUC.
  • Wiarygodne prawdopodobieństwa: log loss.
  • Regresja: MAE, gdy outliery nie mają dominować, RMSE, gdy duże pomyłki są nieproporcjonalnie kosztowne, R-kwadrat dla wyjaśnionej wariancji.

Źródło: https://scikit-learn.org/stable/modules/model_evaluation.html

Przykładowe pytania

Jednokrotny wybór

Model przesiewowy ma wykryć jak najwięcej chorych pacjentów, a pominięcie pacjenta jest znacznie gorsze niż fałszywy alarm. Którą metrykę priorytetyzować?

  1. Precision
  2. Recall
  3. MAE
  4. Accuracy
Pokaż odpowiedź

Odpowiedź: B. Recall

Pominięci pacjenci to fałszywe negatywy, które recall bezpośrednio karze. Precision faworyzowałoby unikanie fałszywych alarmów.

Zaznacz wszystkie poprawne

W jakich sytuacjach MAE jest lepszą główną metryką niż RMSE?

  1. Zmienna docelowa ma skrajne wartości odstające, które nie powinny dominować wyniku
  2. Każda jednostka błędu kosztuje biznes tyle samo
  3. Duże pomyłki są znacznie kosztowniejsze niż kilka małych
  4. Zadanie to klasyfikacja binarna
  5. Potrzebne są skalibrowane prawdopodobieństwa klas
Pokaż odpowiedź

Odpowiedź: A. Zmienna docelowa ma skrajne wartości odstające, które nie powinny dominować wyniku, B. Każda jednostka błędu kosztuje biznes tyle samo

MAE waży każdą jednostkę błędu jednakowo i jest odporne na kilka skrajnych wartości. Gdy duże błędy są nieproporcjonalnie kosztowne, lepsze jest RMSE; klasyfikacja i kalibracja wymagają zupełnie innych metryk.

Prawda czy fałsz

Prawda czy fałsz: przy silnie niezbalansowanej klasyfikacji accuracy jest najbardziej wiarygodną pojedynczą metryką.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Accuracy nagradza przewidywanie klasy większościowej. Precision, recall, F1 lub metryki oparte na PR pokazują, jak model radzi sobie z klasą mniejszościową.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module