Machine Learning Associate · Ocena modeli i generalizacja
Wybór właściwej metryki do celu biznesowego
Najważniejsze
- Kosztowne fałszywe negatywy (badania przesiewowe): recall.
- Kosztowne fałszywe pozytywy (blokowanie dobrych klientów): precision.
- Niezbalansowane klasy: precision, recall, F1 lub widoki PR, nie accuracy.
- Szeregowanie niezależne od progu: ROC AUC.
- Wiarygodne prawdopodobieństwa: log loss.
- Regresja: MAE, gdy outliery nie mają dominować, RMSE, gdy duże pomyłki są nieproporcjonalnie kosztowne, R-kwadrat dla wyjaśnionej wariancji.
Źródło: https://scikit-learn.org/stable/modules/model_evaluation.html
Przykładowe pytania
Model przesiewowy ma wykryć jak najwięcej chorych pacjentów, a pominięcie pacjenta jest znacznie gorsze niż fałszywy alarm. Którą metrykę priorytetyzować?
- Precision
- Recall
- MAE
- Accuracy
Pokaż odpowiedź
Odpowiedź: B. Recall
Pominięci pacjenci to fałszywe negatywy, które recall bezpośrednio karze. Precision faworyzowałoby unikanie fałszywych alarmów.
W jakich sytuacjach MAE jest lepszą główną metryką niż RMSE?
- Zmienna docelowa ma skrajne wartości odstające, które nie powinny dominować wyniku
- Każda jednostka błędu kosztuje biznes tyle samo
- Duże pomyłki są znacznie kosztowniejsze niż kilka małych
- Zadanie to klasyfikacja binarna
- Potrzebne są skalibrowane prawdopodobieństwa klas
Pokaż odpowiedź
Odpowiedź: A. Zmienna docelowa ma skrajne wartości odstające, które nie powinny dominować wyniku, B. Każda jednostka błędu kosztuje biznes tyle samo
MAE waży każdą jednostkę błędu jednakowo i jest odporne na kilka skrajnych wartości. Gdy duże błędy są nieproporcjonalnie kosztowne, lepsze jest RMSE; klasyfikacja i kalibracja wymagają zupełnie innych metryk.
Prawda czy fałsz: przy silnie niezbalansowanej klasyfikacji accuracy jest najbardziej wiarygodną pojedynczą metryką.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Accuracy nagradza przewidywanie klasy większościowej. Precision, recall, F1 lub metryki oparte na PR pokazują, jak model radzi sobie z klasą mniejszościową.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
