Machine Learning Associate · Ocena modeli i generalizacja
Metryki klasyfikacji: precision, recall, F1, accuracy, log loss, ROC AUC
Najważniejsze
- Macierz pomyłek zlicza TP, FP, FN i TN.
- Accuracy = (TP+TN)/wszystkie.
- Precision = TP/(TP+FP): ile można zaufać predykcji pozytywnej.
- Recall = TP/(TP+FN): ile prawdziwych pozytywów wykryto.
- F1 to średnia harmoniczna precision i recall.
- Log loss ocenia przewidywane prawdopodobieństwa i mocno karze pewne błędne odpowiedzi.
- ROC AUC mierzy, jak dobrze wyniki szeregują pozytywy powyżej negatywów dla wszystkich progów.
Źródło: https://scikit-learn.org/stable/modules/model_evaluation.html
Przykładowe pytania
Która metryka mówi, jaka część elementów oznaczonych przez model jako pozytywne faktycznie była pozytywna?
- Recall
- Precision
- Accuracy
- Log loss
Pokaż odpowiedź
Odpowiedź: B. Precision
To precision, TP/(TP+FP). Recall dzieli natomiast przez wszystkie rzeczywiste pozytywy, TP+FN.
Które stwierdzenia o ROC AUC są prawdziwe?
- Liczy się je z przewidywanych wyników lub prawdopodobieństw dla wszystkich progów
- Wartość 0,5 odpowiada szeregowaniu nie lepszemu niż losowe
- Wartość 1,0 oznacza, że każdy pozytyw dostał wyższy wynik niż każdy negatyw
- Wymaga twardych etykiet klas z jednego progu
- Zawsze jest równe accuracy dla progu 0,5
Pokaż odpowiedź
Odpowiedź: A. Liczy się je z przewidywanych wyników lub prawdopodobieństw dla wszystkich progów, B. Wartość 0,5 odpowiada szeregowaniu nie lepszemu niż losowe, C. Wartość 1,0 oznacza, że każdy pozytyw dostał wyższy wynik niż każdy negatyw
AUC liczy się z wyników dla wszystkich progów, 0,5 oznacza losowe szeregowanie, a 1,0 idealne. Nie używa jednego progu i nie jest tym samym co accuracy.
Prawda czy fałsz: model z accuracy 99% jest dobry, nawet gdy 99% przykładów należy do klasy negatywnej.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Przewidywanie negatywu dla wszystkiego daje już 99% accuracy przy zerowej liczbie wykrytych pozytywów. Trzeba sprawdzić precision i recall.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
