Bitzu

Machine Learning Associate · Ocena modeli i generalizacja

Metryki klasyfikacji: precision, recall, F1, accuracy, log loss, ROC AUC

Najważniejsze

  • Macierz pomyłek zlicza TP, FP, FN i TN.
  • Accuracy = (TP+TN)/wszystkie.
  • Precision = TP/(TP+FP): ile można zaufać predykcji pozytywnej.
  • Recall = TP/(TP+FN): ile prawdziwych pozytywów wykryto.
  • F1 to średnia harmoniczna precision i recall.
  • Log loss ocenia przewidywane prawdopodobieństwa i mocno karze pewne błędne odpowiedzi.
  • ROC AUC mierzy, jak dobrze wyniki szeregują pozytywy powyżej negatywów dla wszystkich progów.

Źródło: https://scikit-learn.org/stable/modules/model_evaluation.html

Przykładowe pytania

Jednokrotny wybór

Która metryka mówi, jaka część elementów oznaczonych przez model jako pozytywne faktycznie była pozytywna?

  1. Recall
  2. Precision
  3. Accuracy
  4. Log loss
Pokaż odpowiedź

Odpowiedź: B. Precision

To precision, TP/(TP+FP). Recall dzieli natomiast przez wszystkie rzeczywiste pozytywy, TP+FN.

Zaznacz wszystkie poprawne

Które stwierdzenia o ROC AUC są prawdziwe?

  1. Liczy się je z przewidywanych wyników lub prawdopodobieństw dla wszystkich progów
  2. Wartość 0,5 odpowiada szeregowaniu nie lepszemu niż losowe
  3. Wartość 1,0 oznacza, że każdy pozytyw dostał wyższy wynik niż każdy negatyw
  4. Wymaga twardych etykiet klas z jednego progu
  5. Zawsze jest równe accuracy dla progu 0,5
Pokaż odpowiedź

Odpowiedź: A. Liczy się je z przewidywanych wyników lub prawdopodobieństw dla wszystkich progów, B. Wartość 0,5 odpowiada szeregowaniu nie lepszemu niż losowe, C. Wartość 1,0 oznacza, że każdy pozytyw dostał wyższy wynik niż każdy negatyw

AUC liczy się z wyników dla wszystkich progów, 0,5 oznacza losowe szeregowanie, a 1,0 idealne. Nie używa jednego progu i nie jest tym samym co accuracy.

Prawda czy fałsz

Prawda czy fałsz: model z accuracy 99% jest dobry, nawet gdy 99% przykładów należy do klasy negatywnej.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Przewidywanie negatywu dla wszystkiego daje już 99% accuracy przy zerowej liczbie wykrytych pozytywów. Trzeba sprawdzić precision i recall.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module