AIF-C01 · Cykl życia ML, MLOps i metryki
Metryki modelu i biznesowe
Najważniejsze
- Accuracy (trafność): odsetek wszystkich poprawnych predykcji.
- Precision (precyzja): ile oznaczonych jako pozytywne naprawdę takie było (koszt fałszywych alarmów).
- Recall (czułość): ile rzeczywistych pozytywów znaleziono (koszt pominięć).
- F1: średnia harmoniczna precyzji i czułości.
- Metryki biznesowe: koszt na użytkownika, koszt rozwoju, opinie klientów, ROI.
- Model może mieć dobre wyniki techniczne i nie spełniać założeń biznesowych.
Przykładowe pytania
Która metryka odpowiada na pytanie: ile z tego, co model oznaczył jako pozytywne, rzeczywiście było pozytywne?
- Precyzja
- Czułość
- Trafność
- ROI
Pokaż odpowiedź
Odpowiedź: A. Precyzja
To precyzja. Czułość (recall) mierzy natomiast, ile rzeczywistych pozytywów znaleziono, a trafność obejmuje wszystkie predykcje.
Które z poniższych to metryki biznesowe, a nie metryki jakości modelu?
- Zwrot z inwestycji (ROI)
- Koszt obsługi na użytkownika
- Precyzja
- Wskaźnik F1
- Czułość
Pokaż odpowiedź
Odpowiedź: A. Zwrot z inwestycji (ROI), B. Koszt obsługi na użytkownika
ROI i koszt na użytkownika mierzą wartość i koszt rozwiązania. Precyzja i F1 opisują jakość predykcji.
Model z trafnością 99 procent zawsze jest dobry, nawet gdy 99 procent danych należy do jednej klasy.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Przy niezrównoważonych danych model zawsze wskazujący klasę większościową osiąga 99 procent trafności, nie znajdując nigdy rzadkiej klasy. Trzeba sprawdzić precyzję, czułość i F1.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
