Bitzu

AIF-C01 · Cykl życia ML, MLOps i metryki

Metryki modelu i biznesowe

Najważniejsze

  • Accuracy (trafność): odsetek wszystkich poprawnych predykcji.
  • Precision (precyzja): ile oznaczonych jako pozytywne naprawdę takie było (koszt fałszywych alarmów).
  • Recall (czułość): ile rzeczywistych pozytywów znaleziono (koszt pominięć).
  • F1: średnia harmoniczna precyzji i czułości.
  • Metryki biznesowe: koszt na użytkownika, koszt rozwoju, opinie klientów, ROI.
  • Model może mieć dobre wyniki techniczne i nie spełniać założeń biznesowych.

Przykładowe pytania

Jednokrotny wybór

Która metryka odpowiada na pytanie: ile z tego, co model oznaczył jako pozytywne, rzeczywiście było pozytywne?

  1. Precyzja
  2. Czułość
  3. Trafność
  4. ROI
Pokaż odpowiedź

Odpowiedź: A. Precyzja

To precyzja. Czułość (recall) mierzy natomiast, ile rzeczywistych pozytywów znaleziono, a trafność obejmuje wszystkie predykcje.

Zaznacz wszystkie poprawne

Które z poniższych to metryki biznesowe, a nie metryki jakości modelu?

  1. Zwrot z inwestycji (ROI)
  2. Koszt obsługi na użytkownika
  3. Precyzja
  4. Wskaźnik F1
  5. Czułość
Pokaż odpowiedź

Odpowiedź: A. Zwrot z inwestycji (ROI), B. Koszt obsługi na użytkownika

ROI i koszt na użytkownika mierzą wartość i koszt rozwiązania. Precyzja i F1 opisują jakość predykcji.

Prawda czy fałsz

Model z trafnością 99 procent zawsze jest dobry, nawet gdy 99 procent danych należy do jednej klasy.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Przy niezrównoważonych danych model zawsze wskazujący klasę większościową osiąga 99 procent trafności, nie znajdując nigdy rzadkiej klasy. Trzeba sprawdzić precyzję, czułość i F1.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module