Bitzu

Machine Learning Associate · Eksploracja i przygotowanie danych

Usuwanie wartosci odstajacych: odchylenie standardowe a IQR

Najważniejsze

  • Reguła odchylenia standardowego (z-score): zostaw wiersze z |x - średnia| / odchylenie poniżej progu, zwykle 3.
  • Pasuje do danych zbliżonych do dzwonowych, ale outliery zaburzają średnią i odchylenie.
  • Reguła IQR: Q1, Q3 (Spark: df.approxQuantile), IQR = Q3 - Q1; zostaw wiersze między Q1 - 1.5*IQR a Q3 + 1.5*IQR.
  • Kwartyle są odporne, więc działa przy danych skośnych.
  • Usuwaj tylko błędy; prawdziwe rzadkie zdarzenia mogą być sygnałem.

Przykładowe pytania

Jednokrotny wybór

W standardowej regule IQR, jaki przedzial wyznacza wartosci nieodstajace?

  1. Od Q1 - 1.5*IQR do Q3 + 1.5*IQR
  2. Od sredniej - 1.5*IQR do sredniej + 1.5*IQR
  3. Tylko od Q1 do Q3
  4. Od mediany - 3 do mediany + 3
Pokaż odpowiedź

Odpowiedź: A. Od Q1 - 1.5*IQR do Q3 + 1.5*IQR

Typowe granice to 1,5 razy IQR ponizej Q1 i powyzej Q3. Pozostale przedzialy myla reguly sredniej/odchylenia lub uzywaja zlych kwartyli.

Zaznacz wszystkie poprawne

Ktore stwierdzenia o filtrowaniu wartosci odstajacych sa poprawne?

  1. Regula z-score dziala najlepiej, gdy dane sa mniej wiecej dzwonowe
  2. Granice IQR opieraja sie na kwartylach, ktore sa odporne na wartosci skrajne
  3. W Sparku kwartyle mozna uzyskac przez df.approxQuantile
  4. Regula IQR wymaga danych o rozkladzie normalnym
  5. Filtrowanie trzeba robic w pandas, bo Spark nie porowna z obliczonym progiem
Pokaż odpowiedź

Odpowiedź: A. Regula z-score dziala najlepiej, gdy dane sa mniej wiecej dzwonowe, B. Granice IQR opieraja sie na kwartylach, ktore sa odporne na wartosci skrajne, C. W Sparku kwartyle mozna uzyskac przez df.approxQuantile

Regula z-score zaklada mniej wiecej dzwonowy ksztalt, IQR uzywa kwartyli odpornych na skrajnosci, a Spark policzy kwartyle przez approxQuantile. IQR nie wymaga normalnosci i nie trzeba zbierac danych na driverze.

Prawda czy fałsz

Prawda czy falsz: filtr z-score nie jest zaburzany przez wartosci odstajace, ktore ma wykryc, bo opiera sie na sredniej i odchyleniu standardowym.

Pokaż odpowiedź

Odpowiedź: Fałsz

Falsz. Srednia i odchylenie standardowe sa przesuwane przez wartosci skrajne, co moze zmniejszyc z-score samych outlierow (maskowanie). Reguly oparte na kwartylach sa odporniejsze.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module