Machine Learning Associate · Eksploracja i przygotowanie danych
Usuwanie wartosci odstajacych: odchylenie standardowe a IQR
Najważniejsze
- Reguła odchylenia standardowego (z-score): zostaw wiersze z |x - średnia| / odchylenie poniżej progu, zwykle 3.
- Pasuje do danych zbliżonych do dzwonowych, ale outliery zaburzają średnią i odchylenie.
- Reguła IQR: Q1, Q3 (Spark: df.approxQuantile), IQR = Q3 - Q1; zostaw wiersze między Q1 - 1.5*IQR a Q3 + 1.5*IQR.
- Kwartyle są odporne, więc działa przy danych skośnych.
- Usuwaj tylko błędy; prawdziwe rzadkie zdarzenia mogą być sygnałem.
Przykładowe pytania
W standardowej regule IQR, jaki przedzial wyznacza wartosci nieodstajace?
- Od Q1 - 1.5*IQR do Q3 + 1.5*IQR
- Od sredniej - 1.5*IQR do sredniej + 1.5*IQR
- Tylko od Q1 do Q3
- Od mediany - 3 do mediany + 3
Pokaż odpowiedź
Odpowiedź: A. Od Q1 - 1.5*IQR do Q3 + 1.5*IQR
Typowe granice to 1,5 razy IQR ponizej Q1 i powyzej Q3. Pozostale przedzialy myla reguly sredniej/odchylenia lub uzywaja zlych kwartyli.
Ktore stwierdzenia o filtrowaniu wartosci odstajacych sa poprawne?
- Regula z-score dziala najlepiej, gdy dane sa mniej wiecej dzwonowe
- Granice IQR opieraja sie na kwartylach, ktore sa odporne na wartosci skrajne
- W Sparku kwartyle mozna uzyskac przez df.approxQuantile
- Regula IQR wymaga danych o rozkladzie normalnym
- Filtrowanie trzeba robic w pandas, bo Spark nie porowna z obliczonym progiem
Pokaż odpowiedź
Odpowiedź: A. Regula z-score dziala najlepiej, gdy dane sa mniej wiecej dzwonowe, B. Granice IQR opieraja sie na kwartylach, ktore sa odporne na wartosci skrajne, C. W Sparku kwartyle mozna uzyskac przez df.approxQuantile
Regula z-score zaklada mniej wiecej dzwonowy ksztalt, IQR uzywa kwartyli odpornych na skrajnosci, a Spark policzy kwartyle przez approxQuantile. IQR nie wymaga normalnosci i nie trzeba zbierac danych na driverze.
Prawda czy falsz: filtr z-score nie jest zaburzany przez wartosci odstajace, ktore ma wykryc, bo opiera sie na sredniej i odchyleniu standardowym.
Pokaż odpowiedź
Odpowiedź: Fałsz
Falsz. Srednia i odchylenie standardowe sa przesuwane przez wartosci skrajne, co moze zmniejszyc z-score samych outlierow (maskowanie). Reguly oparte na kwartylach sa odporniejsze.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
