Bitzu

Machine Learning Associate · Eksploracja i przygotowanie danych

Imputacja brakujacych wartosci

Najważniejsze

  • Średnia: numeryczne, w miarę symetryczne, bez silnych outlierów.
  • Mediana: numeryczne skośne lub z outlierami.
  • Moda (najczęstsza): kolumny kategoryczne, kody dyskretne.
  • Spark ML Imputer: numeryczne; średnia, mediana lub moda.
  • scikit-learn SimpleImputer: mean, median (tylko numeryczne), most_frequent, constant.
  • Oba to estymatory: dopasuj na train, transformuj train i test.
  • Imputacja zmniejsza wariancję i może ukryć brak wartości.

Źródło: https://scikit-learn.org/stable/modules/generated/sklearn.impute.SimpleImputer.html

Przykładowe pytania

Jednokrotny wybór

Ktora strategia SimpleImputer moze uzupelnic braki w kolumnie kategorii tekstowych, np. device_type?

  1. most_frequent
  2. mean
  3. median
  4. interpolate
Pokaż odpowiedź

Odpowiedź: A. most_frequent

most_frequent dziala na tekstach i liczbach. mean i median wymagaja danych numerycznych, a 'interpolate' nie jest strategia SimpleImputer.

Zaznacz wszystkie poprawne

Ktore stwierdzenia o imputacji sa poprawne?

  1. Mediana jest mniej wrazliwa na outliery niz srednia
  2. Imputer dopasowuje sie, by nauczyc wartosci, a transform je stosuje
  3. SimpleImputer(strategy="most_frequent") moze uzupelniac kolumny tekstowe
  4. SimpleImputer(strategy="mean") dziala na kolumnach tekstowych
  5. Dopasowanie imputera na zbiorze testowym daje najuczciwsza ocene
Pokaż odpowiedź

Odpowiedź: A. Mediana jest mniej wrazliwa na outliery niz srednia, B. Imputer dopasowuje sie, by nauczyc wartosci, a transform je stosuje, C. SimpleImputer(strategy="most_frequent") moze uzupelniac kolumny tekstowe

Mediana jest odporna na outliery, imputery to dopasowywane estymatory, ktorych wyuczone wartosci uzywa sie na nowych danych, a most_frequent obsluguje teksty. Srednia nie dziala na kolumnach tekstowych, a dopasowanie na zbiorze testowym powoduje wyciek informacji.

Prawda czy fałsz

Prawda czy falsz: uzupelnienie brakow srednia kolumny zachowuje pierwotna wariancje cechy.

Pokaż odpowiedź

Odpowiedź: Fałsz

Falsz. Kazdy uzupelniony wiersz lezy dokladnie w sredniej, wiec rozrzut kolumny maleje. To jeden z powodow, by rozwazyc kolumne wskaznika braku lub imputacje modelowa.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module