Machine Learning Associate · Eksploracja i przygotowanie danych
Imputacja brakujacych wartosci
Najważniejsze
- Średnia: numeryczne, w miarę symetryczne, bez silnych outlierów.
- Mediana: numeryczne skośne lub z outlierami.
- Moda (najczęstsza): kolumny kategoryczne, kody dyskretne.
- Spark ML Imputer: numeryczne; średnia, mediana lub moda.
- scikit-learn SimpleImputer: mean, median (tylko numeryczne), most_frequent, constant.
- Oba to estymatory: dopasuj na train, transformuj train i test.
- Imputacja zmniejsza wariancję i może ukryć brak wartości.
Źródło: https://scikit-learn.org/stable/modules/generated/sklearn.impute.SimpleImputer.html
Przykładowe pytania
Ktora strategia SimpleImputer moze uzupelnic braki w kolumnie kategorii tekstowych, np. device_type?
- most_frequent
- mean
- median
- interpolate
Pokaż odpowiedź
Odpowiedź: A. most_frequent
most_frequent dziala na tekstach i liczbach. mean i median wymagaja danych numerycznych, a 'interpolate' nie jest strategia SimpleImputer.
Ktore stwierdzenia o imputacji sa poprawne?
- Mediana jest mniej wrazliwa na outliery niz srednia
- Imputer dopasowuje sie, by nauczyc wartosci, a transform je stosuje
- SimpleImputer(strategy="most_frequent") moze uzupelniac kolumny tekstowe
- SimpleImputer(strategy="mean") dziala na kolumnach tekstowych
- Dopasowanie imputera na zbiorze testowym daje najuczciwsza ocene
Pokaż odpowiedź
Odpowiedź: A. Mediana jest mniej wrazliwa na outliery niz srednia, B. Imputer dopasowuje sie, by nauczyc wartosci, a transform je stosuje, C. SimpleImputer(strategy="most_frequent") moze uzupelniac kolumny tekstowe
Mediana jest odporna na outliery, imputery to dopasowywane estymatory, ktorych wyuczone wartosci uzywa sie na nowych danych, a most_frequent obsluguje teksty. Srednia nie dziala na kolumnach tekstowych, a dopasowanie na zbiorze testowym powoduje wyciek informacji.
Prawda czy falsz: uzupelnienie brakow srednia kolumny zachowuje pierwotna wariancje cechy.
Pokaż odpowiedź
Odpowiedź: Fałsz
Falsz. Kazdy uzupelniony wiersz lezy dokladnie w sredniej, wiec rozrzut kolumny maleje. To jeden z powodow, by rozwazyc kolumne wskaznika braku lub imputacje modelowa.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
