Machine Learning Associate · Eksploracja i przygotowanie danych
Kodowanie one-hot
Najważniejsze
- Każda kategoria to kolumna 0/1: cecha nominalna bez fałszywej kolejności.
- Dobre: modele liniowe, regresja logistyczna, sieci neuronowe.
- Słabe przy bardzo dużej kardynalności; zbędne dla większości drzew.
- Dane porządkowe (S < M < L): uporządkowane liczby.
- Pułapka zmiennych zastępczych: k kolumn + wyraz wolny są współliniowe; pomiń jedną (Spark: domyślnie ostatnią; scikit-learn: drop="first").
- Spark: StringIndexer, potem OneHotEncoder.
Źródło: https://spark.apache.org/docs/latest/ml-features.html
Przykładowe pytania
Dlaczego zwykle kodowanie calkowitoliczbowe (red=1, green=2, blue=3) jest ryzykowne dla cechy nominalnej w regresji logistycznej?
- Model odczytuje liczby jako majace kolejnosc i odleglosc, ktorych kolory nie maja
- Usuwa wiersze zawierajace kolor blue
- Liczb calkowitych nie mozna przechowywac w kolumnie Spark
- Zawsze podwaja liczbe cech
Pokaż odpowiedź
Odpowiedź: A. Model odczytuje liczby jako majace kolejnosc i odleglosc, ktorych kolory nie maja
Model traktuje liczby jak wielkosci, wiec zalozy, ze blue jest 'wieksze' niz red. Kolumny one-hot unikaja tej falszywej kolejnosci. Liczby nie zmieniaja liczby wierszy ani nie czynia kolumny kategoryczna.
Ktore stwierdzenia o kodowaniu one-hot sa poprawne?
- Przy wyrazie wolnym k pelnych kolumn zastepczych jest idealnie wspolliniowych (pulapka zmiennych zastepczych)
- W Sparku kolumny tekstowe zwykle indeksuje sie StringIndexer przed OneHotEncoder
- Cecha naprawde porzadkowa, np. S < M < L, moze zwykle zostac jako uporzadkowane liczby
- One-hot dodaje jedna stala kolumne niezaleznie od liczby kategorii
- Drzew decyzyjnych w ogole nie da sie trenowac bez kodowania one-hot
Pokaż odpowiedź
Odpowiedź: A. Przy wyrazie wolnym k pelnych kolumn zastepczych jest idealnie wspolliniowych (pulapka zmiennych zastepczych), B. W Sparku kolumny tekstowe zwykle indeksuje sie StringIndexer przed OneHotEncoder, C. Cecha naprawde porzadkowa, np. S < M < L, moze zwykle zostac jako uporzadkowane liczby
Pulapka zmiennych zastepczych bierze sie z tego, ze k zmiennych sumuje sie do kolumny wyrazu wolnego; OneHotEncoder Sparka przyjmuje indeksy kategorii (ze StringIndexer dla tekstow); a cecha naprawde porzadkowa czesto zachowuje kolejnosc jako liczby. One-hot dodaje kolumne na kategorie, a drzewa nie wymagaja go bezwzglednie.
Prawda czy falsz: kodowanie one-hot to najlepszy wybor dla cechy porzadkowej, jak low / medium / high, bo unika zakladania jakiejkolwiek kolejnosci.
Pokaż odpowiedź
Odpowiedź: Fałsz
Falsz. Cecha ma sensowna kolejnosc, a one-hot ja gubi. Uporzadkowane liczby (kodowanie porzadkowe) zachowuja te informacje i zajmuja jedna kolumne.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
