Machine Learning Associate · Algorytmy, potoki i niezbalansowane dane
Dobór algorytmu
Najważniejsze
- Zacznij od typu problemu: klasyfikacja (etykieta dyskretna), regresja (wartość ciągła), klasteryzacja (brak etykiet, szukanie grup), rekomendacje (preferencje użytkownik-produkt, np. ALS).
- Potem uwzględnij dane i ograniczenia: modele liniowe są szybkie, dobrze się skalują i łatwo je wyjaśnić; zespoły drzew łapią nieliniowość i cechy mieszane przy małej obróbce, ale są mniej przejrzyste; sieci neuronowe potrzebują więcej danych i strojenia.
Źródło: https://spark.apache.org/docs/latest/ml-classification-regression.html
Przykładowe pytania
Sprzedawca ma dane klientów bez etykiet i chce odkryć naturalne grupy podobnych kupujących. Jaki to typ problemu?
- Klasteryzacja
- Klasyfikacja binarna
- Regresja
- Prognozowanie szeregów czasowych
Pokaż odpowiedź
Odpowiedź: A. Klasteryzacja
Grupowanie danych bez etykiet to klasteryzacja nienadzorowana (np. k-means). Klasyfikacja i regresja wymagają etykietowanej zmiennej docelowej.
Które z tych algorytmów Spark ML są nadzorowanymi klasyfikatorami?
- RandomForestClassifier
- KMeans
- NaiveBayes
- ALS
- LinearSVC
Pokaż odpowiedź
Odpowiedź: A. RandomForestClassifier, C. NaiveBayes, E. LinearSVC
RandomForestClassifier, NaiveBayes i LinearSVC uczą się na danych z etykietami i przewidują klasy. KMeans to klasteryzacja, a ALS to rekomendacje oparte na filtrowaniu kolaboratywnym.
Głęboka sieć neuronowa jest zawsze najlepszym wyborem, nawet dla małego zbioru tabelarycznego.
Pokaż odpowiedź
Odpowiedź: Fałsz
Na małych danych tabelarycznych prostsze modele lub zespoły drzew zwykle dorównują sieciom lub je pokonują, uczą się szybciej i są łatwiejsze do wyjaśnienia. Sieci zwykle potrzebują dużo więcej danych.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
