Machine Learning Associate · Strojenie hiperparametrów i walidacja
Wyszukiwanie siatkowe, losowe i bayesowskie
Najważniejsze
- Grid search sprawdza każdą kombinację z zadanego zbioru wartości, więc koszt rośnie multiplikatywnie z każdym nowym hiperparametrem.
- Random search losuje wartości z rozkładów w ustalonej liczbie prób; próby są niezależne i łatwo je zrównoleglić.
- Wyszukiwanie bayesowskie (np. TPE w Hyperopt) wykorzystuje wyniki wcześniejszych prób do wyboru obiecujących wartości, zwykle potrzebuje mniej prób, ale jest bardziej sekwencyjne.
Źródło: https://docs.databricks.com/aws/en/machine-learning/automl-hyperparam-tuning/hyperopt-concepts
Przykładowe pytania
Która strategia strojenia wykorzystuje wyniki wcześniejszych prób do wyboru kolejnych wartości hiperparametrów?
- Grid search
- Random search
- Wyszukiwanie bayesowskie
- Pełne wyliczenie kombinacji
Pokaż odpowiedź
Odpowiedź: C. Wyszukiwanie bayesowskie
Metody bayesowskie (np. TPE) modelują zależność między hiperparametrami a stratą na podstawie poprzednich prób. Grid i random search ignorują wcześniejsze wyniki.
Które stwierdzenia o random search są prawdziwe?
- Liczbę prób wybiera użytkownik, nie wynika ona z liczby hiperparametrów
- Każdą próbę można uruchomić niezależnie, więc łatwo je zrównoleglić
- Wykorzystuje wcześniejsze straty, by skupić się na obiecujących obszarach
- Gwarantuje znalezienie globalnego optimum
- Wymaga wypisania każdej wartości każdego hiperparametru
Pokaż odpowiedź
Odpowiedź: A. Liczbę prób wybiera użytkownik, nie wynika ona z liczby hiperparametrów, B. Każdą próbę można uruchomić niezależnie, więc łatwo je zrównoleglić
Random search losuje stałą liczbę próbek, a próby nie zależą od siebie. Nie uczy się z wyników (to cecha metod bayesowskich), nie gwarantuje optimum i działa na zakresach, a nie tylko na wypisanych wartościach.
Grid search na pewno znajdzie lepszy model niż random search, bo jest wyczerpujący.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Grid search jest wyczerpujący tylko dla wybranych punktów siatki; najlepsza wartość może leżeć między nimi. Random search może trafić wartości, których gruba siatka nigdy nie sprawdzi.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
