Bitzu

Machine Learning Associate · Strojenie hiperparametrów i walidacja

Wyszukiwanie siatkowe, losowe i bayesowskie

Najważniejsze

  • Grid search sprawdza każdą kombinację z zadanego zbioru wartości, więc koszt rośnie multiplikatywnie z każdym nowym hiperparametrem.
  • Random search losuje wartości z rozkładów w ustalonej liczbie prób; próby są niezależne i łatwo je zrównoleglić.
  • Wyszukiwanie bayesowskie (np. TPE w Hyperopt) wykorzystuje wyniki wcześniejszych prób do wyboru obiecujących wartości, zwykle potrzebuje mniej prób, ale jest bardziej sekwencyjne.

Źródło: https://docs.databricks.com/aws/en/machine-learning/automl-hyperparam-tuning/hyperopt-concepts

Przykładowe pytania

Jednokrotny wybór

Która strategia strojenia wykorzystuje wyniki wcześniejszych prób do wyboru kolejnych wartości hiperparametrów?

  1. Grid search
  2. Random search
  3. Wyszukiwanie bayesowskie
  4. Pełne wyliczenie kombinacji
Pokaż odpowiedź

Odpowiedź: C. Wyszukiwanie bayesowskie

Metody bayesowskie (np. TPE) modelują zależność między hiperparametrami a stratą na podstawie poprzednich prób. Grid i random search ignorują wcześniejsze wyniki.

Zaznacz wszystkie poprawne

Które stwierdzenia o random search są prawdziwe?

  1. Liczbę prób wybiera użytkownik, nie wynika ona z liczby hiperparametrów
  2. Każdą próbę można uruchomić niezależnie, więc łatwo je zrównoleglić
  3. Wykorzystuje wcześniejsze straty, by skupić się na obiecujących obszarach
  4. Gwarantuje znalezienie globalnego optimum
  5. Wymaga wypisania każdej wartości każdego hiperparametru
Pokaż odpowiedź

Odpowiedź: A. Liczbę prób wybiera użytkownik, nie wynika ona z liczby hiperparametrów, B. Każdą próbę można uruchomić niezależnie, więc łatwo je zrównoleglić

Random search losuje stałą liczbę próbek, a próby nie zależą od siebie. Nie uczy się z wyników (to cecha metod bayesowskich), nie gwarantuje optimum i działa na zakresach, a nie tylko na wypisanych wartościach.

Prawda czy fałsz

Grid search na pewno znajdzie lepszy model niż random search, bo jest wyczerpujący.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Grid search jest wyczerpujący tylko dla wybranych punktów siatki; najlepsza wartość może leżeć między nimi. Random search może trafić wartości, których gruba siatka nigdy nie sprawdzi.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module