Bitzu

Machine Learning Associate · Strojenie hiperparametrów i walidacja

Zrównoleglanie strojenia z SparkTrials

Najważniejsze

  • SparkTrials z Hyperopt uruchamia każdą próbę jako zadanie Spark na workerze, więc wiele modeli jednowęzłowych (np. scikit-learn) stroi się jednocześnie bez innych zmian w kodzie.
  • Przekaż trials=SparkTrials(parallelism=n) do fmin.
  • parallelism ogranicza równoległe próby (domyślnie liczba executorów, maksimum 128).
  • Trening rozproszony rozkłada jeden model (MLlib, Horovod) na klaster: użyj domyślnej klasy Trials.

Źródło: https://docs.databricks.com/aws/en/machine-learning/automl-hyperparam-tuning/hyperopt-concepts

Przykładowe pytania

Jednokrotny wybór

Która klasa Hyperopt rozprasza próby modeli jednowęzłowych na workery Spark?

  1. SparkTrials
  2. Trials
  3. STATUS_OK
  4. ParamGridBuilder
Pokaż odpowiedź

Odpowiedź: A. SparkTrials

SparkTrials to implementacja Trials świadoma Sparka. Zwykłe Trials działa na driverze; STATUS_OK to flaga wyniku; ParamGridBuilder należy do siatek Spark ML.

Zaznacz wszystkie poprawne

Które stwierdzenia o SparkTrials są prawdziwe?

  1. parallelism ustala maksymalną liczbę prób działających jednocześnie
  2. Jest przeznaczone dla bibliotek jednomaszynowych, np. scikit-learn
  3. Bardzo wysokie parallelism daje TPE mniej informacji o przeszłych próbach przy każdej nowej, co może pogorszyć wynik
  4. Jest zalecaną klasą do strojenia modeli MLlib
  5. Ustawienie parallelism powyżej liczby executorów zawsze przyspiesza przebieg
Pokaż odpowiedź

Odpowiedź: A. parallelism ustala maksymalną liczbę prób działających jednocześnie, B. Jest przeznaczone dla bibliotek jednomaszynowych, np. scikit-learn, C. Bardzo wysokie parallelism daje TPE mniej informacji o przeszłych próbach przy każdej nowej, co może pogorszyć wynik

parallelism ogranicza współbieżność, SparkTrials jest dla bibliotek jednowęzłowych, a większa współbieżność oznacza, że każda sugestia widzi mniej zakończonych wyników. Modele MLlib są już rozproszone, więc używają zwykłego Trials; parallelism ponad liczbę dostępnych slotów zadań jest redukowane.

Prawda czy fałsz

Ustawienie wyższego parallelism w SparkTrials zawsze daje lepiej nastrojony model.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Wyższe parallelism szybciej kończy stałą liczbę prób, ale algorytmy adaptacyjne jak TPE wybierają wtedy ustawienia przy mniejszej liczbie ukończonych wyników, więc jakość może spaść.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module