Machine Learning Associate · Strojenie hiperparametrów i walidacja
Zrównoleglanie strojenia z SparkTrials
Najważniejsze
- SparkTrials z Hyperopt uruchamia każdą próbę jako zadanie Spark na workerze, więc wiele modeli jednowęzłowych (np. scikit-learn) stroi się jednocześnie bez innych zmian w kodzie.
- Przekaż trials=SparkTrials(parallelism=n) do fmin.
- parallelism ogranicza równoległe próby (domyślnie liczba executorów, maksimum 128).
- Trening rozproszony rozkłada jeden model (MLlib, Horovod) na klaster: użyj domyślnej klasy Trials.
Źródło: https://docs.databricks.com/aws/en/machine-learning/automl-hyperparam-tuning/hyperopt-concepts
Przykładowe pytania
Która klasa Hyperopt rozprasza próby modeli jednowęzłowych na workery Spark?
- SparkTrials
- Trials
- STATUS_OK
- ParamGridBuilder
Pokaż odpowiedź
Odpowiedź: A. SparkTrials
SparkTrials to implementacja Trials świadoma Sparka. Zwykłe Trials działa na driverze; STATUS_OK to flaga wyniku; ParamGridBuilder należy do siatek Spark ML.
Które stwierdzenia o SparkTrials są prawdziwe?
- parallelism ustala maksymalną liczbę prób działających jednocześnie
- Jest przeznaczone dla bibliotek jednomaszynowych, np. scikit-learn
- Bardzo wysokie parallelism daje TPE mniej informacji o przeszłych próbach przy każdej nowej, co może pogorszyć wynik
- Jest zalecaną klasą do strojenia modeli MLlib
- Ustawienie parallelism powyżej liczby executorów zawsze przyspiesza przebieg
Pokaż odpowiedź
Odpowiedź: A. parallelism ustala maksymalną liczbę prób działających jednocześnie, B. Jest przeznaczone dla bibliotek jednomaszynowych, np. scikit-learn, C. Bardzo wysokie parallelism daje TPE mniej informacji o przeszłych próbach przy każdej nowej, co może pogorszyć wynik
parallelism ogranicza współbieżność, SparkTrials jest dla bibliotek jednowęzłowych, a większa współbieżność oznacza, że każda sugestia widzi mniej zakończonych wyników. Modele MLlib są już rozproszone, więc używają zwykłego Trials; parallelism ponad liczbę dostępnych slotów zadań jest redukowane.
Ustawienie wyższego parallelism w SparkTrials zawsze daje lepiej nastrojony model.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Wyższe parallelism szybciej kończy stałą liczbę prób, ale algorytmy adaptacyjne jak TPE wybierają wtedy ustawienia przy mniejszej liczbie ukończonych wyników, więc jakość może spaść.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
