Machine Learning Associate · Strojenie hiperparametrów i walidacja
Liczenie modeli w grid search z walidacją krzyżową
Najważniejsze
- Pomnóż liczby wartości każdego hiperparametru, by dostać kombinacje, potem pomnóż przez foldy: tyle dopasowań jest podczas wyszukiwania.
- Najlepsze ustawienie jest potem dopasowane ponownie na pełnym zbiorze: +1 model.
- Przykład: siatka 3 x 2, 2 foldy = 12 dopasowań (+1 refit).
- GridSearchCV w scikit-learn: kandydaci x foldy cv (domyślnie 5), +1 refit przy refit=True (domyślnie).
- TrainValidationSplit liczy się jak jeden fold.
Źródło: https://spark.apache.org/docs/latest/ml-tuning.html
Przykładowe pytania
Siatka Spark ML ma 4 wartości regParam i 3 wartości maxIter i jest oceniana przez 5-krotny CrossValidator. Ile dopasowań następuje podczas wyszukiwania, bez końcowego refit?
- 60
- 12
- 17
- 20
Pokaż odpowiedź
Odpowiedź: A. 60
4 x 3 = 12 kombinacji, razy 5 foldów = 60. 17 to dodawanie zamiast mnożenia, 12 pomija foldy, 20 pomija maxIter.
Jakie czynniki określają liczbę modeli dopasowanych w grid search z walidacją krzyżową?
- Liczba wartości każdego hiperparametru w siatce
- Liczba foldów
- Końcowe dopasowanie na pełnym zbiorze
- Liczba wierszy w danych treningowych
- Liczba kolumn w wyniku ewaluatora
Pokaż odpowiedź
Odpowiedź: A. Liczba wartości każdego hiperparametru w siatce, B. Liczba foldów, C. Końcowe dopasowanie na pełnym zbiorze
Liczbę wyznaczają kombinacje (iloczyn liczb wartości), foldy i jednorazowy refit. Liczba wierszy zmienia czas pojedynczego dopasowania, nie liczbę dopasowań.
Dodanie jednej wartości do listy jednego hiperparametru w siatce dodaje tylko jedno dopasowanie na fold.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Nowa wartość jest łączona z każdą wartością pozostałych hiperparametrów, więc przy 3 pozostałych kombinacjach dodaje 3 kandydatów na fold, a nie 1.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
