Machine Learning Associate · Strojenie hiperparametrów i walidacja
Walidacja krzyżowa a podział trenujący-walidacyjny
Najważniejsze
- K-krotna walidacja krzyżowa trenuje i ocenia każdego kandydata k razy, więc każdy wiersz służy do treningu i walidacji, co daje pewniejszą ocenę kosztem około k razy większego nakładu.
- Pojedynczy podział ocenia kandydata raz: taniej, ale przy małych danych bardziej zaszumione.
- W Spark ML robi to odpowiednio CrossValidator (numFolds) i TrainValidationSplit (trainRatio); oba dopasowują najlepszy ParamMap ponownie na całym zbiorze.
Źródło: https://spark.apache.org/docs/latest/ml-tuning.html
Przykładowe pytania
Ile razy więcej treningu na kandydata wymaga 5-krotna walidacja krzyżowa w porównaniu z pojedynczym podziałem?
- Około 5 razy więcej
- Około połowy
- Tyle samo
- Około 25 razy więcej
Pokaż odpowiedź
Odpowiedź: A. Około 5 razy więcej
Kandydat jest dopasowywany raz na fold, więc k foldów to około k razy więcej dopasowań. Każdy fold trenuje na 4/5 danych, ale o koszcie decyduje liczba dopasowań.
Które z poniższych są zaletami k-krotnej walidacji krzyżowej względem jednego podziału?
- Ocena jakości mniej zależy od jednego szczęśliwego lub pechowego podziału
- Każdy wiersz jest użyty do walidacji dokładnie raz
- Każdy wiersz służy do treningu w k-1 foldach
- Kosztuje mniej mocy obliczeniowej
- Eliminuje potrzebę metryki oceny
Pokaż odpowiedź
Odpowiedź: A. Ocena jakości mniej zależy od jednego szczęśliwego lub pechowego podziału, B. Każdy wiersz jest użyty do walidacji dokładnie raz, C. Każdy wiersz służy do treningu w k-1 foldach
Uśrednianie po foldach stabilizuje ocenę i wykorzystuje wszystkie dane w obu rolach. Wadą jest koszt, około k razy większy niż pojedynczy podział, a ewaluator nadal jest potrzebny.
TrainValidationSplit w Spark ML ocenia każdą kombinację parametrów k razy, tak jak CrossValidator.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. TrainValidationSplit ocenia każdy ParamMap raz na jednym podziale określonym przez trainRatio; CrossValidator robi to numFolds razy.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
