Bitzu

Machine Learning Associate · Strojenie hiperparametrów i walidacja

Walidacja krzyżowa a podział trenujący-walidacyjny

Najważniejsze

  • K-krotna walidacja krzyżowa trenuje i ocenia każdego kandydata k razy, więc każdy wiersz służy do treningu i walidacji, co daje pewniejszą ocenę kosztem około k razy większego nakładu.
  • Pojedynczy podział ocenia kandydata raz: taniej, ale przy małych danych bardziej zaszumione.
  • W Spark ML robi to odpowiednio CrossValidator (numFolds) i TrainValidationSplit (trainRatio); oba dopasowują najlepszy ParamMap ponownie na całym zbiorze.

Źródło: https://spark.apache.org/docs/latest/ml-tuning.html

Przykładowe pytania

Jednokrotny wybór

Ile razy więcej treningu na kandydata wymaga 5-krotna walidacja krzyżowa w porównaniu z pojedynczym podziałem?

  1. Około 5 razy więcej
  2. Około połowy
  3. Tyle samo
  4. Około 25 razy więcej
Pokaż odpowiedź

Odpowiedź: A. Około 5 razy więcej

Kandydat jest dopasowywany raz na fold, więc k foldów to około k razy więcej dopasowań. Każdy fold trenuje na 4/5 danych, ale o koszcie decyduje liczba dopasowań.

Zaznacz wszystkie poprawne

Które z poniższych są zaletami k-krotnej walidacji krzyżowej względem jednego podziału?

  1. Ocena jakości mniej zależy od jednego szczęśliwego lub pechowego podziału
  2. Każdy wiersz jest użyty do walidacji dokładnie raz
  3. Każdy wiersz służy do treningu w k-1 foldach
  4. Kosztuje mniej mocy obliczeniowej
  5. Eliminuje potrzebę metryki oceny
Pokaż odpowiedź

Odpowiedź: A. Ocena jakości mniej zależy od jednego szczęśliwego lub pechowego podziału, B. Każdy wiersz jest użyty do walidacji dokładnie raz, C. Każdy wiersz służy do treningu w k-1 foldach

Uśrednianie po foldach stabilizuje ocenę i wykorzystuje wszystkie dane w obu rolach. Wadą jest koszt, około k razy większy niż pojedynczy podział, a ewaluator nadal jest potrzebny.

Prawda czy fałsz

TrainValidationSplit w Spark ML ocenia każdą kombinację parametrów k razy, tak jak CrossValidator.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. TrainValidationSplit ocenia każdy ParamMap raz na jednym podziale określonym przez trainRatio; CrossValidator robi to numFolds razy.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module