Bitzu

Machine Learning Associate · Algorytmy, potoki i niezbalansowane dane

Potoki treningowe

Najważniejsze

  • Pipeline łączy etapy (Transformery i Estimatory) w określonej kolejności. pipeline.fit(train) uruchamia etapy, dopasowując każdy Estimator tylko na danych treningowych, i zwraca PipelineModel.
  • Zastosowanie tego PipelineModel przez transform() na danych testowych lub produkcyjnych powtarza dokładnie to samo przetwarzanie z nauczonymi parametrami, co zapobiega wyciekowi i rozjazdowi trening/serwowanie.

Źródło: https://spark.apache.org/docs/latest/ml-pipeline.html

Przykładowe pytania

Jednokrotny wybór

Co zwraca Pipeline.fit(trainDF)?

  1. PipelineModel
  2. Nowy Pipeline ze zaktualizowanymi etapami
  3. DataFrame z predykcjami
  4. Evaluator
Pokaż odpowiedź

Odpowiedź: A. PipelineModel

Pipeline jest Estimatorem, więc fit() daje Model: PipelineModel, czyli Transformer zawierający wszystkie wytrenowane etapy. Predykcje powstają po wywołaniu na nim transform().

Zaznacz wszystkie poprawne

Które są zaletami objęcia przetwarzania i modelu jednym Pipeline?

  1. Identyczne przetwarzanie podczas treningu i inferencji
  2. Parametry przetwarzania są uczone tylko z danych treningowych
  3. Gwarantuje wyższą dokładność
  4. Zbiór testowy nie jest już potrzebny
  5. Jeden wytrenowany obiekt można użyć do oceniania nowych danych
Pokaż odpowiedź

Odpowiedź: A. Identyczne przetwarzanie podczas treningu i inferencji, B. Parametry przetwarzania są uczone tylko z danych treningowych, E. Jeden wytrenowany obiekt można użyć do oceniania nowych danych

Pipeline łączy etapy tak, że te same wytrenowane transformacje działają wszędzie i są uczone tylko z danych treningowych. Nie gwarantują dokładności i nie zastępują zbioru testowego.

Prawda czy fałsz

Wywołanie transform() na PipelineModel z danymi testowymi uczy mapowanie StringIndexer od nowa na danych testowych.

Pokaż odpowiedź

Odpowiedź: Fałsz

PipelineModel zawiera już wytrenowane etapy. transform() tylko je stosuje, więc mapowanie nauczone na danych treningowych jest używane bez zmian.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module