Machine Learning Associate · Algorytmy, potoki i niezbalansowane dane
Potoki treningowe
Najważniejsze
- Pipeline łączy etapy (Transformery i Estimatory) w określonej kolejności. pipeline.fit(train) uruchamia etapy, dopasowując każdy Estimator tylko na danych treningowych, i zwraca PipelineModel.
- Zastosowanie tego PipelineModel przez transform() na danych testowych lub produkcyjnych powtarza dokładnie to samo przetwarzanie z nauczonymi parametrami, co zapobiega wyciekowi i rozjazdowi trening/serwowanie.
Źródło: https://spark.apache.org/docs/latest/ml-pipeline.html
Przykładowe pytania
Co zwraca Pipeline.fit(trainDF)?
- PipelineModel
- Nowy Pipeline ze zaktualizowanymi etapami
- DataFrame z predykcjami
- Evaluator
Pokaż odpowiedź
Odpowiedź: A. PipelineModel
Pipeline jest Estimatorem, więc fit() daje Model: PipelineModel, czyli Transformer zawierający wszystkie wytrenowane etapy. Predykcje powstają po wywołaniu na nim transform().
Które są zaletami objęcia przetwarzania i modelu jednym Pipeline?
- Identyczne przetwarzanie podczas treningu i inferencji
- Parametry przetwarzania są uczone tylko z danych treningowych
- Gwarantuje wyższą dokładność
- Zbiór testowy nie jest już potrzebny
- Jeden wytrenowany obiekt można użyć do oceniania nowych danych
Pokaż odpowiedź
Odpowiedź: A. Identyczne przetwarzanie podczas treningu i inferencji, B. Parametry przetwarzania są uczone tylko z danych treningowych, E. Jeden wytrenowany obiekt można użyć do oceniania nowych danych
Pipeline łączy etapy tak, że te same wytrenowane transformacje działają wszędzie i są uczone tylko z danych treningowych. Nie gwarantują dokładności i nie zastępują zbioru testowego.
Wywołanie transform() na PipelineModel z danymi testowymi uczy mapowanie StringIndexer od nowa na danych testowych.
Pokaż odpowiedź
Odpowiedź: Fałsz
PipelineModel zawiera już wytrenowane etapy. transform() tylko je stosuje, więc mapowanie nauczone na danych treningowych jest używane bez zmian.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
