Machine Learning Associate · Algorytmy, potoki i niezbalansowane dane
Estymatory a transformery
Najważniejsze
- Transformer zamienia jeden DataFrame w drugi, zwykle dodając kolumny, i implementuje transform() (np. VectorAssembler).
- Estimator uczy się z DataFrame przez fit() i zwraca Model, który sam jest Transformerem (np. LogisticRegression daje LogisticRegressionModel
- StringIndexer daje StringIndexerModel).
- Wszystko, co musi nauczyć się parametrów z danych, jest Estimatorem.
Źródło: https://spark.apache.org/docs/latest/ml-pipeline.html
Przykładowe pytania
Którą metodę implementuje Estimator Spark ML, aby wytworzyć Model?
- transform()
- fit()
- evaluate()
- assemble()
Pokaż odpowiedź
Odpowiedź: B. fit()
Estimator jest trenowany metodą fit(), która zwraca Model. transform() należy do Transformerów, w tym wytrenowanego Modelu.
Które z poniższych są Transformerami w Spark ML?
- VectorAssembler
- LinearRegression
- PipelineModel
- StringIndexer
- LinearRegressionModel
Pokaż odpowiedź
Odpowiedź: A. VectorAssembler, C. PipelineModel, E. LinearRegressionModel
VectorAssembler jest transformerem bez stanu, a wytrenowane modele (PipelineModel, LinearRegressionModel) są Transformerami. LinearRegression i StringIndexer muszą uczyć się z danych, więc są Estimatorami.
StringIndexer jest Transformerem, bo to tylko krok przygotowania cech.
Pokaż odpowiedź
Odpowiedź: Fałsz
To, że jest krokiem przygotowania cech, nie czyni go Transformerem. StringIndexer musi nauczyć się mapowania etykiet na indeksy z danych, więc jest Estimatorem, którego fit() zwraca StringIndexerModel.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
