Bitzu

Machine Learning Associate · Algorytmy, potoki i niezbalansowane dane

Estymatory a transformery

Najważniejsze

  • Transformer zamienia jeden DataFrame w drugi, zwykle dodając kolumny, i implementuje transform() (np. VectorAssembler).
  • Estimator uczy się z DataFrame przez fit() i zwraca Model, który sam jest Transformerem (np. LogisticRegression daje LogisticRegressionModel
  • StringIndexer daje StringIndexerModel).
  • Wszystko, co musi nauczyć się parametrów z danych, jest Estimatorem.

Źródło: https://spark.apache.org/docs/latest/ml-pipeline.html

Przykładowe pytania

Jednokrotny wybór

Którą metodę implementuje Estimator Spark ML, aby wytworzyć Model?

  1. transform()
  2. fit()
  3. evaluate()
  4. assemble()
Pokaż odpowiedź

Odpowiedź: B. fit()

Estimator jest trenowany metodą fit(), która zwraca Model. transform() należy do Transformerów, w tym wytrenowanego Modelu.

Zaznacz wszystkie poprawne

Które z poniższych są Transformerami w Spark ML?

  1. VectorAssembler
  2. LinearRegression
  3. PipelineModel
  4. StringIndexer
  5. LinearRegressionModel
Pokaż odpowiedź

Odpowiedź: A. VectorAssembler, C. PipelineModel, E. LinearRegressionModel

VectorAssembler jest transformerem bez stanu, a wytrenowane modele (PipelineModel, LinearRegressionModel) są Transformerami. LinearRegression i StringIndexer muszą uczyć się z danych, więc są Estimatorami.

Prawda czy fałsz

StringIndexer jest Transformerem, bo to tylko krok przygotowania cech.

Pokaż odpowiedź

Odpowiedź: Fałsz

To, że jest krokiem przygotowania cech, nie czyni go Transformerem. StringIndexer musi nauczyć się mapowania etykiet na indeksy z danych, więc jest Estimatorem, którego fit() zwraca StringIndexerModel.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module