Bitzu

Machine Learning Associate · Ocena modeli i generalizacja

Przed raportowaniem metryk potęguj predykcje modelu trenowanego na logarytmie

Najważniejsze

  • Jeśli trenujesz na log(y), model zwraca wartości w skali logarytmicznej.
  • Metryki z nich liczone są w jednostkach logarytmicznych i mierzą z grubsza błąd względny.
  • Aby raportować błąd w oryginalnych jednostkach, zastosuj transformację odwrotną do predykcji (np.exp dla np.log, np.expm1 dla np.log1p) i porównaj z oryginalnym y. Nigdy nie porównuj bezpośrednio RMSE w skali log z RMSE w skali surowej innego modelu.

Przykładowe pytania

Jednokrotny wybór

Model trenowano na np.log(price). Jaka operacja zamienia jego predykcje z powrotem na jednostki ceny?

  1. np.log
  2. np.sqrt
  3. np.square
  4. np.exp
Pokaż odpowiedź

Odpowiedź: D. np.exp

Odwrotnością logarytmu naturalnego jest funkcja wykładnicza, np.exp. Ponowne np.log lub pierwiastek tego nie cofa.

Zaznacz wszystkie poprawne

Które stwierdzenia o modelu trenowanym na logarytmowanej zmiennej docelowej są poprawne?

  1. RMSE policzone na wartościach w skali log jest w jednostkach logarytmicznych, nie oryginalnych
  2. np.expm1 jest odwrotnością np.log1p
  3. RMSE w skali log nie powinno się porównywać bezpośrednio z RMSE w skali surowej innego modelu
  4. Potęgowanie jest potrzebne tylko w modelach klasyfikacji
  5. R-kwadrat jest gwarantowanie identyczne w obu skalach
Pokaż odpowiedź

Odpowiedź: A. RMSE policzone na wartościach w skali log jest w jednostkach logarytmicznych, nie oryginalnych, B. np.expm1 jest odwrotnością np.log1p, C. RMSE w skali log nie powinno się porównywać bezpośrednio z RMSE w skali surowej innego modelu

Metryki w skali log są w jednostkach logarytmicznych, np.expm1 odwraca np.log1p, a RMSE w skali log nie wolno porównywać z RMSE w skali surowej. Transformację odwrotną trzeba stosować w regresji niezależnie od algorytmu, a R-kwadrat nie jest zachowane między skalami.

Prawda czy fałsz

Prawda czy fałsz: RMSE równe 0,2 dla logarytmowanej zmiennej docelowej oznacza, że predykcje mylą się o około 0,2 jednostki oryginalnej waluty.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Wartość 0,2 jest w jednostkach logarytmicznych, co odpowiada z grubsza błędowi względnemu około 20%, a nie stałej kwocie.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module