Machine Learning Associate · Ocena modeli i generalizacja
Przed raportowaniem metryk potęguj predykcje modelu trenowanego na logarytmie
Najważniejsze
- Jeśli trenujesz na log(y), model zwraca wartości w skali logarytmicznej.
- Metryki z nich liczone są w jednostkach logarytmicznych i mierzą z grubsza błąd względny.
- Aby raportować błąd w oryginalnych jednostkach, zastosuj transformację odwrotną do predykcji (np.exp dla np.log, np.expm1 dla np.log1p) i porównaj z oryginalnym y. Nigdy nie porównuj bezpośrednio RMSE w skali log z RMSE w skali surowej innego modelu.
Przykładowe pytania
Model trenowano na np.log(price). Jaka operacja zamienia jego predykcje z powrotem na jednostki ceny?
- np.log
- np.sqrt
- np.square
- np.exp
Pokaż odpowiedź
Odpowiedź: D. np.exp
Odwrotnością logarytmu naturalnego jest funkcja wykładnicza, np.exp. Ponowne np.log lub pierwiastek tego nie cofa.
Które stwierdzenia o modelu trenowanym na logarytmowanej zmiennej docelowej są poprawne?
- RMSE policzone na wartościach w skali log jest w jednostkach logarytmicznych, nie oryginalnych
- np.expm1 jest odwrotnością np.log1p
- RMSE w skali log nie powinno się porównywać bezpośrednio z RMSE w skali surowej innego modelu
- Potęgowanie jest potrzebne tylko w modelach klasyfikacji
- R-kwadrat jest gwarantowanie identyczne w obu skalach
Pokaż odpowiedź
Odpowiedź: A. RMSE policzone na wartościach w skali log jest w jednostkach logarytmicznych, nie oryginalnych, B. np.expm1 jest odwrotnością np.log1p, C. RMSE w skali log nie powinno się porównywać bezpośrednio z RMSE w skali surowej innego modelu
Metryki w skali log są w jednostkach logarytmicznych, np.expm1 odwraca np.log1p, a RMSE w skali log nie wolno porównywać z RMSE w skali surowej. Transformację odwrotną trzeba stosować w regresji niezależnie od algorytmu, a R-kwadrat nie jest zachowane między skalami.
Prawda czy fałsz: RMSE równe 0,2 dla logarytmowanej zmiennej docelowej oznacza, że predykcje mylą się o około 0,2 jednostki oryginalnej waluty.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Wartość 0,2 jest w jednostkach logarytmicznych, co odpowiada z grubsza błędowi względnemu około 20%, a nie stałej kwocie.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
