Machine Learning Associate · Eksploracja i przygotowanie danych
Statystyki opisowe w ramkach danych Spark
Najważniejsze
- df.describe(): count, mean, stddev, min, max jako DataFrame.
- df.summary(): to samo plus przybliżone percentyle 25%, 50%, 75%; przyjmuje własne nazwy statystyk lub percentyle, np. "90%".
- dbutils.data.summarize(df): narzędzie notebooka Databricks; nic nie zwraca, wyświetla profil z histogramami i statystykami kolumn.
- Skanuje całą ramkę; domyślnie liczba unikalnych i percentyle są przybliżone, chyba że precise=True.
Źródło: https://docs.databricks.com/aws/en/dev-tools/databricks-utils
Przykładowe pytania
Ktora metoda ramki danych Spark zwraca domyslnie kwartyle (25%, 50%, 75%), czego describe() nie robi?
- df.summary()
- df.printSchema()
- df.explain()
- df.describe()
Pokaż odpowiedź
Odpowiedź: A. df.summary()
summary() dodaje przyblizone kwartyle do zestawu z describe(). describe() konczy sie na count, mean, stddev, min, max. printSchema() i explain() pokazuja strukture i plan, nie statystyki.
Ktore stwierdzenia o DataFrame.summary() sa poprawne?
- Zwraca DataFrame, wiec na wyniku mozna wywolac show()
- Domyslnie zawiera przyblizone percentyle 25%, 50% i 75%
- Mozna podac nazwy statystyk, np. "count" i "max", aby ograniczyc wynik
- Domyslnie zwraca tylko count, mean, stddev, min i max
- Nic nie zwraca, tylko rysuje wykres w notebooku
Pokaż odpowiedź
Odpowiedź: A. Zwraca DataFrame, wiec na wyniku mozna wywolac show(), B. Domyslnie zawiera przyblizone percentyle 25%, 50% i 75%, C. Mozna podac nazwy statystyk, np. "count" i "max", aby ograniczyc wynik
summary() zwraca DataFrame, domyslnie zawiera kwartyle i przyjmuje nazwy statystyk. Do pieciu statystyk ogranicza sie describe(), a dbutils.data.summarize (nie summary()) to wyswietlanie bez wyniku.
Prawda czy falsz: dbutils.data.summarize(df) zwraca nowy DataFrame ze statystykami, ktory mozna filtrowac i laczyc jak kazdy inny.
Pokaż odpowiedź
Odpowiedź: Fałsz
Falsz. Nic nie zwraca, tylko wyswietla podsumowanie w notebooku. Aby dostac statystyki jako dane, uzyj describe() lub summary().
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
