Bitzu

Machine Learning Associate · Eksploracja i przygotowanie danych

Statystyki opisowe w ramkach danych Spark

Najważniejsze

  • df.describe(): count, mean, stddev, min, max jako DataFrame.
  • df.summary(): to samo plus przybliżone percentyle 25%, 50%, 75%; przyjmuje własne nazwy statystyk lub percentyle, np. "90%".
  • dbutils.data.summarize(df): narzędzie notebooka Databricks; nic nie zwraca, wyświetla profil z histogramami i statystykami kolumn.
  • Skanuje całą ramkę; domyślnie liczba unikalnych i percentyle są przybliżone, chyba że precise=True.

Źródło: https://docs.databricks.com/aws/en/dev-tools/databricks-utils

Przykładowe pytania

Jednokrotny wybór

Ktora metoda ramki danych Spark zwraca domyslnie kwartyle (25%, 50%, 75%), czego describe() nie robi?

  1. df.summary()
  2. df.printSchema()
  3. df.explain()
  4. df.describe()
Pokaż odpowiedź

Odpowiedź: A. df.summary()

summary() dodaje przyblizone kwartyle do zestawu z describe(). describe() konczy sie na count, mean, stddev, min, max. printSchema() i explain() pokazuja strukture i plan, nie statystyki.

Zaznacz wszystkie poprawne

Ktore stwierdzenia o DataFrame.summary() sa poprawne?

  1. Zwraca DataFrame, wiec na wyniku mozna wywolac show()
  2. Domyslnie zawiera przyblizone percentyle 25%, 50% i 75%
  3. Mozna podac nazwy statystyk, np. "count" i "max", aby ograniczyc wynik
  4. Domyslnie zwraca tylko count, mean, stddev, min i max
  5. Nic nie zwraca, tylko rysuje wykres w notebooku
Pokaż odpowiedź

Odpowiedź: A. Zwraca DataFrame, wiec na wyniku mozna wywolac show(), B. Domyslnie zawiera przyblizone percentyle 25%, 50% i 75%, C. Mozna podac nazwy statystyk, np. "count" i "max", aby ograniczyc wynik

summary() zwraca DataFrame, domyslnie zawiera kwartyle i przyjmuje nazwy statystyk. Do pieciu statystyk ogranicza sie describe(), a dbutils.data.summarize (nie summary()) to wyswietlanie bez wyniku.

Prawda czy fałsz

Prawda czy falsz: dbutils.data.summarize(df) zwraca nowy DataFrame ze statystykami, ktory mozna filtrowac i laczyc jak kazdy inny.

Pokaż odpowiedź

Odpowiedź: Fałsz

Falsz. Nic nie zwraca, tylko wyswietla podsumowanie w notebooku. Aby dostac statystyki jako dane, uzyj describe() lub summary().

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module