Bitzu

SAA-C03 · Pozyskiwanie danych, jeziora danych i analityka

Amazon Athena i Amazon Quick Sight

Najważniejsze

  • Athena: bezserwerowy SQL na plikach w S3, tabele z Glue Data Catalog.
  • On-demand płacisz za przeskanowane dane: partycje (filtr w WHERE), formaty kolumnowe, kompresja skracają czas i koszt.
  • Nowe partycje: MSCK REPAIR TABLE (styl Hive), ALTER TABLE ADD PARTITION (inne układy) lub partition projection.
  • Dashboardy: Amazon Quick Sight (dawniej QuickSight) łączy się z Athena, importuje dane do silnika w pamięci SPICE.

Źródło: https://docs.aws.amazon.com/athena/latest/ug/partitions.html

Przykładowe pytania

Jednokrotny wybór

Od czego zależy opłata za zapytanie SQL w Amazon Athena w trybie on-demand?

  1. Liczba wierszy zwróconych przez zapytanie
  2. Liczba godzin działania klastra zapytań
  3. Ilość danych przeskanowanych przez zapytanie
  4. Liczba tabel w Data Catalog
Pokaż odpowiedź

Odpowiedź: C. Ilość danych przeskanowanych przez zapytanie

Zapytania Atheny on-demand są rozliczane za ilość przeskanowanych danych, z minimum 10 MB na zapytanie. Nie płaci się za instancje ani godziny klastra, dlatego skanowanie mniejszej ilości danych bezpośrednio obniża rachunek.

Zaznacz wszystkie poprawne

Które zmiany zmniejszają ilość danych skanowanych przez Athenę, a przez to koszt zapytań?

  1. Filtrować po kolumnie partycji w klauzuli WHERE
  2. Wysyłać zapytanie z większej instancji EC2
  3. Trzymać dane jako Parquet i wybierać tylko potrzebne kolumny
  4. Kompresować pliki danych, np. gzipem
  5. Rozłożyć te same zapytania na kilka workgroup
Pokaż odpowiedź

Odpowiedź: A. Filtrować po kolumnie partycji w klauzuli WHERE, C. Trzymać dane jako Parquet i wybierać tylko potrzebne kolumny, D. Kompresować pliki danych, np. gzipem

Filtr po kolumnie partycji sprawia, że Athena czyta tylko tę partycję; kolumnowy Parquet pozwala czytać tylko wybrane kolumny; kompresja zmniejsza liczbę czytanych bajtów. Athena jest bezserwerowa, więc rozmiar maszyny klienta nie ma znaczenia, a rozłożenie zapytań na workgroupy zmienia śledzenie kosztów, nie skanowane bajty.

Prawda czy fałsz

Athena nie pobiera opłat za zapytania zakończone błędem, więc nieudane zapytanie na dużej tabeli nic nie kosztuje.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Athena nalicza opłatę za przeskanowane dane zarówno dla udanych, jak i nieudanych zapytań, więc zapytanie, które zawiedzie po przeskanowaniu dużej ilości danych, i tak kosztuje.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów SAA-C03 w tym module