SAA-C03 · Pozyskiwanie danych, jeziora danych i analityka
Amazon Athena i Amazon Quick Sight
Najważniejsze
- Athena: bezserwerowy SQL na plikach w S3, tabele z Glue Data Catalog.
- On-demand płacisz za przeskanowane dane: partycje (filtr w WHERE), formaty kolumnowe, kompresja skracają czas i koszt.
- Nowe partycje: MSCK REPAIR TABLE (styl Hive), ALTER TABLE ADD PARTITION (inne układy) lub partition projection.
- Dashboardy: Amazon Quick Sight (dawniej QuickSight) łączy się z Athena, importuje dane do silnika w pamięci SPICE.
Źródło: https://docs.aws.amazon.com/athena/latest/ug/partitions.html
Przykładowe pytania
Od czego zależy opłata za zapytanie SQL w Amazon Athena w trybie on-demand?
- Liczba wierszy zwróconych przez zapytanie
- Liczba godzin działania klastra zapytań
- Ilość danych przeskanowanych przez zapytanie
- Liczba tabel w Data Catalog
Pokaż odpowiedź
Odpowiedź: C. Ilość danych przeskanowanych przez zapytanie
Zapytania Atheny on-demand są rozliczane za ilość przeskanowanych danych, z minimum 10 MB na zapytanie. Nie płaci się za instancje ani godziny klastra, dlatego skanowanie mniejszej ilości danych bezpośrednio obniża rachunek.
Które zmiany zmniejszają ilość danych skanowanych przez Athenę, a przez to koszt zapytań?
- Filtrować po kolumnie partycji w klauzuli WHERE
- Wysyłać zapytanie z większej instancji EC2
- Trzymać dane jako Parquet i wybierać tylko potrzebne kolumny
- Kompresować pliki danych, np. gzipem
- Rozłożyć te same zapytania na kilka workgroup
Pokaż odpowiedź
Odpowiedź: A. Filtrować po kolumnie partycji w klauzuli WHERE, C. Trzymać dane jako Parquet i wybierać tylko potrzebne kolumny, D. Kompresować pliki danych, np. gzipem
Filtr po kolumnie partycji sprawia, że Athena czyta tylko tę partycję; kolumnowy Parquet pozwala czytać tylko wybrane kolumny; kompresja zmniejsza liczbę czytanych bajtów. Athena jest bezserwerowa, więc rozmiar maszyny klienta nie ma znaczenia, a rozłożenie zapytań na workgroupy zmienia śledzenie kosztów, nie skanowane bajty.
Athena nie pobiera opłat za zapytania zakończone błędem, więc nieudane zapytanie na dużej tabeli nic nie kosztuje.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Athena nalicza opłatę za przeskanowane dane zarówno dla udanych, jak i nieudanych zapytań, więc zapytanie, które zawiedzie po przeskanowaniu dużej ilości danych, i tak kosztuje.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
