Bitzu

SAA-C03 · Pozyskiwanie danych, jeziora danych i analityka

Crawlery AWS Glue, Data Catalog i formaty kolumnowe

Najważniejsze

  • Glue crawler: czyta magazyn, np. prefiks S3, klasyfikatory (classifiers) rozpoznają format i schemat, zapisuje definicje tabel (tylko metadane, nigdy dane) w Glue Data Catalog.
  • Działa wg harmonogramu; foldery w stylu Hive stają się partycjami.
  • Zadania Glue ETL: tabele katalogu jako źródła i cele, np. CSV lub JSON do Parquet lub ORC.
  • Pliki kolumnowe: Athena czyta tylko potrzebne kolumny, dobra kompresja, szybciej i taniej.

Źródło: https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html

Przykładowe pytania

Jednokrotny wybór

Co tworzy crawler AWS Glue po zakończeniu przebiegu po prefiksie S3?

  1. Definicje tabel w AWS Glue Data Catalog
  2. Kopię plików przekonwertowaną do Parquet
  3. Nowy bucket S3 z danymi posortowanymi po dacie
  4. Wynik zapytania Atheny zapisany jako CSV
Pokaż odpowiedź

Odpowiedź: A. Definicje tabel w AWS Glue Data Catalog

Crawler rozpoznaje schemat i tworzy lub aktualizuje definicje tabel i partycji w Glue Data Catalog. Nie przenosi, nie kopiuje i nie konwertuje samych plików; to zadanie ETL w Glue.

Zaznacz wszystkie poprawne

Dlaczego formaty kolumnowe, takie jak Parquet lub ORC, obniżają koszt analityki na S3 w porównaniu z CSV?

  1. Zapytanie może czytać tylko kolumny, do których się odwołuje
  2. Pliki pozostają czytelne w każdym edytorze tekstu
  3. Wartości przechowywane kolumnami wydajnie się kompresują
  4. Athena w ogóle nie potrafi odpytywać plików CSV
  5. Eliminują potrzebę tabeli w Data Catalog
Pokaż odpowiedź

Odpowiedź: A. Zapytanie może czytać tylko kolumny, do których się odwołuje, C. Wartości przechowywane kolumnami wydajnie się kompresują

Plik kolumnowy przechowuje każdą kolumnę razem, więc silnik czyta tylko kolumny wskazane w zapytaniu, a podobne wartości w kolumnie dobrze się kompresują. Parquet jest binarny, nieczytelny w edytorze tekstu, a Athena potrafi też odpytywać CSV, więc konwersja to optymalizacja, nie wymóg.

Prawda czy fałsz

Crawler AWS Glue kopiuje przeszukane pliki do Data Catalog, aby zapytania czytały je stamtąd.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Data Catalog przechowuje tylko metadane: nazwy tabel, schematy, partycje i lokalizację w S3. Dane zostają na miejscu, a silniki takie jak Athena czytają je z S3 na podstawie tych metadanych.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów SAA-C03 w tym module