SAA-C03 · Pozyskiwanie danych, jeziora danych i analityka
Crawlery AWS Glue, Data Catalog i formaty kolumnowe
Najważniejsze
- Glue crawler: czyta magazyn, np. prefiks S3, klasyfikatory (classifiers) rozpoznają format i schemat, zapisuje definicje tabel (tylko metadane, nigdy dane) w Glue Data Catalog.
- Działa wg harmonogramu; foldery w stylu Hive stają się partycjami.
- Zadania Glue ETL: tabele katalogu jako źródła i cele, np. CSV lub JSON do Parquet lub ORC.
- Pliki kolumnowe: Athena czyta tylko potrzebne kolumny, dobra kompresja, szybciej i taniej.
Źródło: https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html
Przykładowe pytania
Co tworzy crawler AWS Glue po zakończeniu przebiegu po prefiksie S3?
- Definicje tabel w AWS Glue Data Catalog
- Kopię plików przekonwertowaną do Parquet
- Nowy bucket S3 z danymi posortowanymi po dacie
- Wynik zapytania Atheny zapisany jako CSV
Pokaż odpowiedź
Odpowiedź: A. Definicje tabel w AWS Glue Data Catalog
Crawler rozpoznaje schemat i tworzy lub aktualizuje definicje tabel i partycji w Glue Data Catalog. Nie przenosi, nie kopiuje i nie konwertuje samych plików; to zadanie ETL w Glue.
Dlaczego formaty kolumnowe, takie jak Parquet lub ORC, obniżają koszt analityki na S3 w porównaniu z CSV?
- Zapytanie może czytać tylko kolumny, do których się odwołuje
- Pliki pozostają czytelne w każdym edytorze tekstu
- Wartości przechowywane kolumnami wydajnie się kompresują
- Athena w ogóle nie potrafi odpytywać plików CSV
- Eliminują potrzebę tabeli w Data Catalog
Pokaż odpowiedź
Odpowiedź: A. Zapytanie może czytać tylko kolumny, do których się odwołuje, C. Wartości przechowywane kolumnami wydajnie się kompresują
Plik kolumnowy przechowuje każdą kolumnę razem, więc silnik czyta tylko kolumny wskazane w zapytaniu, a podobne wartości w kolumnie dobrze się kompresują. Parquet jest binarny, nieczytelny w edytorze tekstu, a Athena potrafi też odpytywać CSV, więc konwersja to optymalizacja, nie wymóg.
Crawler AWS Glue kopiuje przeszukane pliki do Data Catalog, aby zapytania czytały je stamtąd.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Data Catalog przechowuje tylko metadane: nazwy tabel, schematy, partycje i lokalizację w S3. Dane zostają na miejscu, a silniki takie jak Athena czytają je z S3 na podstawie tych metadanych.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
