SAA-C03 · Pozyskiwanie danych, jeziora danych i analityka
Data lake na S3 i AWS Lake Formation
Najważniejsze
- Data lake: dane w S3 w strefach (raw, cleaned, curated), partycjonowane w stylu Hive (year=2026/month=09/).
- Definicje tabel: AWS Glue Data Catalog.
- Lake Formation: uprawnienia ponad IAM do baz, tabel, kolumn; data filters dla wierszy i komórek.
- Egzekwowane w Athena, Redshift Spectrum, EMR, Glue; LF-Tags skalują nadawanie; udostępnianie kontom; audyt w CloudTrail.
Źródło: https://docs.aws.amazon.com/lake-formation/latest/dg/what-is-lake-formation.html
Przykładowe pytania
Na jakim najdrobniejszym poziomie AWS Lake Formation może ograniczać dostęp do tabel data lake?
- Tylko całe buckety S3
- Prefiksy S3, ale nie pojedyncze tabele
- Tabele, ale nie kolumny ani wiersze
- Kolumny, wiersze i pojedyncze komórki
Pokaż odpowiedź
Odpowiedź: D. Kolumny, wiersze i pojedyncze komórki
Uprawnienia Lake Formation sięgają kolumn, a filtry danych dodają kontrolę na poziomie wierszy i komórek. Kontrolę na poziomie bucketu lub prefiksu dają zwykłe polityki S3, co jest dużo mniej precyzyjne.
Które praktyki pomagają zbudować dobrze zorganizowany data lake na Amazon S3?
- Trzymać dane raw, cleaned i curated w osobnych strefach
- Nadpisywać surowe pliki po każdej transformacji, by oszczędzić miejsce
- Partycjonować dane po dacie ścieżkami typu year=2026/month=09/
- Trzymać pliki dwóch różnych tabel pod tym samym prefiksem
- Trzymać data lake na wolumenach EBS podpiętych do hosta analitycznego
Pokaż odpowiedź
Odpowiedź: A. Trzymać dane raw, cleaned i curated w osobnych strefach, C. Partycjonować dane po dacie ścieżkami typu year=2026/month=09/
Osobne strefy zostawiają surowe dane nienaruszone, a oczyszczone i przygotowane kopie służą analityce; partycje dat w stylu Hive pozwalają silnikom pomijać dane. Nadpisywanie surowych plików odbiera możliwość ponownego przetworzenia, pliki dwóch tabel pod jednym prefiksem mylą crawlery i Athenę, a wolumeny EBS nie są warstwą składowania data lake na S3.
Po wdrożeniu AWS Lake Formation polityki IAM przestają mieć jakikolwiek wpływ na dostęp do data lake.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Model uprawnień Lake Formation uzupełnia IAM, a nie go zastępuje. Podmiotami nadal są użytkownicy i role IAM, a tryb hybrid access pozwala nawet zachować uprawnienia IAM do S3 i Glue dla części obciążeń, gdy inne przechodzą na Lake Formation.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
