SAA-C03 · Wydajne i elastyczne obliczenia
AWS Batch a Amazon EMR
Najważniejsze
- AWS Batch: kontenerowe zadania wsadowe bez własnego schedulera.
- Job (job definition: obraz, vCPU, pamięć) trafia do job queue; Batch skaluje compute environment: EC2 On-Demand lub Spot, Fargate, ECS Managed Instances.
- Amazon EMR: Spark, Hadoop, Hive; węzeł primary koordynuje, core liczą i trzymają HDFS, task tylko liczą (Spot).
- Klastry przejściowe same się kończą, dane w S3.
- Lambda: krótka (poniżej 15 min) praca zdarzeniowa.
Źródło: https://docs.aws.amazon.com/batch/latest/userguide/batch_components.html
Przykładowe pytania
Gdzie w AWS Batch wysyłasz zadanie, aby czekało, aż zostanie zaplanowane na zasobach obliczeniowych?
- Job definition
- Compute environment
- Job queue
- Scheduling policy
Pokaż odpowiedź
Odpowiedź: C. Job queue
Zadania trafiają do job queue, gdzie czekają, aż scheduler umieści je w compute environment powiązanym z tą kolejką. Job definition to szablon, compute environment to pojemność, a scheduling policy steruje tylko podziałem fair-share w kolejce.
Które stwierdzenia o typach węzłów w Amazon EMR są poprawne?
- Węzeł primary koordynuje pracę i śledzi zdrowie klastra
- Węzły core wykonują zadania i przechowują dane w HDFS
- Węzły task przechowują repliki HDFS dla trwałości
- Węzły task są wymagane w każdym klastrze
- Klaster może działać bez węzła primary
Pokaż odpowiedź
Odpowiedź: A. Węzeł primary koordynuje pracę i śledzi zdrowie klastra, B. Węzły core wykonują zadania i przechowują dane w HDFS
Węzeł primary koordynuje klaster i śledzi stan zadań, a węzły core jednocześnie wykonują zadania i przechowują dane w HDFS. Węzły task są opcjonalne i nie przechowują danych HDFS, więc można je usunąć lub utracić bez utraty bloków HDFS. Każdy klaster ma węzeł primary i możliwy jest klaster jednowęzłowy.
AWS Batch może uruchamiać zadania tylko na instancjach EC2, więc bezserwerowa pojemność kontenerów, taka jak AWS Fargate, nie jest opcją dla compute environment w Batch.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Zarządzane compute environment w AWS Batch może używać Fargate, Amazon EC2 (On-Demand lub Spot) albo Amazon ECS Managed Instances. Fargate usuwa zarządzanie instancjami, gdy zadania mieszczą się w jego limitach zasobów.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
