AIF-C01 · Podstawy AI i ML
Inferencja w czasie rzeczywistym, wsadowa, asynchroniczna i bezserwerowa
Najważniejsze
- Czasu rzeczywistego: stały endpoint, niskie opóźnienie dla interaktywnych żądań.
- Wsadowa: zadanie ocenia cały zbiór, bez utrzymywania endpointu; wyniki niepotrzebne od razu.
- Asynchroniczna: żądania w kolejce, wyniki później; duże dane, długie przetwarzanie; endpoint może skalować się do zera.
- Bezserwerowa: brak instancji do zarządzania, płatność za użycie; nieregularny lub rzadki ruch tolerujący zimne starty.
Źródło: https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html
Przykładowe pytania
Który rodzaj inferencji najlepiej pasuje do aplikacji interaktywnych wymagających odpowiedzi o niskim opóźnieniu?
- Inferencja wsadowa
- Inferencja asynchroniczna
- Inferencja w czasie rzeczywistym
- Trening modelu offline
Pokaż odpowiedź
Odpowiedź: C. Inferencja w czasie rzeczywistym
Endpointy czasu rzeczywistego służą do interaktywnych zastosowań z niskim opóźnieniem. Zadania wsadowe i kolejkowane żądania asynchroniczne poświęcają opóźnienie na rzecz przepustowości lub rozmiaru.
Które stwierdzenia o inferencji asynchronicznej są prawdziwe?
- Przychodzące żądania trafiają do kolejki
- Obsługuje duże dane wejściowe i długi czas przetwarzania
- To najlepszy wybór dla interaktywnych odpowiedzi poniżej sekundy
- Endpoint może skalować się do zera w czasie bezczynności
- Wymaga, by wywołujący czekał na wynik na otwartym połączeniu
Pokaż odpowiedź
Odpowiedź: A. Przychodzące żądania trafiają do kolejki, B. Obsługuje duże dane wejściowe i długi czas przetwarzania, D. Endpoint może skalować się do zera w czasie bezczynności
Inferencja asynchroniczna kolejkuje żądania, obsługuje duże dane i długie przetwarzanie oraz może skalować się do zera. Nie służy do interaktywnych odpowiedzi poniżej sekundy.
Prawda czy fałsz: inferencja wsadowa wymaga stale działającego endpointu.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Batch transform działa jako zadanie na zbiorze danych i nie potrzebuje stałego endpointu.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
