Bitzu

Machine Learning Associate · Wdrażanie i serwowanie modeli

Wnioskowanie wsadowe, strumieniowe i w czasie rzeczywistym

Najważniejsze

  • Batch: ocenia duży zbiór rekordów według harmonogramu i zapisuje wyniki; najtańsze na predykcję, największa przepustowość, świeże jak ostatnie uruchomienie.
  • Streaming: ocenia zdarzenia ciągle, gdy napływają; wyniki w sekundy lub minuty, bez modelu żądanie/odpowiedź.
  • Czas rzeczywisty (endpoint online): pojedyncze żądania, małe opóźnienie; najświeższe, ale płacisz za stale dostępne zasoby.
  • Wybór: wymagana świeżość i kto czeka.

Źródło: https://docs.databricks.com/aws/en/machine-learning/model-serving/create-manage-serving-endpoints

Przykładowe pytania

Jednokrotny wybór

Które podejście do serwowania zwykle daje najniższy koszt predykcji i największą przepustowość, gdy predykcje nie muszą być natychmiastowe?

  1. Wnioskowanie w czasie rzeczywistym na stale działającym endpoincie
  2. Wnioskowanie wsadowe według harmonogramu
  3. Wnioskowanie per żądanie z formularza WWW
  4. Interaktywna ocena w komórce notatnika wiersz po wierszu
Pokaż odpowiedź

Odpowiedź: B. Wnioskowanie wsadowe według harmonogramu

Wnioskowanie wsadowe przetwarza wiele rekordów w jednym zaplanowanym uruchomieniu i może używać zasobów tylko na czas przebiegu. Endpointy czasu rzeczywistego trzymają gotową moc dla pojedynczych żądań, co kosztuje więcej na predykcję.

Zaznacz wszystkie poprawne

Które stwierdzenia o wnioskowaniu strumieniowym są poprawne?

  1. Ocenia rekordy w sposób ciągły, gdy napływają
  2. Świeżość jest zwykle lepsza niż w nocnym zadaniu wsadowym
  3. Każdy rekord wymaga własnego synchronicznego wywołania REST
  4. Nie potrzebuje działających zasobów w czasie bezczynności
  5. Wywołujący muszą trzymać otwarte połączenie do zwrotu każdego wyniku
Pokaż odpowiedź

Odpowiedź: A. Ocenia rekordy w sposób ciągły, gdy napływają, B. Świeżość jest zwykle lepsza niż w nocnym zadaniu wsadowym

Streaming ocenia zdarzenia ciągle, dając świeżość rzędu sekund-minut bez czekającego wywołującego. To nie jest model żądanie/odpowiedź i nie działa bez zasobów obliczeniowych; nie wymaga endpointu REST.

Prawda czy fałsz

Prawda czy fałsz: wybór serwowania w czasie rzeczywistym jest zawsze lepszy niż batch, bo predykcje są świeższe.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Świeższe predykcje kosztują więcej (stale dostępne zasoby) i są zbędne, gdy nikt nie używa wyników od razu, np. przy tygodniowej segmentacji marketingowej.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module