Bitzu

Machine Learning Associate · Wdrażanie i serwowanie modeli

Wnioskowanie strumieniowe z Delta Live Tables

Najważniejsze

  • Delta Live Tables (dziś Lakeflow Spark Declarative Pipelines): deklarujesz tabelę strumieniową nad przyrostowym źródłem i stosujesz model do jej wierszy, np. przez Spark UDF z zarejestrowanego modelu.
  • Potok zarządza orkiestracją, ponowieniami, opcjonalnym autoskalowaniem.
  • Aktualizacja przetwarza tylko nowe dane.
  • Ręczny Structured Streaming: ten sam silnik mikro-wsadowy, ale rozmiar klastra, checkpointy i harmonogram obsługujesz sam.

Źródło: https://docs.databricks.com/aws/en/dev-tools/cli/reference/pipelines-commands

Przykładowe pytania

Jednokrotny wybór

Co robi potok Delta Live Tables, czego nie robi za Ciebie zwykły notatnik ze Structured Streaming?

  1. Zarządza orkiestracją, ponowieniami i zasobami dla zadeklarowanych zbiorów danych
  2. Usuwa potrzebę zarejestrowanego modelu
  3. Zamienia strumienie w synchroniczne wywołania REST
  4. Gwarantuje opóźnienie poniżej 10 milisekund
Pokaż odpowiedź

Odpowiedź: A. Zarządza orkiestracją, ponowieniami i zasobami dla zadeklarowanych zbiorów danych

Potok to zarządzane, deklaratywne środowisko: opisujesz zbiory danych, a ono obsługuje orkiestrację, ponowienia i zarządzanie zasobami. Nie usuwa potrzeby modelu ani nie zmienia natury strumienia.

Zaznacz wszystkie poprawne

Które stwierdzenia poprawnie opisują wnioskowanie strumieniowe w potoku deklaratywnym?

  1. Każda aktualizacja przetwarza nowe dane przyrostowo
  2. Model można zastosować do wierszy tabeli strumieniowej
  3. Wywołujący dostają synchroniczną odpowiedź HTTP na każdy rekord
  4. Potok przeucza model przy każdej aktualizacji
  5. Predykcje można zapisywać tylko do plików lokalnych
Pokaż odpowiedź

Odpowiedź: A. Każda aktualizacja przetwarza nowe dane przyrostowo, B. Model można zastosować do wierszy tabeli strumieniowej

Potoki przetwarzają nowe dane przyrostowo, a model jest stosowany do wierszy zbioru strumieniowego. To nie są usługi żądanie/odpowiedź i nie przeuczają modelu automatycznie.

Prawda czy fałsz

Prawda czy fałsz: wnioskowanie strumieniowe oznacza, że każdy rekord jest wysyłany do endpointu REST, a wywołujący czeka na odpowiedź.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. To opisuje serwowanie w czasie rzeczywistym. Wnioskowanie strumieniowe stosuje model ciągle do napływających rekordów wewnątrz potoku, bez czekającego wywołującego.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module