Machine Learning Associate · Wdrażanie i serwowanie modeli
Wnioskowanie strumieniowe z Delta Live Tables
Najważniejsze
- Delta Live Tables (dziś Lakeflow Spark Declarative Pipelines): deklarujesz tabelę strumieniową nad przyrostowym źródłem i stosujesz model do jej wierszy, np. przez Spark UDF z zarejestrowanego modelu.
- Potok zarządza orkiestracją, ponowieniami, opcjonalnym autoskalowaniem.
- Aktualizacja przetwarza tylko nowe dane.
- Ręczny Structured Streaming: ten sam silnik mikro-wsadowy, ale rozmiar klastra, checkpointy i harmonogram obsługujesz sam.
Źródło: https://docs.databricks.com/aws/en/dev-tools/cli/reference/pipelines-commands
Przykładowe pytania
Co robi potok Delta Live Tables, czego nie robi za Ciebie zwykły notatnik ze Structured Streaming?
- Zarządza orkiestracją, ponowieniami i zasobami dla zadeklarowanych zbiorów danych
- Usuwa potrzebę zarejestrowanego modelu
- Zamienia strumienie w synchroniczne wywołania REST
- Gwarantuje opóźnienie poniżej 10 milisekund
Pokaż odpowiedź
Odpowiedź: A. Zarządza orkiestracją, ponowieniami i zasobami dla zadeklarowanych zbiorów danych
Potok to zarządzane, deklaratywne środowisko: opisujesz zbiory danych, a ono obsługuje orkiestrację, ponowienia i zarządzanie zasobami. Nie usuwa potrzeby modelu ani nie zmienia natury strumienia.
Które stwierdzenia poprawnie opisują wnioskowanie strumieniowe w potoku deklaratywnym?
- Każda aktualizacja przetwarza nowe dane przyrostowo
- Model można zastosować do wierszy tabeli strumieniowej
- Wywołujący dostają synchroniczną odpowiedź HTTP na każdy rekord
- Potok przeucza model przy każdej aktualizacji
- Predykcje można zapisywać tylko do plików lokalnych
Pokaż odpowiedź
Odpowiedź: A. Każda aktualizacja przetwarza nowe dane przyrostowo, B. Model można zastosować do wierszy tabeli strumieniowej
Potoki przetwarzają nowe dane przyrostowo, a model jest stosowany do wierszy zbioru strumieniowego. To nie są usługi żądanie/odpowiedź i nie przeuczają modelu automatycznie.
Prawda czy fałsz: wnioskowanie strumieniowe oznacza, że każdy rekord jest wysyłany do endpointu REST, a wywołujący czeka na odpowiedź.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. To opisuje serwowanie w czasie rzeczywistym. Wnioskowanie strumieniowe stosuje model ciągle do napływających rekordów wewnątrz potoku, bez czekającego wywołującego.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
