Machine Learning Associate · Wdrażanie i serwowanie modeli
Wnioskowanie wsadowe, strumieniowe i w czasie rzeczywistym
Najważniejsze
- Batch: ocenia duży zbiór rekordów według harmonogramu i zapisuje wyniki; najtańsze na predykcję, największa przepustowość, świeże jak ostatnie uruchomienie.
- Streaming: ocenia zdarzenia ciągle, gdy napływają; wyniki w sekundy lub minuty, bez modelu żądanie/odpowiedź.
- Czas rzeczywisty (endpoint online): pojedyncze żądania, małe opóźnienie; najświeższe, ale płacisz za stale dostępne zasoby.
- Wybór: wymagana świeżość i kto czeka.
Źródło: https://docs.databricks.com/aws/en/machine-learning/model-serving/create-manage-serving-endpoints
Przykładowe pytania
Które podejście do serwowania zwykle daje najniższy koszt predykcji i największą przepustowość, gdy predykcje nie muszą być natychmiastowe?
- Wnioskowanie w czasie rzeczywistym na stale działającym endpoincie
- Wnioskowanie wsadowe według harmonogramu
- Wnioskowanie per żądanie z formularza WWW
- Interaktywna ocena w komórce notatnika wiersz po wierszu
Pokaż odpowiedź
Odpowiedź: B. Wnioskowanie wsadowe według harmonogramu
Wnioskowanie wsadowe przetwarza wiele rekordów w jednym zaplanowanym uruchomieniu i może używać zasobów tylko na czas przebiegu. Endpointy czasu rzeczywistego trzymają gotową moc dla pojedynczych żądań, co kosztuje więcej na predykcję.
Które stwierdzenia o wnioskowaniu strumieniowym są poprawne?
- Ocenia rekordy w sposób ciągły, gdy napływają
- Świeżość jest zwykle lepsza niż w nocnym zadaniu wsadowym
- Każdy rekord wymaga własnego synchronicznego wywołania REST
- Nie potrzebuje działających zasobów w czasie bezczynności
- Wywołujący muszą trzymać otwarte połączenie do zwrotu każdego wyniku
Pokaż odpowiedź
Odpowiedź: A. Ocenia rekordy w sposób ciągły, gdy napływają, B. Świeżość jest zwykle lepsza niż w nocnym zadaniu wsadowym
Streaming ocenia zdarzenia ciągle, dając świeżość rzędu sekund-minut bez czekającego wywołującego. To nie jest model żądanie/odpowiedź i nie działa bez zasobów obliczeniowych; nie wymaga endpointu REST.
Prawda czy fałsz: wybór serwowania w czasie rzeczywistym jest zawsze lepszy niż batch, bo predykcje są świeższe.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Świeższe predykcje kosztują więcej (stale dostępne zasoby) i są zbędne, gdy nikt nie używa wyników od razu, np. przy tygodniowej segmentacji marketingowej.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
