Machine Learning Associate · Wdrażanie i serwowanie modeli
Endpointy Model Serving dla modeli niestandardowych
Najważniejsze
- Endpoint Model Serving: hostuje zarejestrowany model pod HTTPS /serving-endpoints/<nazwa>/invocations.
- Rozmiar obciążenia: Small, Medium, Large, według spodziewanych równoczesnych żądań.
- scale_to_zero_enabled: opcjonalne; zwalnia moc przy bezczynności, ale dodaje opóźnienie zimnego startu, niezalecane w produkcji.
- Żądanie: JSON z kluczem, np. dataframe_split (zalecany dla danych pandas).
- Odpowiedź: wynik pod kluczem predictions.
Źródło: https://docs.databricks.com/aws/en/machine-learning/model-serving/score-custom-model-endpoints
Przykładowe pytania
Który klucz JSON jest zalecanym sposobem wysłania pandas DataFrame do endpointu modelu niestandardowego?
- dataframe_split
- frame_rows
- pandas_json
- dataset_table
Pokaż odpowiedź
Odpowiedź: A. dataframe_split
dataframe_split wysyła DataFrame w orientacji split i jawnie zachowuje kolejność kolumn. dataframe_records działa, ale nie gwarantuje kolejności kolumn; pozostałe nazwy nie są akceptowanymi formatami.
Które z poniższych są akceptowanymi formatami wejścia dla endpointu Model Serving z modelem niestandardowym?
- dataframe_records
- table_rows
- inputs
- sql_query
- csv_body
Pokaż odpowiedź
Odpowiedź: A. dataframe_records, C. inputs
Udokumentowane formaty to dataframe_split, dataframe_records, instances (tensor, układ wierszowy) i inputs (tensor, układ kolumnowy). Pozostałe są zmyślone.
Prawda czy fałsz: przy włączonym scale to zero pierwsze żądanie po okresie bezczynności jest obsługiwane równie szybko jak każde inne.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Gdy endpoint się zredukował, moc trzeba zaprowizjonować ponownie, co dodaje opóźnienie zimnego startu i nie ma gwarancji natychmiastowej dostępności.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
