Bitzu

Machine Learning Associate · Wdrażanie i serwowanie modeli

Endpointy Model Serving dla modeli niestandardowych

Najważniejsze

  • Endpoint Model Serving: hostuje zarejestrowany model pod HTTPS /serving-endpoints/<nazwa>/invocations.
  • Rozmiar obciążenia: Small, Medium, Large, według spodziewanych równoczesnych żądań.
  • scale_to_zero_enabled: opcjonalne; zwalnia moc przy bezczynności, ale dodaje opóźnienie zimnego startu, niezalecane w produkcji.
  • Żądanie: JSON z kluczem, np. dataframe_split (zalecany dla danych pandas).
  • Odpowiedź: wynik pod kluczem predictions.

Źródło: https://docs.databricks.com/aws/en/machine-learning/model-serving/score-custom-model-endpoints

Przykładowe pytania

Jednokrotny wybór

Który klucz JSON jest zalecanym sposobem wysłania pandas DataFrame do endpointu modelu niestandardowego?

  1. dataframe_split
  2. frame_rows
  3. pandas_json
  4. dataset_table
Pokaż odpowiedź

Odpowiedź: A. dataframe_split

dataframe_split wysyła DataFrame w orientacji split i jawnie zachowuje kolejność kolumn. dataframe_records działa, ale nie gwarantuje kolejności kolumn; pozostałe nazwy nie są akceptowanymi formatami.

Zaznacz wszystkie poprawne

Które z poniższych są akceptowanymi formatami wejścia dla endpointu Model Serving z modelem niestandardowym?

  1. dataframe_records
  2. table_rows
  3. inputs
  4. sql_query
  5. csv_body
Pokaż odpowiedź

Odpowiedź: A. dataframe_records, C. inputs

Udokumentowane formaty to dataframe_split, dataframe_records, instances (tensor, układ wierszowy) i inputs (tensor, układ kolumnowy). Pozostałe są zmyślone.

Prawda czy fałsz

Prawda czy fałsz: przy włączonym scale to zero pierwsze żądanie po okresie bezczynności jest obsługiwane równie szybko jak każde inne.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Gdy endpoint się zredukował, moc trzeba zaprowizjonować ponownie, co dodaje opóźnienie zimnego startu i nie ma gwarancji natychmiastowej dostępności.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module