Bitzu

Machine Learning Associate · Wdrażanie i serwowanie modeli

Podział ruchu między serwowane modele

Najważniejsze

  • Jeden endpoint może hostować kilka serwowanych jednostek (np. dwie wersje modelu), każda z unikalną nazwą.
  • Trasy traffic_config: każda łączy served_model_name z traffic_percentage; przykłady sumują się do 100, np. 90/10 champion/challenger.
  • Zmiana podziału: PUT /api/2.0/serving-endpoints/{name}/config, bez nowego URL.
  • Test jednego modelu: /serving-endpoints/{endpoint}/served-models/{model-name}/invocations, ustawienia ruchu ignorowane.

Źródło: https://docs.databricks.com/aws/en/machine-learning/model-serving/serve-multiple-models-to-serving-endpoint

Przykładowe pytania

Jednokrotny wybór

Które ustawienie konfiguracji endpointu przypisuje procent żądań do każdego serwowanego modelu?

  1. scale_to_zero_enabled
  2. workload_size
  3. traffic_config
  4. route_optimized
Pokaż odpowiedź

Odpowiedź: C. traffic_config

traffic_config.routes łączy każdy served_model_name z traffic_percentage. Pozostałe nazwy nie są polami konfiguracji do podziału ruchu.

Zaznacz wszystkie poprawne

Które stwierdzenia o podziale ruchu na jednym endpoincie serwującym są poprawne?

  1. Każda trasa odwołuje się do serwowanej jednostki po jej nazwie
  2. Podział można zmienić, aktualizując konfigurację endpointu
  3. Klienci muszą wysyłać nagłówek z docelowym procentem
  4. Nowy podział tworzy nowy adres URL endpointu
  5. Ustawienia ruchu działają per adres IP klienta
Pokaż odpowiedź

Odpowiedź: A. Każda trasa odwołuje się do serwowanej jednostki po jej nazwie, B. Podział można zmienić, aktualizując konfigurację endpointu

Każda trasa wskazuje nazwaną serwowaną jednostkę z procentem, a podział zmienia się przez aktualizację konfiguracji endpointu. Procenty nie są ustawiane per klient, a URL nie zmienia się wraz z podziałem.

Prawda czy fałsz

Prawda czy fałsz: gdy wołasz pojedynczy serwowany model przez ścieżkę served-models, procenty ruchu endpointu nadal decydują, czy żądanie do niego trafi.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Odpytanie pojedynczego serwowanego modelu omija podział, co przydaje się do bezpośredniego testu challengera.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów Machine Learning Associate w tym module