Machine Learning Associate · Wdrażanie i serwowanie modeli
Podział ruchu między serwowane modele
Najważniejsze
- Jeden endpoint może hostować kilka serwowanych jednostek (np. dwie wersje modelu), każda z unikalną nazwą.
- Trasy traffic_config: każda łączy served_model_name z traffic_percentage; przykłady sumują się do 100, np. 90/10 champion/challenger.
- Zmiana podziału: PUT /api/2.0/serving-endpoints/{name}/config, bez nowego URL.
- Test jednego modelu: /serving-endpoints/{endpoint}/served-models/{model-name}/invocations, ustawienia ruchu ignorowane.
Przykładowe pytania
Które ustawienie konfiguracji endpointu przypisuje procent żądań do każdego serwowanego modelu?
- scale_to_zero_enabled
- workload_size
- traffic_config
- route_optimized
Pokaż odpowiedź
Odpowiedź: C. traffic_config
traffic_config.routes łączy każdy served_model_name z traffic_percentage. Pozostałe nazwy nie są polami konfiguracji do podziału ruchu.
Które stwierdzenia o podziale ruchu na jednym endpoincie serwującym są poprawne?
- Każda trasa odwołuje się do serwowanej jednostki po jej nazwie
- Podział można zmienić, aktualizując konfigurację endpointu
- Klienci muszą wysyłać nagłówek z docelowym procentem
- Nowy podział tworzy nowy adres URL endpointu
- Ustawienia ruchu działają per adres IP klienta
Pokaż odpowiedź
Odpowiedź: A. Każda trasa odwołuje się do serwowanej jednostki po jej nazwie, B. Podział można zmienić, aktualizując konfigurację endpointu
Każda trasa wskazuje nazwaną serwowaną jednostkę z procentem, a podział zmienia się przez aktualizację konfiguracji endpointu. Procenty nie są ustawiane per klient, a URL nie zmienia się wraz z podziałem.
Prawda czy fałsz: gdy wołasz pojedynczy serwowany model przez ścieżkę served-models, procenty ruchu endpointu nadal decydują, czy żądanie do niego trafi.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Odpytanie pojedynczego serwowanego modelu omija podział, co przydaje się do bezpośredniego testu challengera.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
