AI-901 · Modele AI i ich konfiguracja
Wdrażanie modelu w Foundry
Najważniejsze
- Wdrożenie modelu z katalogu daje nazwane wdrożenie pod endpointem zasobu; nazwę wybierasz sam.
- Standard: rozliczanie za token.
- Provisioned: rezerwowana moc w PTU, przewidywalna przepustowość.
- Batch: duże zadania asynchroniczne, taniej.
- Global: dowolny region Azure. Data Zone: w strefie US, EU lub APAC.
- Zwykły Standard lub regionalny provisioned: w obrębie geografii Azure.
- Limit (quota): tokeny na minutę, ogranicza ruch wdrożenia.
Źródło: https://learn.microsoft.com/en-us/azure/foundry/foundry-models/concepts/deployment-types
Przykładowe pytania
Co ogranicza quota przypisana do wdrożenia modelu?
- Ile tokenów na minutę może przetworzyć wdrożenie
- Ilu użytkowników w dzierżawie może się zalogować
- Maksymalną długość nazwy wdrożenia
- W jakich językach naturalnych model może odpowiadać
Pokaż odpowiedź
Odpowiedź: A. Ile tokenów na minutę może przetworzyć wdrożenie
Quota jest wyrażana w tokenach na minutę, więc ogranicza przepustowość, z której może korzystać wdrożenie, zanim żądania zostaną ograniczone. Nie limituje użytkowników, długości nazwy ani języków.
Które stwierdzenia opisują wdrożenie Global Standard?
- Płacisz za zużyte tokeny
- Prompty i odpowiedzi mogą być przetwarzane w dowolnym regionie Azure
- Trzeba z góry kupić jednostki przepustowości provisioned
- Przetwarzanie na pewno pozostaje w jednej geografii Azure
- Służy wyłącznie do 24-godzinnej oceny modeli po fine-tuningu
Pokaż odpowiedź
Odpowiedź: A. Płacisz za zużyte tokeny, B. Prompty i odpowiedzi mogą być przetwarzane w dowolnym regionie Azure
Global Standard jest rozliczane za token i może przetwarzać inferencję w dowolnym regionie Azure. Nie wymaga zakupu PTU i nie przypina przetwarzania do jednej geografii.
Prawda czy fałsz: nazwa wdrożenia musi być identyczna z nazwą modelu, który obsługuje.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Nazwę wdrożenia wybierasz przy jego tworzeniu, a aplikacje wywołują właśnie tę nazwę. Może różnić się od nazwy modelu, np. wdrożenie 'chat-prod' obsługujące model GPT.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
