AIF-C01 · Mocne strony, ograniczenia GenAI i usługi AWS
Kompromisy kosztowe usług GenAI w AWS
Najważniejsze
- Na żądanie (on-demand): opłata za przetworzone tokeny, bez zobowiązań; do nieregularnego lub nieznanego ruchu.
- Provisioned Throughput: rezerwuje jednostki modelu rozliczane godzinowo; opcjonalne zobowiązanie na 1 lub 6 miesięcy obniża stawkę; do stałego, dużego wolumenu.
- Model niestandardowy w Bedrock: wymaga Provisioned Throughput.
- Też: modele różnią się w regionach, dostępność i redundancja, brak serwerów w usługach zarządzanych.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/prov-throughput.html
Przykładowe pytania
Jaka jest główna jednostka rozliczeniowa przy cenniku na żądanie dla modelu tekstowego w Bedrock?
- Przetworzone tokeny, bez zobowiązań z góry
- Godziny zarezerwowanych jednostek modelu
- Liczba użytkowników IAM na koncie
- Gigabajty przechowywanych danych treningowych
Pokaż odpowiedź
Odpowiedź: A. Przetworzone tokeny, bez zobowiązań z góry
Użycie modelu tekstowego na żądanie rozlicza się za przetworzone tokeny (wejście i wyjście), bez zobowiązań z góry.
Które fakty o Provisioned Throughput w Amazon Bedrock są poprawne?
- Jest rozliczany godzinowo w zależności od modelu i liczby jednostek modelu
- Dłuższe zobowiązanie obniża stawkę godzinową
- To jedyna opcja bez rozliczenia godzinowego
- Nie można go używać z modelami dostosowanymi
- Przestaje naliczać opłaty automatycznie podczas bezczynności
Pokaż odpowiedź
Odpowiedź: A. Jest rozliczany godzinowo w zależności od modelu i liczby jednostek modelu, B. Dłuższe zobowiązanie obniża stawkę godzinową
Rozliczenie jest godzinowe za jednostkę modelu, a dłuższe zobowiązanie obniża stawkę. Modele niestandardowe muszą z niego korzystać, a rozliczenie nie ustaje samo w bezczynności.
Prawda czy fałsz: model dostosowany w Amazon Bedrock można wywoływać na żądanie jak model bazowy, bez Provisioned Throughput.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Zgodnie z dokumentacją Bedrock użycie modelu dostosowanego wymaga zakupu Provisioned Throughput.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
