Bitzu

AIF-C01 · Pojęcia generatywnej AI

Cykl życia modelu bazowego i rozliczanie za tokeny

Najważniejsze

  • Cykl życia: dobór danych, dobór modelu, pre-training (zwykle dostawca), fine-tuning, ewaluacja, wdrożenie, zbieranie opinii i powrót do początku.
  • Użycie na żądanie: rozliczane za przetworzony token; dłuższe prompty i odpowiedzi oraz większe modele kosztują więcej i trwają dłużej.
  • Inferencja wsadowa: bywa tańsza dla zadań niepilnych.
  • Provisioned Throughput: rozliczany za jednostkę modelu na godzinę, przy stałym, przewidywalnym obciążeniu.

Źródło: https://aws.amazon.com/bedrock/pricing/

Przykładowe pytania

Jednokrotny wybór

Co głównie określa koszt jednego wywołania modelu w Amazon Bedrock w trybie na żądanie?

  1. Liczba przetworzonych tokenów wejściowych i wyjściowych
  2. Liczba użytkowników zalogowanych do konsoli
  3. Pora dnia wysłania żądania
  4. Rozmiar kodu źródłowego aplikacji
Pokaż odpowiedź

Odpowiedź: A. Liczba przetworzonych tokenów wejściowych i wyjściowych

Inferencja na żądanie jest rozliczana według liczby przetworzonych tokenów wejściowych i wyjściowych, ze stawką zależną od modelu. Liczba zalogowanych użytkowników ani pora dnia nie są jednostką rozliczeniową.

Zaznacz wszystkie poprawne

Które czynniki zwiększają koszt lub opóźnienie inferencji aplikacji generatywnej AI?

  1. Dłuższe prompty z dużą ilością pobranego kontekstu
  2. Bardzo długie wygenerowane odpowiedzi
  3. Skrócenie promptu do tego, co istotne
  4. Wybór większego, bardziej zaawansowanego modelu
  5. Ustawienie niższego maksymalnego limitu długości wyjścia
Pokaż odpowiedź

Odpowiedź: A. Dłuższe prompty z dużą ilością pobranego kontekstu, B. Bardzo długie wygenerowane odpowiedzi, D. Wybór większego, bardziej zaawansowanego modelu

Więcej tokenów na wejściu i wyjściu oraz większe modele kosztują więcej i odpowiadają wolniej. Mniejszy prompt działa odwrotnie, a niższy limit odpowiedzi zmniejsza liczbę tokenów wyjściowych.

Prawda czy fałsz

Prawda czy fałsz: cykl życia modelu bazowego kończy się wraz z wdrożeniem, a opinie służą tylko następnemu, niezwiązanemu projektowi.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Cykl jest pętlą: opinie i monitoring po wdrożeniu wracają do doboru danych, fine-tuningu i ewaluacji.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module