AIF-C01 · Pojęcia generatywnej AI
Cykl życia modelu bazowego i rozliczanie za tokeny
Najważniejsze
- Cykl życia: dobór danych, dobór modelu, pre-training (zwykle dostawca), fine-tuning, ewaluacja, wdrożenie, zbieranie opinii i powrót do początku.
- Użycie na żądanie: rozliczane za przetworzony token; dłuższe prompty i odpowiedzi oraz większe modele kosztują więcej i trwają dłużej.
- Inferencja wsadowa: bywa tańsza dla zadań niepilnych.
- Provisioned Throughput: rozliczany za jednostkę modelu na godzinę, przy stałym, przewidywalnym obciążeniu.
Źródło: https://aws.amazon.com/bedrock/pricing/
Przykładowe pytania
Co głównie określa koszt jednego wywołania modelu w Amazon Bedrock w trybie na żądanie?
- Liczba przetworzonych tokenów wejściowych i wyjściowych
- Liczba użytkowników zalogowanych do konsoli
- Pora dnia wysłania żądania
- Rozmiar kodu źródłowego aplikacji
Pokaż odpowiedź
Odpowiedź: A. Liczba przetworzonych tokenów wejściowych i wyjściowych
Inferencja na żądanie jest rozliczana według liczby przetworzonych tokenów wejściowych i wyjściowych, ze stawką zależną od modelu. Liczba zalogowanych użytkowników ani pora dnia nie są jednostką rozliczeniową.
Które czynniki zwiększają koszt lub opóźnienie inferencji aplikacji generatywnej AI?
- Dłuższe prompty z dużą ilością pobranego kontekstu
- Bardzo długie wygenerowane odpowiedzi
- Skrócenie promptu do tego, co istotne
- Wybór większego, bardziej zaawansowanego modelu
- Ustawienie niższego maksymalnego limitu długości wyjścia
Pokaż odpowiedź
Odpowiedź: A. Dłuższe prompty z dużą ilością pobranego kontekstu, B. Bardzo długie wygenerowane odpowiedzi, D. Wybór większego, bardziej zaawansowanego modelu
Więcej tokenów na wejściu i wyjściu oraz większe modele kosztują więcej i odpowiadają wolniej. Mniejszy prompt działa odwrotnie, a niższy limit odpowiedzi zmniejsza liczbę tokenów wyjściowych.
Prawda czy fałsz: cykl życia modelu bazowego kończy się wraz z wdrożeniem, a opinie służą tylko następnemu, niezwiązanemu projektowi.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Cykl jest pętlą: opinie i monitoring po wdrożeniu wracają do doboru danych, fine-tuningu i ewaluacji.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
