Bitzu

AIF-C01 · Projektowanie aplikacji z modelami bazowymi

Jak wybrać model bazowy do aplikacji?

Najważniejsze

  • Porównuj kandydatów z wymaganiami, a nie z rankingiem: koszt (cena za token), modalność (tekst, obraz, dźwięk na wejściu lub wyjściu), opóźnienie, obsługa języków, rozmiar i złożoność modelu, możliwość dostosowania oraz limity długości wejścia i wyjścia.
  • Większe modele są zwykle zdolniejsze, ale wolniejsze i droższe.
  • Buforowanie promptów może obniżyć koszt i opóźnienie, gdy długi początek promptu się powtarza.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-caching.html

Przykładowe pytania

Jednokrotny wybór

Która cecha modelu decyduje głównie o tym, czy przyjmie zdjęcie razem z pytaniem tekstowym?

  1. Długość okna kontekstu
  2. Modalność
  3. Ustawienie temperature
  4. Cena za token
Pokaż odpowiedź

Odpowiedź: B. Modalność

Modalność określa, jakie rodzaje danych model przyjmuje i generuje. Model multimodalny przyjmie obraz i tekst, a model wyłącznie tekstowy nie, niezależnie od rozmiaru czy ceny.

Zaznacz wszystkie poprawne

Które czynniki bezpośrednio wpływają na koszt pojedynczego wywołania modelu na żądanie?

  1. Liczba tokenów wejścia i wyjścia
  2. Motyw kolorystyczny konsoli
  3. To, czy odpowiedź jest renderowana jako markdown
  4. Poziom cenowy wybranego modelu
  5. Długość nazwy projektu
Pokaż odpowiedź

Odpowiedź: A. Liczba tokenów wejścia i wyjścia, D. Poziom cenowy wybranego modelu

Cennik na żądanie opiera się na tokenach, więc koszt zależy od liczby tokenów wejścia i wyjścia oraz stawki wybranego modelu. Motyw konsoli ani nazwa projektu nie zmieniają rachunku.

Prawda czy fałsz

Największy dostępny model jest zawsze najlepszym wyborem, bo większe modele są i dokładniejsze, i tańsze w użyciu.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Większe modele często radzą sobie lepiej z trudnymi zadaniami, ale kosztują więcej za token i odpowiadają wolniej. Do prostych zadań o dużym wolumenie często lepszy jest mniejszy model.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module