AIF-C01 · Projektowanie aplikacji z modelami bazowymi
Jak wybrać model bazowy do aplikacji?
Najważniejsze
- Porównuj kandydatów z wymaganiami, a nie z rankingiem: koszt (cena za token), modalność (tekst, obraz, dźwięk na wejściu lub wyjściu), opóźnienie, obsługa języków, rozmiar i złożoność modelu, możliwość dostosowania oraz limity długości wejścia i wyjścia.
- Większe modele są zwykle zdolniejsze, ale wolniejsze i droższe.
- Buforowanie promptów może obniżyć koszt i opóźnienie, gdy długi początek promptu się powtarza.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-caching.html
Przykładowe pytania
Która cecha modelu decyduje głównie o tym, czy przyjmie zdjęcie razem z pytaniem tekstowym?
- Długość okna kontekstu
- Modalność
- Ustawienie temperature
- Cena za token
Pokaż odpowiedź
Odpowiedź: B. Modalność
Modalność określa, jakie rodzaje danych model przyjmuje i generuje. Model multimodalny przyjmie obraz i tekst, a model wyłącznie tekstowy nie, niezależnie od rozmiaru czy ceny.
Które czynniki bezpośrednio wpływają na koszt pojedynczego wywołania modelu na żądanie?
- Liczba tokenów wejścia i wyjścia
- Motyw kolorystyczny konsoli
- To, czy odpowiedź jest renderowana jako markdown
- Poziom cenowy wybranego modelu
- Długość nazwy projektu
Pokaż odpowiedź
Odpowiedź: A. Liczba tokenów wejścia i wyjścia, D. Poziom cenowy wybranego modelu
Cennik na żądanie opiera się na tokenach, więc koszt zależy od liczby tokenów wejścia i wyjścia oraz stawki wybranego modelu. Motyw konsoli ani nazwa projektu nie zmieniają rachunku.
Największy dostępny model jest zawsze najlepszym wyborem, bo większe modele są i dokładniejsze, i tańsze w użyciu.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Większe modele często radzą sobie lepiej z trudnymi zadaniami, ale kosztują więcej za token i odpowiadają wolniej. Do prostych zadań o dużym wolumenie często lepszy jest mniejszy model.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Więcej tematów AIF-C01 w tym module
- Za co odpowiadają temperature, top-p, top-k i maksymalna długość wyjścia?
- Czym jest Retrieval Augmented Generation (RAG) i jak implementują je Amazon Bedrock Knowledge Bases?
- Gdzie w AWS można przechowywać i przeszukiwać embeddingi?
- Jak podejścia do dostosowania modelu bazowego wypadają pod względem kosztu i nakładu pracy?
- Czym jest agent AI i do czego się nadaje?