AIF-C01 · Projektowanie aplikacji z modelami bazowymi
Za co odpowiadają temperature, top-p, top-k i maksymalna długość wyjścia?
Najważniejsze
- Temperature zmienia kształt rozkładu prawdopodobieństwa kolejnego tokenu: niskie wartości wybierają tokeny prawdopodobne (bardziej deterministycznie), wysokie spłaszczają rozkład (większa różnorodność).
- Top-k ogranicza losowanie do k najbardziej prawdopodobnych tokenów; top-p do najmniejszego zbioru, którego łączne prawdopodobieństwo osiąga p. Maksymalna długość wyjścia ogranicza liczbę tokenów odpowiedzi, a więc jej rozmiar i koszt wyjścia.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/inference-parameters.html
Przykładowe pytania
Które ustawienie temperature najprawdopodobniej da niemal identyczne odpowiedzi na ten sam prompt przy kolejnych wywołaniach?
- Temperature bliska 0
- Temperature bliska maksimum
- Dowolna wartość, bo temperature nie wpływa na różnorodność
- Temperature równa top-k
Pokaż odpowiedź
Odpowiedź: A. Temperature bliska 0
Temperature bliska 0 sprawia, że model preferuje token o najwyższym prawdopodobieństwie, więc wynik niewiele się zmienia. Wysokie wartości spłaszczają rozkład i zwiększają różnorodność.
Które stwierdzenia o parametrach losowania są poprawne?
- Top-k ustala maksymalną liczbę tokenów w odpowiedzi
- Top-k ogranicza losowanie do k najbardziej prawdopodobnych kolejnych tokenów
- Top-p ustala język odpowiedzi
- Top-p ogranicza losowanie do najmniejszego zbioru tokenów pokrywającego prawdopodobieństwo p
- Podniesienie top-p zawęża zbiór kandydatów
Pokaż odpowiedź
Odpowiedź: B. Top-k ogranicza losowanie do k najbardziej prawdopodobnych kolejnych tokenów, D. Top-p ogranicza losowanie do najmniejszego zbioru tokenów pokrywającego prawdopodobieństwo p
Top-k ustala liczbę rozważanych tokenów, a top-p udział łącznego prawdopodobieństwa, więc liczba kandydatów zmienia się w każdym kroku. Obniżenie któregoś z nich zawęża pulę. Żaden nie ustala długości odpowiedzi; robi to maksymalna długość wyjścia.
Ustawienie małej maksymalnej długości wyjścia sprawia, że model pisze krótszą, kompletną odpowiedź.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Limit tylko przerywa generowanie po tylu tokenach, więc długa odpowiedź zostaje ucięta w pół myśli, a nie napisana zwięźlej. Aby uzyskać krótką odpowiedź, trzeba też poprosić model o zwięzłość.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Więcej tematów AIF-C01 w tym module
- Jak wybrać model bazowy do aplikacji?
- Czym jest Retrieval Augmented Generation (RAG) i jak implementują je Amazon Bedrock Knowledge Bases?
- Gdzie w AWS można przechowywać i przeszukiwać embeddingi?
- Jak podejścia do dostosowania modelu bazowego wypadają pod względem kosztu i nakładu pracy?
- Czym jest agent AI i do czego się nadaje?