Bitzu

AIF-C01 · Projektowanie aplikacji z modelami bazowymi

Za co odpowiadają temperature, top-p, top-k i maksymalna długość wyjścia?

Najważniejsze

  • Temperature zmienia kształt rozkładu prawdopodobieństwa kolejnego tokenu: niskie wartości wybierają tokeny prawdopodobne (bardziej deterministycznie), wysokie spłaszczają rozkład (większa różnorodność).
  • Top-k ogranicza losowanie do k najbardziej prawdopodobnych tokenów; top-p do najmniejszego zbioru, którego łączne prawdopodobieństwo osiąga p. Maksymalna długość wyjścia ogranicza liczbę tokenów odpowiedzi, a więc jej rozmiar i koszt wyjścia.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/inference-parameters.html

Przykładowe pytania

Jednokrotny wybór

Które ustawienie temperature najprawdopodobniej da niemal identyczne odpowiedzi na ten sam prompt przy kolejnych wywołaniach?

  1. Temperature bliska 0
  2. Temperature bliska maksimum
  3. Dowolna wartość, bo temperature nie wpływa na różnorodność
  4. Temperature równa top-k
Pokaż odpowiedź

Odpowiedź: A. Temperature bliska 0

Temperature bliska 0 sprawia, że model preferuje token o najwyższym prawdopodobieństwie, więc wynik niewiele się zmienia. Wysokie wartości spłaszczają rozkład i zwiększają różnorodność.

Zaznacz wszystkie poprawne

Które stwierdzenia o parametrach losowania są poprawne?

  1. Top-k ustala maksymalną liczbę tokenów w odpowiedzi
  2. Top-k ogranicza losowanie do k najbardziej prawdopodobnych kolejnych tokenów
  3. Top-p ustala język odpowiedzi
  4. Top-p ogranicza losowanie do najmniejszego zbioru tokenów pokrywającego prawdopodobieństwo p
  5. Podniesienie top-p zawęża zbiór kandydatów
Pokaż odpowiedź

Odpowiedź: B. Top-k ogranicza losowanie do k najbardziej prawdopodobnych kolejnych tokenów, D. Top-p ogranicza losowanie do najmniejszego zbioru tokenów pokrywającego prawdopodobieństwo p

Top-k ustala liczbę rozważanych tokenów, a top-p udział łącznego prawdopodobieństwa, więc liczba kandydatów zmienia się w każdym kroku. Obniżenie któregoś z nich zawęża pulę. Żaden nie ustala długości odpowiedzi; robi to maksymalna długość wyjścia.

Prawda czy fałsz

Ustawienie małej maksymalnej długości wyjścia sprawia, że model pisze krótszą, kompletną odpowiedź.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Limit tylko przerywa generowanie po tylu tokenach, więc długa odpowiedź zostaje ucięta w pół myśli, a nie napisana zwięźlej. Aby uzyskać krótką odpowiedź, trzeba też poprosić model o zwięzłość.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module