AI-901 · Modele AI i ich konfiguracja
Parametry generowania kształtujące wynik
Najważniejsze
- Temperature: skaluje prawdopodobieństwa tokenów; niska: skupione, powtarzalne; wysoka: różnorodne, kreatywne.
- Top_p (próbkowanie jądrowe): najbardziej prawdopodobne tokeny o sumie p.
- Max output tokens: limit długości; zbyt mały ucina odpowiedź w pół zdania.
- Stop sequence: kończy generowanie, na danym tekście.
- Frequency penalty: zniechęca do tokenów wg częstości.
- Presence penalty: zniechęca do użytych tokenów, kieruje ku nowym tematom.
Przykładowe pytania
Jaki jest ogólny skutek obniżenia temperatury?
- Wynik staje się bardziej skupiony i powtarzalny
- Wynik staje się dłuższy i bardziej kreatywny
- Okno kontekstu się powiększa
- Model przechodzi na tańszy poziom cenowy
Pokaż odpowiedź
Odpowiedź: A. Wynik staje się bardziej skupiony i powtarzalny
Niższa temperatura skupia prawdopodobieństwo na najbardziej prawdopodobnych tokenach, więc odpowiedzi są bardziej skupione i powtarzalne. Podwyższenie dodaje różnorodności. Nie zmienia długości odpowiedzi ani okna kontekstu.
Które ustawienia pomagają ograniczyć powtarzalne sformułowania w odpowiedzi?
- Frequency penalty
- Presence penalty
- Maksymalna liczba tokenów wyjściowych
- Stop sequence
- Rozmiar okna kontekstu
Pokaż odpowiedź
Odpowiedź: A. Frequency penalty, B. Presence penalty
Frequency i presence penalty zniechęcają do ponownego użycia tokenów, które już wystąpiły. Maksymalna liczba tokenów tylko ucina długość, stop sequence tylko kończy generowanie, a okno kontekstu nie jest pokrętłem stylu.
Prawda czy fałsz: ustawienie małej maksymalnej liczby tokenów wyjściowych sprawia, że model pisze krótszą, ale kompletną odpowiedź.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Limit nie każe modelowi być zwięzłym; generowanie jest po prostu ucinane po osiągnięciu limitu, więc odpowiedź może urwać się w połowie zdania. Aby uzyskać krótsze odpowiedzi, poproś o zwięzłość w prompcie.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
