AI-901 · Modele AI i ich konfiguracja
Jak model generatywny tworzy tekst
Najważniejsze
- Tekst dzieli się na tokeny, a token staje się embeddingiem (wektorem liczb).
- Uwaga (attention): warstwy transformera oceniają, które wcześniejsze tokeny są najważniejsze.
- Model przewiduje kolejny token, dopisuje go i powtarza.
- Trening ustala wagi, inferencja tylko z nich korzysta.
- Okno kontekstu: ogranicza liczbę tokenów widocznych naraz.
- Halucynacja: płynny, lecz fałszywy tekst; model wybiera tokeny prawdopodobne, nie sprawdza faktów.
Przykładowe pytania
Czym jest token w modelu językowym?
- Fragment tekstu, np. słowo, część słowa lub znak interpunkcyjny
- Tajny klucz służący do uwierzytelniania wywołań modelu
- Pojedyncza wytrenowana waga wewnątrz sieci neuronowej
- Całe zdanie traktowane przez model jako jedna jednostka
Pokaż odpowiedź
Odpowiedź: A. Fragment tekstu, np. słowo, część słowa lub znak interpunkcyjny
Token to jednostka tekstu, którą model czyta i zapisuje: całe słowo, jego fragment lub znak interpunkcyjny. Nie zawsze jest pełnym słowem i nie jest pojedynczym znakiem.
Które stwierdzenia o oknie kontekstu są prawdziwe?
- Liczy zarówno tokeny wejściowe, jak i tokeny generowane przez model
- Rośnie automatycznie, gdy użytkownik dalej rozmawia
- Ogranicza, ile tekstu model może uwzględnić w jednym żądaniu
- Jest równe liczbie parametrów modelu
- Gwarantuje, że fakty w nim zawarte zawsze zostaną poprawnie powtórzone
Pokaż odpowiedź
Odpowiedź: A. Liczy zarówno tokeny wejściowe, jak i tokeny generowane przez model, C. Ogranicza, ile tekstu model może uwzględnić w jednym żądaniu
Okno to budżet tokenów na prompt i wygenerowaną odpowiedź, więc ogranicza, ile model może uwzględnić naraz. Nie ma związku z liczbą parametrów, nie rośnie podczas rozmowy i nie sprawia, że treść jest prawdziwa.
Prawda czy fałsz: gdy wdrożony model odpowiada na prompt (inferencja), jego wagi są aktualizowane, aby uczyć się z tego promptu.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Wagi są stałe po treningu. Inferencja tylko uruchamia wytrenowany model, a to, co model zdaje się pamiętać w rozmowie, pochodzi z tekstu przekazanego w oknie kontekstu.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
