Bitzu

AI-901 · Modele AI i ich konfiguracja

Jak model generatywny tworzy tekst

Najważniejsze

  • Tekst dzieli się na tokeny, a token staje się embeddingiem (wektorem liczb).
  • Uwaga (attention): warstwy transformera oceniają, które wcześniejsze tokeny są najważniejsze.
  • Model przewiduje kolejny token, dopisuje go i powtarza.
  • Trening ustala wagi, inferencja tylko z nich korzysta.
  • Okno kontekstu: ogranicza liczbę tokenów widocznych naraz.
  • Halucynacja: płynny, lecz fałszywy tekst; model wybiera tokeny prawdopodobne, nie sprawdza faktów.

Przykładowe pytania

Jednokrotny wybór

Czym jest token w modelu językowym?

  1. Fragment tekstu, np. słowo, część słowa lub znak interpunkcyjny
  2. Tajny klucz służący do uwierzytelniania wywołań modelu
  3. Pojedyncza wytrenowana waga wewnątrz sieci neuronowej
  4. Całe zdanie traktowane przez model jako jedna jednostka
Pokaż odpowiedź

Odpowiedź: A. Fragment tekstu, np. słowo, część słowa lub znak interpunkcyjny

Token to jednostka tekstu, którą model czyta i zapisuje: całe słowo, jego fragment lub znak interpunkcyjny. Nie zawsze jest pełnym słowem i nie jest pojedynczym znakiem.

Zaznacz wszystkie poprawne

Które stwierdzenia o oknie kontekstu są prawdziwe?

  1. Liczy zarówno tokeny wejściowe, jak i tokeny generowane przez model
  2. Rośnie automatycznie, gdy użytkownik dalej rozmawia
  3. Ogranicza, ile tekstu model może uwzględnić w jednym żądaniu
  4. Jest równe liczbie parametrów modelu
  5. Gwarantuje, że fakty w nim zawarte zawsze zostaną poprawnie powtórzone
Pokaż odpowiedź

Odpowiedź: A. Liczy zarówno tokeny wejściowe, jak i tokeny generowane przez model, C. Ogranicza, ile tekstu model może uwzględnić w jednym żądaniu

Okno to budżet tokenów na prompt i wygenerowaną odpowiedź, więc ogranicza, ile model może uwzględnić naraz. Nie ma związku z liczbą parametrów, nie rośnie podczas rozmowy i nie sprawia, że treść jest prawdziwa.

Prawda czy fałsz

Prawda czy fałsz: gdy wdrożony model odpowiada na prompt (inferencja), jego wagi są aktualizowane, aby uczyć się z tego promptu.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Wagi są stałe po treningu. Inferencja tylko uruchamia wytrenowany model, a to, co model zdaje się pamiętać w rozmowie, pochodzi z tekstu przekazanego w oknie kontekstu.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AI-901 w tym module