Bitzu

AIF-C01 · Pojęcia generatywnej AI

Tokeny, chunking, embeddingi i wektory

Najważniejsze

  • Token to jednostka, którą model czyta i zapisuje: słowo, jego fragment lub znak interpunkcyjny.
  • Długie dokumenty dzieli się na fragmenty (chunki), aby mieściły się w modelu i dało się je przeszukiwać kawałek po kawałku.
  • Model embeddingowy zamienia każdy fragment w wektor, czyli listę liczb.
  • Fragmenty o podobnym znaczeniu dostają wektory leżące blisko siebie, co umożliwia wyszukiwanie semantyczne.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/key-definitions.html

Przykładowe pytania

Jednokrotny wybór

Co reprezentuje embedding?

  1. Wektor liczbowy oddający znaczenie danych wejściowych
  2. Skompresowaną kopię oryginalnego dokumentu
  3. Liczbę tokenów w prompcie
  4. Zaszyfrowaną wersję tekstu wejściowego
Pokaż odpowiedź

Odpowiedź: A. Wektor liczbowy oddający znaczenie danych wejściowych

Embedding to wektor liczb oddający znaczenie, dzięki czemu można porównywać elementy. Nie jest skompresowanym plikiem, liczbą tokenów ani zaszyfrowanym tekstem.

Zaznacz wszystkie poprawne

Które stwierdzenia o tokenach są poprawne?

  1. Token może być fragmentem słowa lub znakiem interpunkcyjnym
  2. Każde słowo to zawsze dokładnie jeden token
  3. Okno kontekstu modelu mierzy się w tokenach
  4. Tokeny to wektory przechowywane w bazie wektorowej
  5. Rozliczenie za tokeny zlicza przetworzone tokeny
Pokaż odpowiedź

Odpowiedź: A. Token może być fragmentem słowa lub znakiem interpunkcyjnym, C. Okno kontekstu modelu mierzy się w tokenach, E. Rozliczenie za tokeny zlicza przetworzone tokeny

Token może być całym słowem, jego fragmentem lub znakiem interpunkcyjnym, a limity kontekstu i rozliczenia liczy się w tokenach. Słowo nie zawsze równa się jednemu tokenowi, a tokeny to nie embeddingi.

Prawda czy fałsz

Prawda czy fałsz: wyszukiwanie semantyczne oparte na embeddingach znajduje tylko tekst zawierający dokładnie te same słowa co zapytanie.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Embeddingi umieszczają podobne znaczenia blisko siebie, więc parafrazy i synonimy pasują nawet bez wspólnych słów.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module