AIF-C01 · Pojęcia generatywnej AI
Tokeny, chunking, embeddingi i wektory
Najważniejsze
- Token to jednostka, którą model czyta i zapisuje: słowo, jego fragment lub znak interpunkcyjny.
- Długie dokumenty dzieli się na fragmenty (chunki), aby mieściły się w modelu i dało się je przeszukiwać kawałek po kawałku.
- Model embeddingowy zamienia każdy fragment w wektor, czyli listę liczb.
- Fragmenty o podobnym znaczeniu dostają wektory leżące blisko siebie, co umożliwia wyszukiwanie semantyczne.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/key-definitions.html
Przykładowe pytania
Co reprezentuje embedding?
- Wektor liczbowy oddający znaczenie danych wejściowych
- Skompresowaną kopię oryginalnego dokumentu
- Liczbę tokenów w prompcie
- Zaszyfrowaną wersję tekstu wejściowego
Pokaż odpowiedź
Odpowiedź: A. Wektor liczbowy oddający znaczenie danych wejściowych
Embedding to wektor liczb oddający znaczenie, dzięki czemu można porównywać elementy. Nie jest skompresowanym plikiem, liczbą tokenów ani zaszyfrowanym tekstem.
Które stwierdzenia o tokenach są poprawne?
- Token może być fragmentem słowa lub znakiem interpunkcyjnym
- Każde słowo to zawsze dokładnie jeden token
- Okno kontekstu modelu mierzy się w tokenach
- Tokeny to wektory przechowywane w bazie wektorowej
- Rozliczenie za tokeny zlicza przetworzone tokeny
Pokaż odpowiedź
Odpowiedź: A. Token może być fragmentem słowa lub znakiem interpunkcyjnym, C. Okno kontekstu modelu mierzy się w tokenach, E. Rozliczenie za tokeny zlicza przetworzone tokeny
Token może być całym słowem, jego fragmentem lub znakiem interpunkcyjnym, a limity kontekstu i rozliczenia liczy się w tokenach. Słowo nie zawsze równa się jednemu tokenowi, a tokeny to nie embeddingi.
Prawda czy fałsz: wyszukiwanie semantyczne oparte na embeddingach znajduje tylko tekst zawierający dokładnie te same słowa co zapytanie.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Embeddingi umieszczają podobne znaczenia blisko siebie, więc parafrazy i synonimy pasują nawet bez wspólnych słów.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
