AIF-C01 · Pojęcia generatywnej AI
Transformery, LLM-y, modele multimodalne i dyfuzyjne
Najważniejsze
- Transformer to architektura, która dzięki mechanizmowi uwagi wiąże ze sobą wszystkie części wejścia.
- Duży model językowy (LLM) to model bazowy oparty na transformerze, wytrenowany na ogromnej ilości tekstu do przewidywania kolejnego tokenu.
- Model multimodalny przyjmuje lub tworzy więcej niż jeden rodzaj danych, np. tekst i obrazy.
- Model dyfuzyjny generuje obrazy, zaczynając od szumu i usuwając go krok po kroku.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/key-definitions.html
Przykładowe pytania
Jaki typ modelu zwykle generuje obraz, stopniowo usuwając szum?
- Model dyfuzyjny
- LLM tylko tekstowy
- Model embeddingowy
- Model klasyfikacyjny
Pokaż odpowiedź
Odpowiedź: A. Model dyfuzyjny
Modele dyfuzyjne uczą się odwracać proces dodawania szumu. LLM przewiduje tokeny, a model embeddingowy zwraca wektory, nie obrazy.
Które stwierdzenia o modelach bazowych i LLM-ach są poprawne?
- Model bazowy jest trenowany na dużych, zróżnicowanych danych i obsługuje wiele zadań
- Większość nowoczesnych LLM-ów opiera się na architekturze transformera
- Model bazowy potrafi wykonać tylko jedno zadanie, do którego był trenowany
- LLM gwarantuje tekst zgodny z faktami
- Niektóre modele bazowe generują obrazy zamiast tekstu
Pokaż odpowiedź
Odpowiedź: A. Model bazowy jest trenowany na dużych, zróżnicowanych danych i obsługuje wiele zadań, B. Większość nowoczesnych LLM-ów opiera się na architekturze transformera, E. Niektóre modele bazowe generują obrazy zamiast tekstu
Modele bazowe są szeroko trenowane i adaptowalne, a LLM-y to modele oparte na transformerach przetwarzające tekst. Model bazowy nie jest ograniczony do jednego zadania, a LLM nie gwarantuje faktów.
Prawda czy fałsz: duży model językowy zna fakty, ponieważ przy każdej odpowiedzi sprawdza je w bazie danych.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. LLM generuje tekst, przewidując prawdopodobne kolejne tokeny na podstawie wzorców z treningu. Sięgnięcie do danych wymaga dodatkowego kroku, np. generowania wspomaganego wyszukiwaniem (RAG).
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
