AIF-C01 · Projektowanie aplikacji z modelami bazowymi
Czym jest Retrieval Augmented Generation (RAG) i jak implementują je Amazon Bedrock Knowledge Bases?
Najważniejsze
- RAG opiera model na Twoich danych bez jego douczania.
- Ingest: dokumenty są dzielone na fragmenty, zamieniane na embeddingi i zapisywane w magazynie wektorowym.
- Czas pytania: zapytanie jest zamieniane na embedding, podobne fragmenty są pobierane i dodawane do promptu, a model odpowiada na podstawie tego kontekstu.
- Knowledge Bases: automatyzują ingest, embeddingi i wyszukiwanie; mogą zwracać cytowania źródeł.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/kb-how-it-works.html
Przykładowe pytania
Jaki główny problem rozwiązuje RAG?
- Trwale douczą model na nowych dokumentach
- Sprawia, że każda odpowiedź jest szybsza niż zwykłe wywołanie modelu
- Pozwala modelowi odpowiadać na podstawie Twoich aktualnych dokumentów
- Eliminuje potrzebę jakichkolwiek embeddingów
Pokaż odpowiedź
Odpowiedź: C. Pozwala modelowi odpowiadać na podstawie Twoich aktualnych dokumentów
RAG dostarcza modelowi trafne, aktualne prywatne treści w czasie zapytania, więc odpowiedzi odzwierciedlają Twoje dane. Nie zmienia wag modelu, nie przyspiesza go i nie eliminuje potrzeby magazynu wektorowego.
Które kroki są częścią tego, jak baza wiedzy przygotowuje i wykorzystuje dane w przepływie RAG?
- Dzielenie dokumentów źródłowych na fragmenty
- Zamiana fragmentów na embeddingi zapisane w indeksie wektorowym
- Aktualizacja wag modelu bazowego dokumentami
- Usunięcie oryginalnych dokumentów po ingeście
- Dodanie pobranych fragmentów do promptu przed generowaniem
Pokaż odpowiedź
Odpowiedź: A. Dzielenie dokumentów źródłowych na fragmenty, B. Zamiana fragmentów na embeddingi zapisane w indeksie wektorowym, E. Dodanie pobranych fragmentów do promptu przed generowaniem
Dokumenty są dzielone na fragmenty i zamieniane na embeddingi zapisane w indeksie wektorowym, a w czasie zapytania zapytanie jest zamieniane na embedding i dopasowywane, po czym pobrany tekst wzbogaca prompt. Wagi modelu nie są aktualizowane, a dokumenty nie są usuwane po ingeście.
Skoro RAG daje modelowi trafne dokumenty, gwarantuje, że odpowiedź nigdy nie będzie zawierać halucynacji.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. RAG ogranicza halucynacje, opierając odpowiedź na pobranym tekście, ale słabe wyszukiwanie albo model ignorujący kontekst nadal mogą dać błędne twierdzenia. Cytowania pomagają użytkownikom to zweryfikować.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
