AIF-C01 · Bezpieczeństwo i nadzór nad rozwiązaniami AI
Wykrywanie halucynacji i uziemienie
Najważniejsze
- Halucynacja: płynna odpowiedź, która jest błędna lub nieuzasadniona.
- Retrieval-augmented generation (RAG): uziemia model w zaufanych dokumentach; cytowanie źródeł pozwala sprawdzić twierdzenia.
- Kontrola uziemienia kontekstowego (Bedrock Guardrails): ocenia uziemienie (poparcie w źródle) i trafność (odpowiedź na pytanie); poniżej progów blokada lub oznaczenie.
- Walidacja wyjścia względem reguł i przegląd przez człowieka dodają pewności.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails-contextual-grounding-check.html
Przykładowe pytania
W jaki sposób retrieval-augmented generation (RAG) zmniejsza halucynacje?
- Dostarcza modelowi zaufane dokumenty, na których ma oprzeć odpowiedź
- Przy każdym żądaniu douczą wagi modelu bazowego
- Podnosi temperaturę, by odpowiedzi były bardziej zróżnicowane
- Usuwa pytanie użytkownika z promptu
Pokaż odpowiedź
Odpowiedź: A. Dostarcza modelowi zaufane dokumenty, na których ma oprzeć odpowiedź
RAG wkłada pobrane dowody do promptu, by odpowiedź mogła na nich się oprzeć. Nie trenuje modelu, a wyższa temperatura zwiększa zmienność.
Jakich danych potrzebuje kontrola uziemienia kontekstowego, by ocenić odpowiedź?
- Tekstu źródła uziemienia
- Zapytania użytkownika
- Odpowiedzi modelu do sprawdzenia
- Zbioru treningowego modelu
- Typu GPU użytego do wnioskowania
Pokaż odpowiedź
Odpowiedź: A. Tekstu źródła uziemienia, B. Zapytania użytkownika, C. Odpowiedzi modelu do sprawdzenia
Kontrola porównuje odpowiedź ze źródłem w świetle zapytania. Dane treningowe i sprzęt nie są wejściami.
Prawda czy fałsz: ustawienie progu uziemienia na 1 daje najostrzejszy prawidłowy filtr.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Progi mieszczą się w zakresie od 0 do 0.99; wartość 1 jest nieprawidłowa, bo blokowałaby całą treść.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
