Bitzu

AIF-C01 · Bezpieczeństwo i nadzór nad rozwiązaniami AI

Wykrywanie halucynacji i uziemienie

Najważniejsze

  • Halucynacja: płynna odpowiedź, która jest błędna lub nieuzasadniona.
  • Retrieval-augmented generation (RAG): uziemia model w zaufanych dokumentach; cytowanie źródeł pozwala sprawdzić twierdzenia.
  • Kontrola uziemienia kontekstowego (Bedrock Guardrails): ocenia uziemienie (poparcie w źródle) i trafność (odpowiedź na pytanie); poniżej progów blokada lub oznaczenie.
  • Walidacja wyjścia względem reguł i przegląd przez człowieka dodają pewności.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails-contextual-grounding-check.html

Przykładowe pytania

Jednokrotny wybór

W jaki sposób retrieval-augmented generation (RAG) zmniejsza halucynacje?

  1. Dostarcza modelowi zaufane dokumenty, na których ma oprzeć odpowiedź
  2. Przy każdym żądaniu douczą wagi modelu bazowego
  3. Podnosi temperaturę, by odpowiedzi były bardziej zróżnicowane
  4. Usuwa pytanie użytkownika z promptu
Pokaż odpowiedź

Odpowiedź: A. Dostarcza modelowi zaufane dokumenty, na których ma oprzeć odpowiedź

RAG wkłada pobrane dowody do promptu, by odpowiedź mogła na nich się oprzeć. Nie trenuje modelu, a wyższa temperatura zwiększa zmienność.

Zaznacz wszystkie poprawne

Jakich danych potrzebuje kontrola uziemienia kontekstowego, by ocenić odpowiedź?

  1. Tekstu źródła uziemienia
  2. Zapytania użytkownika
  3. Odpowiedzi modelu do sprawdzenia
  4. Zbioru treningowego modelu
  5. Typu GPU użytego do wnioskowania
Pokaż odpowiedź

Odpowiedź: A. Tekstu źródła uziemienia, B. Zapytania użytkownika, C. Odpowiedzi modelu do sprawdzenia

Kontrola porównuje odpowiedź ze źródłem w świetle zapytania. Dane treningowe i sprzęt nie są wejściami.

Prawda czy fałsz

Prawda czy fałsz: ustawienie progu uziemienia na 1 daje najostrzejszy prawidłowy filtr.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Progi mieszczą się w zakresie od 0 do 0.99; wartość 1 jest nieprawidłowa, bo blokowałaby całą treść.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module