Bitzu

AIF-C01 · Bezpieczeństwo i nadzór nad rozwiązaniami AI

Zagrożenia bezpieczeństwa i prywatności w systemach AI

Najważniejsze

  • Prompt injection: nakłania model do zignorowania instrukcji, przez dane użytkownika lub pobrane treści.
  • Wyciek danych: odpowiedzi ujawniają dane treningowe, prompty systemowe lub informacje innych użytkowników.
  • Toksyczne treści: szkodzą użytkownikom i marce.
  • Obrona warstwowa: szyfrowanie w spoczynku i w tranzycie, filtrowanie i walidacja wejść oraz wyjść (np. Bedrock Guardrails), najmniejsze uprawnienia, logi audytowe interakcji AI.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails.html

Przykładowe pytania

Jednokrotny wybór

Czym jest prompt injection?

  1. Spreparowane dane wejściowe, które każą modelowi zignorować lub nadpisać zamierzone instrukcje
  2. Kompresja promptu w celu obniżenia kosztu tokenów
  3. Dodawanie przykładów do promptu dla większej trafności
  4. Szyfrowanie promptu przed wysłaniem
Pokaż odpowiedź

Odpowiedź: A. Spreparowane dane wejściowe, które każą modelowi zignorować lub nadpisać zamierzone instrukcje

Prompt injection manipuluje modelem przez dane wejściowe. Kompresja, przykłady few-shot i szyfrowanie to uprawnione techniki, nie ataki.

Zaznacz wszystkie poprawne

Które kontrole pomagają zapobiegać wyciekowi wrażliwych danych przez aplikację generatywnej AI?

  1. Maskowanie PII w odpowiedziach modelu filtrami informacji wrażliwych
  2. Dostęp warstwy wyszukiwania tylko do dokumentów, które użytkownik może widzieć
  3. Szyfrowanie ruchu do punktu końcowego modelu w tranzycie
  4. Podniesienie temperatury modelu
  5. Wyłączenie wszelkiego logowania, by ukryć dane
Pokaż odpowiedź

Odpowiedź: A. Maskowanie PII w odpowiedziach modelu filtrami informacji wrażliwych, B. Dostęp warstwy wyszukiwania tylko do dokumentów, które użytkownik może widzieć, C. Szyfrowanie ruchu do punktu końcowego modelu w tranzycie

Maskowanie wyjścia, ograniczony dostęp wyszukiwania i szyfrowanie w tranzycie zamykają różne drogi wycieku. Temperatura nie wpływa na bezpieczeństwo, a usunięcie logów odbiera tylko widoczność.

Prawda czy fałsz

Prawda czy fałsz: szyfrowanie danych w spoczynku wystarcza, by powstrzymać ataki prompt injection.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Szyfrowanie chroni przechowywane dane przed nieuprawnionym odczytem. Prompt injection wchodzi legalnym wejściem, więc wymaga filtrowania wejścia i wyjścia oraz najmniejszych uprawnień.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module