AIF-C01 · Bezpieczeństwo i nadzór nad rozwiązaniami AI
Zagrożenia bezpieczeństwa i prywatności w systemach AI
Najważniejsze
- Prompt injection: nakłania model do zignorowania instrukcji, przez dane użytkownika lub pobrane treści.
- Wyciek danych: odpowiedzi ujawniają dane treningowe, prompty systemowe lub informacje innych użytkowników.
- Toksyczne treści: szkodzą użytkownikom i marce.
- Obrona warstwowa: szyfrowanie w spoczynku i w tranzycie, filtrowanie i walidacja wejść oraz wyjść (np. Bedrock Guardrails), najmniejsze uprawnienia, logi audytowe interakcji AI.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails.html
Przykładowe pytania
Czym jest prompt injection?
- Spreparowane dane wejściowe, które każą modelowi zignorować lub nadpisać zamierzone instrukcje
- Kompresja promptu w celu obniżenia kosztu tokenów
- Dodawanie przykładów do promptu dla większej trafności
- Szyfrowanie promptu przed wysłaniem
Pokaż odpowiedź
Odpowiedź: A. Spreparowane dane wejściowe, które każą modelowi zignorować lub nadpisać zamierzone instrukcje
Prompt injection manipuluje modelem przez dane wejściowe. Kompresja, przykłady few-shot i szyfrowanie to uprawnione techniki, nie ataki.
Które kontrole pomagają zapobiegać wyciekowi wrażliwych danych przez aplikację generatywnej AI?
- Maskowanie PII w odpowiedziach modelu filtrami informacji wrażliwych
- Dostęp warstwy wyszukiwania tylko do dokumentów, które użytkownik może widzieć
- Szyfrowanie ruchu do punktu końcowego modelu w tranzycie
- Podniesienie temperatury modelu
- Wyłączenie wszelkiego logowania, by ukryć dane
Pokaż odpowiedź
Odpowiedź: A. Maskowanie PII w odpowiedziach modelu filtrami informacji wrażliwych, B. Dostęp warstwy wyszukiwania tylko do dokumentów, które użytkownik może widzieć, C. Szyfrowanie ruchu do punktu końcowego modelu w tranzycie
Maskowanie wyjścia, ograniczony dostęp wyszukiwania i szyfrowanie w tranzycie zamykają różne drogi wycieku. Temperatura nie wpływa na bezpieczeństwo, a usunięcie logów odbiera tylko widoczność.
Prawda czy fałsz: szyfrowanie danych w spoczynku wystarcza, by powstrzymać ataki prompt injection.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Szyfrowanie chroni przechowywane dane przed nieuprawnionym odczytem. Prompt injection wchodzi legalnym wejściem, więc wymaga filtrowania wejścia i wyjścia oraz najmniejszych uprawnień.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
