AIF-C01 · Odpowiedzialna i wyjaśnialna AI
Wykrywanie i monitorowanie biasu oraz wiarygodności
Najważniejsze
- Typowe metody: analiza jakości etykiet (czy etykiety są poprawne i spójne?), audyty z udziałem ludzi i przegląd wyników oraz analiza podgrup (porównanie metryk dla każdej grupy demograficznej).
- Amazon SageMaker Clarify liczy metryki biasu na danych przed treningiem i na predykcjach po treningu, wyjaśnia predykcje za pomocą atrybucji cech i może monitorować wdrożone modele pod kątem dryfu biasu.
Źródło: https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-configure-processing-jobs.html
Przykładowe pytania
Na czym polega analiza podgrup?
- Na osobnym porównaniu metryk modelu dla każdej grupy demograficznej
- Na podziale modelu na kilka GPU
- Na osobnym szyfrowaniu każdej grupy rekordów
- Na uśrednieniu wszystkich metryk do jednej oceny
Pokaż odpowiedź
Odpowiedź: A. Na osobnym porównaniu metryk modelu dla każdej grupy demograficznej
Analiza podgrup rozbija wyniki na grupy, dzięki czemu widać różnice ukryte w średniej.
Które z poniższych są możliwościami Amazon SageMaker Clarify?
- Metryki biasu przed treningiem dla zbioru danych
- Konfiguracja tablic routingu VPC
- Metryki biasu po treningu na podstawie predykcji modelu
- Atrybucje cech wyjaśniające predykcje
- Zatrudnianie zespołu do etykietowania obrazów
Pokaż odpowiedź
Odpowiedź: A. Metryki biasu przed treningiem dla zbioru danych, C. Metryki biasu po treningu na podstawie predykcji modelu, D. Atrybucje cech wyjaśniające predykcje
Clarify mierzy bias przed i po treningu oraz liczy atrybucje cech. Nie zarządza trasami VPC ani nie zapewnia zespołów do etykietowania.
Prawda czy fałsz: gdy model przejdzie kontrolę biasu przed wdrożeniem, monitorowanie biasu nie jest już potrzebne.
Pokaż odpowiedź
Odpowiedź: Fałsz
Dane i populacje się zmieniają, więc bias może dryfować po wdrożeniu; monitorowanie dryfu biasu trwa w produkcji.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
