Bitzu

AIF-C01 · Ocena modeli bazowych

Ocena aplikacji opartych na FM i zgodność z celami biznesowymi

Najważniejsze

  • Oceniaj całą aplikację, nie tylko model.
  • Wyszukiwanie w RAG: czy fragmenty są trafne i wystarczające?
  • Generowanie w RAG: czy odpowiedź poprawna, kompletna, oparta na pobranych danych?
  • Agenty i przepływy: czy zadania kończą się poprawnie i sprawnie?
  • Biznes: wzrost produktywności, odsetek ukończonych zadań, satysfakcja użytkowników, koszt na interakcję.
  • Lider benchmarku może zawieść: za drogi, za wolny, nieukończone zadania.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation-kb.html

Przykładowe pytania

Jednokrotny wybór

Która metryka najbardziej bezpośrednio pokazuje, ilu użytkowników faktycznie kończy to, po co przyszli do asystenta AI?

  1. Średnia strata treningowa
  2. Odsetek ukończonych zadań
  3. Liczba parametrów modelu
  4. Rozmiar słownika tokenizera
Pokaż odpowiedź

Odpowiedź: B. Odsetek ukończonych zadań

Odsetek ukończonych zadań liczy zakończone zadania. Pozostałe opcje to miary techniczne lub związane z rozwojem modelu, a nie wynik biznesowy.

Zaznacz wszystkie poprawne

Które z poniższych są metrykami biznesowymi aplikacji opartej na FM?

  1. Koszt na interakcję
  2. Wymiar wektora embeddingu
  3. Wskaźnik satysfakcji użytkowników
  4. Wynik ROUGE na laboratoryjnym zbiorze
  5. Liczba warstw sieci
Pokaż odpowiedź

Odpowiedź: A. Koszt na interakcję, C. Wskaźnik satysfakcji użytkowników

Koszt na interakcję i satysfakcja użytkowników wiążą system z wartością biznesową. ROUGE i wymiar embeddingu to szczegóły techniczne lub modelowe, które same nie pokazują wartości biznesowej.

Prawda czy fałsz

Prawda czy fałsz: model z najlepszym wynikiem benchmarku spośród kandydatów jest automatycznie najlepszym wyborem dla biznesu.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Liczą się też koszt, opóźnienie, satysfakcja użytkowników i ukończone zadania; nieco słabszy, ale tańszy i szybszy model może lepiej służyć biznesowi.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module