AIF-C01 · Ocena modeli bazowych
Ocena aplikacji opartych na FM i zgodność z celami biznesowymi
Najważniejsze
- Oceniaj całą aplikację, nie tylko model.
- Wyszukiwanie w RAG: czy fragmenty są trafne i wystarczające?
- Generowanie w RAG: czy odpowiedź poprawna, kompletna, oparta na pobranych danych?
- Agenty i przepływy: czy zadania kończą się poprawnie i sprawnie?
- Biznes: wzrost produktywności, odsetek ukończonych zadań, satysfakcja użytkowników, koszt na interakcję.
- Lider benchmarku może zawieść: za drogi, za wolny, nieukończone zadania.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation-kb.html
Przykładowe pytania
Która metryka najbardziej bezpośrednio pokazuje, ilu użytkowników faktycznie kończy to, po co przyszli do asystenta AI?
- Średnia strata treningowa
- Odsetek ukończonych zadań
- Liczba parametrów modelu
- Rozmiar słownika tokenizera
Pokaż odpowiedź
Odpowiedź: B. Odsetek ukończonych zadań
Odsetek ukończonych zadań liczy zakończone zadania. Pozostałe opcje to miary techniczne lub związane z rozwojem modelu, a nie wynik biznesowy.
Które z poniższych są metrykami biznesowymi aplikacji opartej na FM?
- Koszt na interakcję
- Wymiar wektora embeddingu
- Wskaźnik satysfakcji użytkowników
- Wynik ROUGE na laboratoryjnym zbiorze
- Liczba warstw sieci
Pokaż odpowiedź
Odpowiedź: A. Koszt na interakcję, C. Wskaźnik satysfakcji użytkowników
Koszt na interakcję i satysfakcja użytkowników wiążą system z wartością biznesową. ROUGE i wymiar embeddingu to szczegóły techniczne lub modelowe, które same nie pokazują wartości biznesowej.
Prawda czy fałsz: model z najlepszym wynikiem benchmarku spośród kandydatów jest automatycznie najlepszym wyborem dla biznesu.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Liczą się też koszt, opóźnienie, satysfakcja użytkowników i ukończone zadania; nieco słabszy, ale tańszy i szybszy model może lepiej służyć biznesowi.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
