AIF-C01 · Ocena modeli bazowych
Podejścia do oceny modeli bazowych
Najważniejsze
- Ocena automatyczna: model na zbiorze promptów, liczone wyniki (szybko, tanio, powtarzalnie).
- Zbiory benchmarkowe: dobrane prompty z odpowiedziami wzorcowymi, uczciwe porównanie modeli.
- Human-in-the-loop: ludzie oceniają styl, użyteczność i zgodność z marką, czego wyniki nie uchwycą.
- Amazon Bedrock Model Evaluation: zadania programowe (zbiory wbudowane lub własne), z ludzkimi oceniającymi, z modelem-sędzią (drugi LLM ocenia).
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation.html
Przykładowe pytania
Jaki jest główny cel zbioru benchmarkowego w ocenie modelu?
- Dostrojenie modelu do nowej wiedzy
- Porównanie modeli na identycznych promptach ze znanymi odpowiedziami wzorcowymi
- Wyeliminowanie jakiejkolwiek oceny przez ludzi
- Obniżenie kosztu inferencji modelu
Pokaż odpowiedź
Odpowiedź: B. Porównanie modeli na identycznych promptach ze znanymi odpowiedziami wzorcowymi
Benchmark daje każdemu modelowi te same prompty i odpowiedzi wzorcowe, więc wyniki są porównywalne. Nie trenuje modelu i nie zastępuje ludzkiej oceny tonu.
Które z poniższych są zaletami oceny automatycznej w porównaniu z oceną ludzką?
- Jest powtarzalna przy tym samym zbiorze i ustawieniach
- Lepiej niż ludzie ocenia subiektywny ton
- Szybko skaluje się do tysięcy promptów
- Wymaga ekspertów dziedzinowych do oceny każdej odpowiedzi
- Gwarantuje, że model jest wolny od uprzedzeń
Pokaż odpowiedź
Odpowiedź: A. Jest powtarzalna przy tym samym zbiorze i ustawieniach, C. Szybko skaluje się do tysięcy promptów
Zadania automatyczne są szybkie, tanie i powtarzalne na dużych zbiorach. Ich mocną stroną nie jest ocena niuansów jak ton czy kreatywność ani brak potrzeby recenzentów.
Prawda czy fałsz: wysoki wynik w publicznym benchmarku gwarantuje, że model poradzi sobie dobrze z zadaniami Twojej firmy.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Benchmark mierzy umiejętności na własnych danych; Twoja dziedzina, prompty i ton mogą się różnić, dlatego warto testować też na zbiorze zbudowanym z własnego przypadku użycia.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
