Bitzu

AIF-C01 · Ocena modeli bazowych

Podejścia do oceny modeli bazowych

Najważniejsze

  • Ocena automatyczna: model na zbiorze promptów, liczone wyniki (szybko, tanio, powtarzalnie).
  • Zbiory benchmarkowe: dobrane prompty z odpowiedziami wzorcowymi, uczciwe porównanie modeli.
  • Human-in-the-loop: ludzie oceniają styl, użyteczność i zgodność z marką, czego wyniki nie uchwycą.
  • Amazon Bedrock Model Evaluation: zadania programowe (zbiory wbudowane lub własne), z ludzkimi oceniającymi, z modelem-sędzią (drugi LLM ocenia).

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation.html

Przykładowe pytania

Jednokrotny wybór

Jaki jest główny cel zbioru benchmarkowego w ocenie modelu?

  1. Dostrojenie modelu do nowej wiedzy
  2. Porównanie modeli na identycznych promptach ze znanymi odpowiedziami wzorcowymi
  3. Wyeliminowanie jakiejkolwiek oceny przez ludzi
  4. Obniżenie kosztu inferencji modelu
Pokaż odpowiedź

Odpowiedź: B. Porównanie modeli na identycznych promptach ze znanymi odpowiedziami wzorcowymi

Benchmark daje każdemu modelowi te same prompty i odpowiedzi wzorcowe, więc wyniki są porównywalne. Nie trenuje modelu i nie zastępuje ludzkiej oceny tonu.

Zaznacz wszystkie poprawne

Które z poniższych są zaletami oceny automatycznej w porównaniu z oceną ludzką?

  1. Jest powtarzalna przy tym samym zbiorze i ustawieniach
  2. Lepiej niż ludzie ocenia subiektywny ton
  3. Szybko skaluje się do tysięcy promptów
  4. Wymaga ekspertów dziedzinowych do oceny każdej odpowiedzi
  5. Gwarantuje, że model jest wolny od uprzedzeń
Pokaż odpowiedź

Odpowiedź: A. Jest powtarzalna przy tym samym zbiorze i ustawieniach, C. Szybko skaluje się do tysięcy promptów

Zadania automatyczne są szybkie, tanie i powtarzalne na dużych zbiorach. Ich mocną stroną nie jest ocena niuansów jak ton czy kreatywność ani brak potrzeby recenzentów.

Prawda czy fałsz

Prawda czy fałsz: wysoki wynik w publicznym benchmarku gwarantuje, że model poradzi sobie dobrze z zadaniami Twojej firmy.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Benchmark mierzy umiejętności na własnych danych; Twoja dziedzina, prompty i ton mogą się różnić, dlatego warto testować też na zbiorze zbudowanym z własnego przypadku użycia.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module