Bitzu

AIF-C01 · Ocena modeli bazowych

ROUGE, BLEU, BERTScore i LLM-as-a-judge

Najważniejsze

  • ROUGE: nakładanie n-gramów ze wzorcem, pełność (recall); klasyka streszczeń.
  • BLEU: nakładanie n-gramów, precyzja, kara za krótkość; klasyka tłumaczenia maszynowego.
  • BERTScore: porównuje embeddingi, nagradza podobne znaczenie przy innych słowach.
  • LLM-as-a-judge: inny model ocenia wyniki według kryteriów (ton, użyteczność); może być stronniczy, zwiększa koszt.
  • Metryki nakładania: wymagają tekstów wzorcowych, nie wychwytują parafraz.

Przykładowe pytania

Jednokrotny wybór

Która metryka jest tradycyjnie kojarzona z oceną streszczania tekstu?

  1. BLEU
  2. ROUGE
  3. Percentyl opóźnienia
  4. Perplexity tokenizera
Pokaż odpowiedź

Odpowiedź: B. ROUGE

ROUGE mierzy nakładanie się (głównie recall) wygenerowanego streszczenia i streszczeń wzorcowych. BLEU to klasyczna metryka tłumaczeń; pozostałe opcje nie są metrykami jakości tekstu.

Zaznacz wszystkie poprawne

Które stwierdzenia o ROUGE i BLEU są prawdziwe?

  1. Obie porównują wygenerowany tekst z wzorcowym za pomocą nakładania n-gramów
  2. Obie rozumieją znaczenie i ignorują dokładne słownictwo
  3. Obie wymagają tekstów wzorcowych do wyliczenia wyniku
  4. Obie mierzą koszt inferencji na żądanie
  5. Obie potrzebują drugiego LLM jako oceniającego
Pokaż odpowiedź

Odpowiedź: A. Obie porównują wygenerowany tekst z wzorcowym za pomocą nakładania n-gramów, C. Obie wymagają tekstów wzorcowych do wyliczenia wyniku

Obie porównują nakładanie n-gramów z tekstem wzorcowym, więc potrzebują wzorców. Żadna nie rozumie znaczenia, dlatego parafrazy dostają niskie wyniki, i żadna nie mierzy kosztu.

Prawda czy fałsz

Prawda czy fałsz: skoro sędzia LLM to też model, jego oceny są zawsze obiektywne i wolne od stronniczości.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Modele-sędziowie mogą faworyzować dłuższe odpowiedzi, własny styl albo pozycję odpowiedzi, więc trzeba je kalibrować względem ocen ludzi.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module