AIF-C01 · Ocena modeli bazowych
ROUGE, BLEU, BERTScore i LLM-as-a-judge
Najważniejsze
- ROUGE: nakładanie n-gramów ze wzorcem, pełność (recall); klasyka streszczeń.
- BLEU: nakładanie n-gramów, precyzja, kara za krótkość; klasyka tłumaczenia maszynowego.
- BERTScore: porównuje embeddingi, nagradza podobne znaczenie przy innych słowach.
- LLM-as-a-judge: inny model ocenia wyniki według kryteriów (ton, użyteczność); może być stronniczy, zwiększa koszt.
- Metryki nakładania: wymagają tekstów wzorcowych, nie wychwytują parafraz.
Przykładowe pytania
Która metryka jest tradycyjnie kojarzona z oceną streszczania tekstu?
- BLEU
- ROUGE
- Percentyl opóźnienia
- Perplexity tokenizera
Pokaż odpowiedź
Odpowiedź: B. ROUGE
ROUGE mierzy nakładanie się (głównie recall) wygenerowanego streszczenia i streszczeń wzorcowych. BLEU to klasyczna metryka tłumaczeń; pozostałe opcje nie są metrykami jakości tekstu.
Które stwierdzenia o ROUGE i BLEU są prawdziwe?
- Obie porównują wygenerowany tekst z wzorcowym za pomocą nakładania n-gramów
- Obie rozumieją znaczenie i ignorują dokładne słownictwo
- Obie wymagają tekstów wzorcowych do wyliczenia wyniku
- Obie mierzą koszt inferencji na żądanie
- Obie potrzebują drugiego LLM jako oceniającego
Pokaż odpowiedź
Odpowiedź: A. Obie porównują wygenerowany tekst z wzorcowym za pomocą nakładania n-gramów, C. Obie wymagają tekstów wzorcowych do wyliczenia wyniku
Obie porównują nakładanie n-gramów z tekstem wzorcowym, więc potrzebują wzorców. Żadna nie rozumie znaczenia, dlatego parafrazy dostają niskie wyniki, i żadna nie mierzy kosztu.
Prawda czy fałsz: skoro sędzia LLM to też model, jego oceny są zawsze obiektywne i wolne od stronniczości.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Modele-sędziowie mogą faworyzować dłuższe odpowiedzi, własny styl albo pozycję odpowiedzi, więc trzeba je kalibrować względem ocen ludzi.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
