Bitzu

AIF-C01 · Trenowanie i dostrajanie modeli bazowych

Pre-training, continued pre-training, fine-tuning, distillation

Najważniejsze

  • Pre-training buduje model od zera na ogromnym korpusie bez etykiet (najdroższe).
  • Continued pre-training dalej trenuje istniejący model na kolejnych nieoznaczonych tekstach z danej dziedziny.
  • Fine-tuning koryguje wagi na mniejszym zbiorze z etykietami pod konkretne zadanie.
  • Distillation przenosi zachowanie dużego modelu-nauczyciela do mniejszego, tańszego modelu-ucznia.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/custom-models.html

Przykładowe pytania

Jednokrotny wybór

Które podejście trenuje model bazowy od zera na bardzo dużym korpusie bez etykiet?

  1. Fine-tuning
  2. Pre-training
  3. Distillation
  4. Inżynieria promptów
Pokaż odpowiedź

Odpowiedź: B. Pre-training

Pre-training startuje od losowo zainicjowanych wag. Fine-tuning i distillation zaczynają od już wytrenowanego modelu.

Zaznacz wszystkie poprawne

Które stwierdzenia o distillation w Amazon Bedrock są poprawne?

  1. Większy model-nauczyciel tworzy odpowiedzi używane do trenowania ucznia
  2. Wynikiem jest mniejszy, szybszy i tańszy model do konkretnego zastosowania
  3. Wymaga wieloterabajtowego korpusu tekstu bez etykiet
  4. Zwiększa liczbę parametrów ucznia
  5. Buduje model z losowo zainicjowanych wag
Pokaż odpowiedź

Odpowiedź: A. Większy model-nauczyciel tworzy odpowiedzi używane do trenowania ucznia, B. Wynikiem jest mniejszy, szybszy i tańszy model do konkretnego zastosowania

Model-nauczyciel generuje odpowiedzi na Twoje prompty, które dostrajają mniejszego ucznia. To nie jest trening od zera i wymaga promptów, a nie ogromnego korpusu.

Prawda czy fałsz

Prawda czy fałsz: fine-tuning modelu bazowego kosztuje mniej więcej tyle, co pre-training od zera.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Fine-tuning startuje od wytrenowanych wag i używa stosunkowo małego zbioru, więc jest znacznie tańszy niż pre-training.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module