Bitzu

AIF-C01 · Trenowanie i dostrajanie modeli bazowych

Instruction tuning, domain adaptation, transfer learning, continued pre-training

Najważniejsze

  • Instruction tuning uczy na przykładach prompt i odpowiedź, by model trzymał się formatu zadania.
  • Domain adaptation uczy na tekstach z dziedziny (żargon, styl), by wyspecjalizować model.
  • Transfer learning wykorzystuje wiedzę wstępnie wytrenowanego modelu jako punkt startowy do nowego zadania.
  • Continued pre-training dalej trenuje na dużych nieoznaczonych tekstach, by poszerzyć wiedzę.

Źródło: https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-fine-tuning.html

Przykładowe pytania

Jednokrotny wybór

Która metoda fine-tuningu używa przykładów promptów sparowanych z oczekiwanymi odpowiedziami?

  1. Domain adaptation
  2. Instruction tuning
  3. Continued pre-training
  4. Kwantyzacja
Pokaż odpowiedź

Odpowiedź: B. Instruction tuning

Instruction tuning uczy model odpowiadać na polecenia, używając par prompt/odpowiedź. Domain adaptation używa zwykłego tekstu z dziedziny.

Zaznacz wszystkie poprawne

Jakie są uzasadnione powody dostrajania wstępnie wytrenowanego modelu zamiast trenowania od zera (transfer learning)?

  1. Wiedza z pre-trainingu jest punktem startowym
  2. Potrzeba mniej danych i mocy obliczeniowej do zadania
  3. Wstępnie wytrenowane wagi są najpierw usuwane
  4. Gwarantuje, że model nigdy nie halucynuje
  5. Eliminuje potrzebę jakiejkolwiek ewaluacji
Pokaż odpowiedź

Odpowiedź: A. Wiedza z pre-trainingu jest punktem startowym, B. Potrzeba mniej danych i mocy obliczeniowej do zadania

Transfer learning wykorzystuje nauczone reprezentacje, więc potrzeba mniej danych i mocy obliczeniowej. Nie gwarantuje braku błędów, a wagi z pre-trainingu są punktem startowym, nie są odrzucane.

Prawda czy fałsz

Prawda czy fałsz: fine-tuning zmienia wagi modelu, a dodanie przykładów do promptu (in-context learning) ich nie zmienia.

Pokaż odpowiedź

Odpowiedź: Prawda

Prawda. Fine-tuning to dalszy trening aktualizujący wagi; przykłady w kontekście zmieniają tylko wejście pojedynczego zapytania.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module