AIF-C01 · Trenowanie i dostrajanie modeli bazowych
Instruction tuning, domain adaptation, transfer learning, continued pre-training
Najważniejsze
- Instruction tuning uczy na przykładach prompt i odpowiedź, by model trzymał się formatu zadania.
- Domain adaptation uczy na tekstach z dziedziny (żargon, styl), by wyspecjalizować model.
- Transfer learning wykorzystuje wiedzę wstępnie wytrenowanego modelu jako punkt startowy do nowego zadania.
- Continued pre-training dalej trenuje na dużych nieoznaczonych tekstach, by poszerzyć wiedzę.
Źródło: https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-fine-tuning.html
Przykładowe pytania
Która metoda fine-tuningu używa przykładów promptów sparowanych z oczekiwanymi odpowiedziami?
- Domain adaptation
- Instruction tuning
- Continued pre-training
- Kwantyzacja
Pokaż odpowiedź
Odpowiedź: B. Instruction tuning
Instruction tuning uczy model odpowiadać na polecenia, używając par prompt/odpowiedź. Domain adaptation używa zwykłego tekstu z dziedziny.
Jakie są uzasadnione powody dostrajania wstępnie wytrenowanego modelu zamiast trenowania od zera (transfer learning)?
- Wiedza z pre-trainingu jest punktem startowym
- Potrzeba mniej danych i mocy obliczeniowej do zadania
- Wstępnie wytrenowane wagi są najpierw usuwane
- Gwarantuje, że model nigdy nie halucynuje
- Eliminuje potrzebę jakiejkolwiek ewaluacji
Pokaż odpowiedź
Odpowiedź: A. Wiedza z pre-trainingu jest punktem startowym, B. Potrzeba mniej danych i mocy obliczeniowej do zadania
Transfer learning wykorzystuje nauczone reprezentacje, więc potrzeba mniej danych i mocy obliczeniowej. Nie gwarantuje braku błędów, a wagi z pre-trainingu są punktem startowym, nie są odrzucane.
Prawda czy fałsz: fine-tuning zmienia wagi modelu, a dodanie przykładów do promptu (in-context learning) ich nie zmienia.
Pokaż odpowiedź
Odpowiedź: Prawda
Prawda. Fine-tuning to dalszy trening aktualizujący wagi; przykłady w kontekście zmieniają tylko wejście pojedynczego zapytania.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
