Bitzu

AIF-C01 · Projektowanie aplikacji z modelami bazowymi

Jak podejścia do dostosowania modelu bazowego wypadają pod względem kosztu i nakładu pracy?

Najważniejsze

  • Od najtańszego; wyżej tylko, gdy wymaga tego jakość.
  • Uczenie w kontekście: przykłady w prompcie, bez treningu, płacisz za dłuższe prompty.
  • RAG: infrastruktura wyszukiwania, magazyn wektorowy, bez treningu.
  • Fine-tuning: dane z etykietami, zadanie treningowe, hosting własnego modelu.
  • Destylacja: mniejszy uczeń trenowany na odpowiedziach większego nauczyciela, tańszy w użyciu.
  • Pre-training: ogromne dane i obliczenia, rzadko uzasadnione.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/custom-models.html

Przykładowe pytania

Jednokrotny wybór

Które podejście do dostosowania nie wymaga zadania treningowego i tylko dodaje przykłady do promptu?

  1. Pre-training
  2. Fine-tuning
  3. Destylacja modelu
  4. Uczenie w kontekście
Pokaż odpowiedź

Odpowiedź: D. Uczenie w kontekście

Uczenie w kontekście umieszcza instrukcje i przykłady bezpośrednio w prompcie podczas inferencji. Fine-tuning i pre-training wymagają treningu, a destylacja trenuje model-ucznia.

Zaznacz wszystkie poprawne

Które stwierdzenia o kosztach dostosowania modelu są poprawne?

  1. Fine-tuning jest rozliczany za przetworzone tokeny treningowe i za przechowywanie własnego modelu
  2. Pre-training to zwykle najtańszy sposób dodania wiedzy firmowej
  3. Przykłady w kontekście omijają trening, ale zwiększają liczbę tokenów wejścia przy każdym żądaniu
  4. RAG wymaga pełnego treningu, zanim zacznie odpowiadać
  5. Dostosowanie nigdy nie dodaje kosztu ponad inferencję
Pokaż odpowiedź

Odpowiedź: A. Fine-tuning jest rozliczany za przetworzone tokeny treningowe i za przechowywanie własnego modelu, C. Przykłady w kontekście omijają trening, ale zwiększają liczbę tokenów wejścia przy każdym żądaniu

Dostosowanie oparte na treningu jest rozliczane za tokeny przetworzone w treningu (tokeny danych razy liczba epok) oraz za przechowywanie modelu, więc dodaje koszt ponad inferencję. Uczenie w kontekście nie wymaga treningu, ale dłuższe prompty oznaczają więcej tokenów wejścia w każdym wywołaniu. Pre-training nie jest najtańszą drogą, a RAG nie wymaga treningu.

Prawda czy fałsz

Fine-tuning to najlepszy sposób, by model był na bieżąco z dokumentami zmieniającymi się codziennie.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Fine-tuning utrwala stan danych treningowych, a każde odświeżenie to kolejny trening. RAG lepiej nadaje się do szybko zmieniającej się wiedzy, bo wystarczy ponownie zindeksować zmienione dokumenty.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module