AIF-C01 · Projektowanie aplikacji z modelami bazowymi
Jak podejścia do dostosowania modelu bazowego wypadają pod względem kosztu i nakładu pracy?
Najważniejsze
- Od najtańszego; wyżej tylko, gdy wymaga tego jakość.
- Uczenie w kontekście: przykłady w prompcie, bez treningu, płacisz za dłuższe prompty.
- RAG: infrastruktura wyszukiwania, magazyn wektorowy, bez treningu.
- Fine-tuning: dane z etykietami, zadanie treningowe, hosting własnego modelu.
- Destylacja: mniejszy uczeń trenowany na odpowiedziach większego nauczyciela, tańszy w użyciu.
- Pre-training: ogromne dane i obliczenia, rzadko uzasadnione.
Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/custom-models.html
Przykładowe pytania
Które podejście do dostosowania nie wymaga zadania treningowego i tylko dodaje przykłady do promptu?
- Pre-training
- Fine-tuning
- Destylacja modelu
- Uczenie w kontekście
Pokaż odpowiedź
Odpowiedź: D. Uczenie w kontekście
Uczenie w kontekście umieszcza instrukcje i przykłady bezpośrednio w prompcie podczas inferencji. Fine-tuning i pre-training wymagają treningu, a destylacja trenuje model-ucznia.
Które stwierdzenia o kosztach dostosowania modelu są poprawne?
- Fine-tuning jest rozliczany za przetworzone tokeny treningowe i za przechowywanie własnego modelu
- Pre-training to zwykle najtańszy sposób dodania wiedzy firmowej
- Przykłady w kontekście omijają trening, ale zwiększają liczbę tokenów wejścia przy każdym żądaniu
- RAG wymaga pełnego treningu, zanim zacznie odpowiadać
- Dostosowanie nigdy nie dodaje kosztu ponad inferencję
Pokaż odpowiedź
Odpowiedź: A. Fine-tuning jest rozliczany za przetworzone tokeny treningowe i za przechowywanie własnego modelu, C. Przykłady w kontekście omijają trening, ale zwiększają liczbę tokenów wejścia przy każdym żądaniu
Dostosowanie oparte na treningu jest rozliczane za tokeny przetworzone w treningu (tokeny danych razy liczba epok) oraz za przechowywanie modelu, więc dodaje koszt ponad inferencję. Uczenie w kontekście nie wymaga treningu, ale dłuższe prompty oznaczają więcej tokenów wejścia w każdym wywołaniu. Pre-training nie jest najtańszą drogą, a RAG nie wymaga treningu.
Fine-tuning to najlepszy sposób, by model był na bieżąco z dokumentami zmieniającymi się codziennie.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Fine-tuning utrwala stan danych treningowych, a każde odświeżenie to kolejny trening. RAG lepiej nadaje się do szybko zmieniającej się wiedzy, bo wystarczy ponownie zindeksować zmienione dokumenty.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Więcej tematów AIF-C01 w tym module
- Jak wybrać model bazowy do aplikacji?
- Za co odpowiadają temperature, top-p, top-k i maksymalna długość wyjścia?
- Czym jest Retrieval Augmented Generation (RAG) i jak implementują je Amazon Bedrock Knowledge Bases?
- Gdzie w AWS można przechowywać i przeszukiwać embeddingi?
- Czym jest agent AI i do czego się nadaje?