Bitzu

AIF-C01 · Trenowanie i dostrajanie modeli bazowych

Selekcja, etykiety, rozmiar, nadzór i reprezentatywność danych

Najważniejsze

  • Selekcja: usuń duplikaty, błędy i szum.
  • Etykiety: dokładne pary prompt/odpowiedź do tuningu nadzorowanego.
  • Rozmiar: od kilkuset do kilku tysięcy dobrych przykładów, w limitach modelu.
  • Nadzór: własność, prywatność, zgodność.
  • Reprezentatywność: realna mieszanka przypadków i użytkowników, by uniknąć uprzedzeń.
  • Amazon Bedrock: pliki JSONL w Amazon S3.
  • RLHF: ludzkie rankingi preferencji dopasowują odpowiedzi do oczekiwań ludzi.

Źródło: https://docs.aws.amazon.com/bedrock/latest/userguide/model-customization-prepare.html

Przykładowe pytania

Jednokrotny wybór

W jakim formacie podajesz dane treningowe do zadania fine-tuningu w Amazon Bedrock?

  1. Skoroszyt Excel
  2. JSONL, jeden obiekt JSON w wierszu
  3. Jeden duży plik PDF
  4. Wyłącznie Parquet
Pokaż odpowiedź

Odpowiedź: B. JSONL, jeden obiekt JSON w wierszu

Zbiory treningowe i walidacyjne to pliki .jsonl, jeden rekord JSON w wierszu, przechowywane w Amazon S3.

Zaznacz wszystkie poprawne

Które działania należą do dobrego przygotowania danych do fine-tuningu?

  1. Usunąć duplikaty i rekordy niskiej jakości
  2. Sprawdzić prawa do danych i poprawnie obchodzić się z danymi osobowymi
  3. Dołączyć każdy surowy wiersz logów bez przeglądu
  4. Użyć tylko najłatwiejszych przykładów
  5. Zignorować limity rozmiaru zbioru wybranego modelu
Pokaż odpowiedź

Odpowiedź: A. Usunąć duplikaty i rekordy niskiej jakości, B. Sprawdzić prawa do danych i poprawnie obchodzić się z danymi osobowymi

Selekcja usuwa szum i duplikaty; nadzór sprawdza, czy wolno legalnie użyć danych. Dodawanie niesprawdzonych danych lub danych osobowych bez kontroli szkodzi jakości i zgodności.

Prawda czy fałsz

Prawda czy fałsz: w fine-tuningu większy zbiór danych zawsze wygrywa z mniejszym, starannie wyselekcjonowanym.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Zaszumione lub błędnie oznaczone dane pogarszają wynik; mniejszy, czysty i reprezentatywny zbiór często działa lepiej niż większy bałagan.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module