AIF-C01 · Mocne strony, ograniczenia GenAI i usługi AWS
Wybór modelu GenAI
Najważniejsze
- Zacznij od potrzeby biznesowej, potem zważ: typ modelu i modalność (tekst, obraz, embeddingi), możliwości (rozumowanie, języki, okno kontekstu), jakość na własnych danych, ograniczenia (lokalizacja danych, licencja), zgodność z regulacjami, koszt za token, opóźnienie i złożoność integracji.
- Największy model rzadko jest najlepszy; zwykle wygrywa najtańszy spełniający próg jakości.
Przykładowe pytania
Który czynnik opisuje, jak długo użytkownik czeka na odpowiedź modelu?
- Opóźnienie (latency)
- Okno kontekstu
- Rodzaj licencji
- Modalność
Pokaż odpowiedź
Odpowiedź: A. Opóźnienie (latency)
Opóźnienie to czas odpowiedzi. Przepustowość to wolumen na czas, okno kontekstu to rozmiar wejścia, a koszt to cena użycia.
Firma musi trzymać dane klientów w UE i potrzebuje modelu dobrze radzącego sobie z polskim. Jakie czynniki powinny kształtować krótką listę?
- Czy model jest dostępny w regionie UE
- Zmierzona jakość w zadaniach po polsku
- Jak znana jest marka dostawcy modelu
- Kolorystyka strony modelu w konsoli
- Liczba obserwujących model w mediach społecznościowych
Pokaż odpowiedź
Odpowiedź: A. Czy model jest dostępny w regionie UE, B. Zmierzona jakość w zadaniach po polsku
Dostępność w regionie UE (rezydencja danych) i jakość dla języka polskiego to bezpośrednie wymagania. Znajomość marki ani wygląd konsoli ich nie dotyczą.
Prawda czy fałsz: model z największą liczbą parametrów jest zawsze najlepszym wyborem dla przypadku biznesowego.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Większe modele zwykle kosztują więcej i odpowiadają wolniej; mniejszy model spełniający próg jakości często pasuje lepiej.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
