Bitzu

AIF-C01 · Cykl życia ML, MLOps i metryki

Podstawy MLOps

Najważniejsze

  • MLOps przenosi praktyki DevOps na uczenie maszynowe.
  • Eksperymentuj w sposób śledzony, zamień zwycięskie kroki w powtarzalny zautomatyzowany potok (np. SageMaker Pipelines), buduj systemy, które się skalują, i ograniczaj dług techniczny (nieudokumentowane notebooki, ukryte zależności od danych, kroki wykonywane ręcznie).
  • Przed startem sprawdź gotowość produkcyjną; po starcie monitoruj model i trenuj ponownie, gdy dane lub jakość dryfują.

Źródło: https://docs.aws.amazon.com/sagemaker/latest/dg/pipelines.html

Przykładowe pytania

Jednokrotny wybór

Jaki jest główny cel MLOps?

  1. Prowadzić cykl życia ML w sposób powtarzalny, zautomatyzowany i monitorowany
  2. Wybrać najtrafniejszy algorytm dla zbioru danych
  3. Zastąpić analityków danych skryptami
  4. Zadbać, by model nigdy nie był trenowany ponownie
Pokaż odpowiedź

Odpowiedź: A. Prowadzić cykl życia ML w sposób powtarzalny, zautomatyzowany i monitorowany

MLOps wprowadza powtarzalną automatyzację, monitorowanie i nadzór do całego cyklu życia ML. Nie chodzi o wybór algorytmu, ukrywanie danych ani unikanie ponownego trenowania.

Zaznacz wszystkie poprawne

Które sytuacje są typowymi sygnałami, że model produkcyjny trzeba wytrenować ponownie?

  1. Rozkład danych wejściowych odszedł od danych treningowych
  2. Jakość względem rzeczywistych wyników spadła poniżej uzgodnionego progu
  3. Firma zmieniła logo
  4. Zaczął się nowy miesiąc
  5. Programista zmienił nazwę zmiennej w notebooku
Pokaż odpowiedź

Odpowiedź: A. Rozkład danych wejściowych odszedł od danych treningowych, B. Jakość względem rzeczywistych wyników spadła poniżej uzgodnionego progu

Dryf danych wejściowych i spadek jakości względem rzeczywistych wyników oznaczają, że model nie pasuje już do rzeczywistości. Zmiana daty czy logo firmy nic nie mówi o jakości modelu.

Prawda czy fałsz

Model, który przeszedł ocenę przed startem, będzie działał dobrze na produkcji w nieskończoność, więc monitorowanie jest opcjonalne.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Dane ze świata rzeczywistego zmieniają się w czasie (dryf), więc jakość może spadać, mimo że kod się nie zmienił. Monitorowanie jest częścią gotowości produkcyjnej.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AIF-C01 w tym module