AIF-C01 · Cykl życia ML, MLOps i metryki
Podstawy MLOps
Najważniejsze
- MLOps przenosi praktyki DevOps na uczenie maszynowe.
- Eksperymentuj w sposób śledzony, zamień zwycięskie kroki w powtarzalny zautomatyzowany potok (np. SageMaker Pipelines), buduj systemy, które się skalują, i ograniczaj dług techniczny (nieudokumentowane notebooki, ukryte zależności od danych, kroki wykonywane ręcznie).
- Przed startem sprawdź gotowość produkcyjną; po starcie monitoruj model i trenuj ponownie, gdy dane lub jakość dryfują.
Źródło: https://docs.aws.amazon.com/sagemaker/latest/dg/pipelines.html
Przykładowe pytania
Jaki jest główny cel MLOps?
- Prowadzić cykl życia ML w sposób powtarzalny, zautomatyzowany i monitorowany
- Wybrać najtrafniejszy algorytm dla zbioru danych
- Zastąpić analityków danych skryptami
- Zadbać, by model nigdy nie był trenowany ponownie
Pokaż odpowiedź
Odpowiedź: A. Prowadzić cykl życia ML w sposób powtarzalny, zautomatyzowany i monitorowany
MLOps wprowadza powtarzalną automatyzację, monitorowanie i nadzór do całego cyklu życia ML. Nie chodzi o wybór algorytmu, ukrywanie danych ani unikanie ponownego trenowania.
Które sytuacje są typowymi sygnałami, że model produkcyjny trzeba wytrenować ponownie?
- Rozkład danych wejściowych odszedł od danych treningowych
- Jakość względem rzeczywistych wyników spadła poniżej uzgodnionego progu
- Firma zmieniła logo
- Zaczął się nowy miesiąc
- Programista zmienił nazwę zmiennej w notebooku
Pokaż odpowiedź
Odpowiedź: A. Rozkład danych wejściowych odszedł od danych treningowych, B. Jakość względem rzeczywistych wyników spadła poniżej uzgodnionego progu
Dryf danych wejściowych i spadek jakości względem rzeczywistych wyników oznaczają, że model nie pasuje już do rzeczywistości. Zmiana daty czy logo firmy nic nie mówi o jakości modelu.
Model, który przeszedł ocenę przed startem, będzie działał dobrze na produkcji w nieskończoność, więc monitorowanie jest opcjonalne.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Dane ze świata rzeczywistego zmieniają się w czasie (dryf), więc jakość może spadać, mimo że kod się nie zmienił. Monitorowanie jest częścią gotowości produkcyjnej.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
