Machine Learning Associate · MLOps, środowiska ML i AutoML
Strategia MLOps w Databricks
Najważniejsze
- Oddzielne środowiska dev, staging i prod (każde z własnym katalogiem Unity Catalog).
- Kod w Git, dane i cechy w zarządzanych tabelach Delta, a każdy przebieg i model śledzony w MLflow.
- Testy na każdym etapie, promowanie kodu między środowiskami, oznaczanie modeli aliasami takimi jak Champion i Challenger oraz monitorowanie dryfu z ewentualnym ponownym trenowaniem.
Źródło: https://docs.databricks.com/aws/en/machine-learning/mlops/mlops-workflow
Przykładowe pytania
Które narzędzie zapisuje parametry, metryki i artefakty każdego przebiegu treningu, aby wyniki dało się odtworzyć i porównać?
- MLflow Tracking
- Foldery Git
- Historia tabeli Delta
- Lineage w Unity Catalog
Pokaż odpowiedź
Odpowiedź: A. MLflow Tracking
MLflow Tracking zapisuje parametry, metryki, migawki kodu i artefakty dla każdego przebiegu. Git wersjonuje kod, tabele Delta przechowują dane, a Unity Catalog zarządza zasobami, ale żadne z nich nie śledzi przebiegów.
Które praktyki należą do strategii MLOps?
- Oddzielne środowiska dev, staging i prod
- Testy jednostkowe i integracyjne przy każdej zmianie
- Bezpośrednia edycja notebooków produkcyjnych dla szybkich poprawek
- Monitorowanie dryfu danych i jakości predykcji
- Nadpisywanie danych treningowych bez wersji
Pokaż odpowiedź
Odpowiedź: A. Oddzielne środowiska dev, staging i prod, B. Testy jednostkowe i integracyjne przy każdej zmianie, D. Monitorowanie dryfu danych i jakości predykcji
Oddzielne środowiska i automatyczne testy to podstawa, podobnie jak monitorowanie dryfu. Bezpośrednia edycja kodu produkcyjnego i brak wersjonowania danych niszczą powtarzalność i kontrolę.
Prawda czy fałsz: w zalecanej konfiguracji analitycy danych zwykle mają pełny dostęp do zapisu i zasobów obliczeniowych w środowisku produkcyjnym.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Produkcja jest ściśle kontrolowana i należy do inżynierów ML; analitycy zwykle pracują w dev z prawem zapisu, a do danych prod mają co najwyżej dostęp tylko do odczytu.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
