Jak wdrażać wysokiej jakości modele ML na dużą skalę, szybko i bez rujnowania budżetu?

W dzisiejszym, dynamicznym świecie technologii informacyjnych opartych na danych, wdrażanie rozwiązań opartych na uczeniu maszynowym (ML) na dużą skalę staje się kluczowym elementem sukcesu wielu firm. W tym artykule omówimy podejście MLOps stosowane w rozwiązaniach Algolytics Technologies, koncentrując się na efektywności kosztowej i obliczeniowej oraz orkiestracji danych i modeli ML.

Przedstawimy również wyniki testów porównawczych i wydajnościowych, pokazujące, jak odpowiedni dobór narzędzi może wpływać na koszty utrzymania środowisk MLOps oraz ich skalowalność.

Na wstępie chcemy postawić kontrowersyjną tezę: czy możliwe jest wdrożenie ML szybko, tanio i dobrze? Naszym zdaniem – tak. A jak to zrobić i przy użyciu jakich narzędzi – o tym opowiemy dalej.

Czym jest MLOps?

MLOps (Machine Learning Operations) to zestaw praktyk łączących uczenie maszynowe (ML) i operacje (Ops), których celem jest automatyzacja i usprawnienie procesów wdrażania, monitorowania i zarządzania modelami ML w środowisku produkcyjnym. Dzięki wdrożeniu MLOps chcemy osiągnąć:

• Wysoką skuteczność biznesową – czyli podejmowanie trafnych decyzji wspierających nasze działania biznesowe
• Skalowalność – możliwość wdrażania modeli ML na dużą skalę, obsługujących miliony zapytań dziennie
• Automatyzację i niezawodność – ograniczenie potrzeby ręcznej ingerencji poprzez automatyzację procesów trenowania, wdrażania i monitorowania modeli, a także zminimalizowanie ryzyka błędów
• Spójność – zapewnienie powtarzalności i zgodności wyników modeli ML w różnych środowiskach
• Szybkość wdrażania – skrócenie czasu potrzebnego na wprowadzenie i aktualizację rozwiązań opartych na modelach ML
• Zarządzanie cyklem życia modelu – efektywne zarządzanie całym cyklem życia modeli ML – od treningu po wycofanie z użycia

Termin MLOps wywodzi się ze starszej koncepcji DevOps, odnoszącej się do standardowych procesów tworzenia oprogramowania. Wynika to z faktu, że model ML i jego wdrożenie to w gruncie rzeczy specyficzne systemy informatyczne.

Kluczowe bariery we wdrażaniu rozwiązań opartych na ML

Algolytics Technologies przeprowadziło badanie dotyczące dojrzałości polskich firm w obszarze AI/ML i zaawansowanej analizy danych. W ankiecie wzięło udział ok. 700 respondentów, w tym data scientists, inżynierowie ML oraz specjaliści MLOps.

Jednym z zaskakujących wyników badania było to, że jedynie 20,5% respondentów zadeklarowało, że ich organizacje wykorzystują technologie uczenia maszynowego do zaawansowanej analizy danych – mimo że technologie te są dostępne od lat i oferują szerokie możliwości automatyzacji analiz i procesów.

Nasuwają się więc pytania: dlaczego ten stan rzeczy wciąż się utrzymuje?

Odpowiedź również przynoszą wyniki badania. Oto najważniejsze bariery, które zostały zidentyfikowane:

• Brak kompetencji w zespołach biznesowych – 23,3% respondentów wskazało, że brak odpowiednich umiejętności wśród osób odpowiedzialnych za biznes jest istotną przeszkodą
• Brak odpowiedniego budżetu – 22,0% uczestników badania jest zdania, że budżet nie odpowiada zakresowi prac związanemu z wdrażaniem ML/AI
• Niedostateczne kompetencje analityczne – 21,6% badanych wskazało na braki w umiejętnościach analitycznych
• Niewystarczające zasoby techniczne – 21,3% respondentów zwróciło uwagę na brak odpowiedniej infrastruktury IT i narzędzi analitycznych
• Brak kompetencji technicznych – 19,3% uczestników badania wskazało na braki w umiejętnościach technicznych w zespołach

Podsumowując, główne bariery w popularyzacji technik uczenia maszynowego to przede wszystkim brak kompetencji w zespołach, a także koszty i problemy natury technologicznej.

W Algolytics Technologies wiemy, że kluczowe znaczenie dla sprawnego działania procesu MLOps mają odpowiednie narzędzia wspierające zespół Data Science oraz inżynierów danych.

Dlatego rozwijamy platformę, która odpowiada na kluczowe wyzwania w obszarze MLOps – automatyzację budowy modeli ML, integrację danych, wsparcie zespołów (niwelowanie luk kompetencyjnych), skalowalność oraz efektywność kosztową.

Dlaczego wdrażanie modeli ML jest trudne?

Przyjrzyjmy się typowemu schematowi wdrażania modeli uczenia maszynowego w procesie biznesowym. Zwykle modele ML są wykorzystywane do automatyzacji podejmowania decyzji – dokładnych, szybkich i na dużą skalę. Jednak sam model ML, zaimplementowany jako usługa, nie obsługuje całego procesu decyzyjnego.

Model musi zostać zasilony danymi, które mogą pochodzić z wielu źródeł i często wymagają złożonej integracji. Następnie dane trzeba przekształcić do postaci wymaganej przez model ML – najczęściej wektor cech (poprzez agregacje, embeddingi itp.). Dopiero na tym etapie możliwe jest wykorzystanie jednego lub kilku modeli ML.

Ale to jeszcze nie koniec. Wynik predykcji lub rekomendacja modelu najczęściej podlega interpretacji i przekształceniu za pomocą zestawu reguł.

W rezultacie otrzymujemy dość złożoną aplikację, która integruje się z wieloma systemami i wykonuje skomplikowane operacje na danych. Taka aplikacja może mieć charakter monolityczny lub być zbudowana z wielu mikrousług.

Jaki z tego wniosek? Aby wdrożyć model ML, niezbędne są zasoby i kompetencje IT. Samo wdrożenie modelu staje się więc typowym projektem informatycznym, który wymaga od zespołu kompetencji analitycznych, technicznych i biznesowych. A to wszystko kosztuje!

Załóżmy jednak, że wdrożenie zakończyło się sukcesem. Na etapie działania mogą pojawić się wyzwania, takie jak:

• trudności ze skalowaniem,
• zbyt wolne odpowiedzi systemu decyzyjnego,
• problemy związane z jakością danych,
• potrzeba walidacji jakości predykcji i monitorowania działania modelu.

Czy można wyeliminować i rozwiązać te problemy za pomocą platformy MLOps?

W Algolytics Technologies znaleźliśmy na to odpowiedź – tworzymy platformę, która dzięki automatyzacji, podejściu low-code oraz integracji wszystkich kluczowych funkcji w jednym narzędziu, realnie upraszcza i przyspiesza wdrażanie modeli ML.

Kluczowe komponenty naszej platformy do wdrażania modeli ML to:

• Moduł AutoML (ABM) – umożliwia szybkie tworzenie skutecznych modeli ML. [Więcej informacji]
• Silnik MLOps (Scoring.One) – łączy funkcje takie jak repozytorium modeli, silnik decyzyjny, orkiestrator i integrator danych. [Więcej informacji]
• Event Engine (Feature Store) – stosowany w przypadku przetwarzania danych strumieniowych na dużą skalę. [Więcej informacji]

Porównanie wydajności i skalowalności platformy Algolytics z rozwiązaniami chmurowymi i open source

Zanim przejdziemy do tego, jak Platforma Algolytics rozwiązuje problem skalowalności i wspiera zespoły we wdrożeniach, przedstawimy dwa testy, które pokazują, jak wybór technologii wpływa na koszty utrzymania i skalowalność rozwiązania.

Przykład 1: Prosty model klasyfikacyjny

Pierwszy test dotyczy prostego modelu klasyfikacyjnego, uruchomionego jako usługa webowa z obciążeniem 150 zapytań na sekundę. Do testu przygotowaliśmy dane o średnim rozmiarze (50 zmiennych i 650 000 obserwacji), ale „złośliwe”, czyli trudne do modelowania klasycznymi metodami statystycznymi.

Modele zostały wytrenowane przy użyciu 7 platform, a następnie wdrożone jako usługa webowa przy użyciu narzędzi dostępnych w każdej z nich:

• Algolytics Platform – model trenowany w ABM, wdrożenie w Scoring.One
• Amazon SageMaker – moduł autoML (Canvas) + automatyczne wdrożenie
• Google Vertex AI – moduł autoML + automatyczne wdrożenie
• Microsoft Azure ML – moduł autoML + automatyczne wdrożenie
• Azure DataBricks – moduł autoML+ automatyczne wdrożenie
• Open source – Python + XGBoost + ML Flow jako platforma MLOps
• Open source - Kubeflow - autoML + automatyczne wdrożenie

Dla każdego środowiska eksperymentalnie dobrano infrastrukturę w taki sposób, aby osiągnąć najniższy koszt utrzymania przy stałym obciążeniu 150 zapytań/s.

Eksperymenty pokazały, że koszt utrzymania takiego środowiska w Algolytics Technologies jest znacznie niższy niż w przypadku popularnych platform chmurowych, takich jak Amazon SageMaker, Google Vertex AI czy Microsoft Azure ML. Jakość modeli, mierzona wydajnością predykcyjną, była bardzo podobna, co pokazuje, że wysoką wydajność można osiągnąć przy niższych kosztach.

Przykład 2: Złożony system rekomendacji

Drugi przykład dotyczy bardziej złożonego systemu rekomendacyjnego opartego na 100 modelach predykcyjnych. System ten generuje rekomendacje dla dowolnego punktu adresowego, wskazując usługę o najwyższym potencjale spośród 100 możliwych.

Modele zostały wytrenowane na zbiorze 9,3 miliona obserwacji i 405 zmiennych + 100 zmiennych docelowych.

Sam schemat implementacji łączy uruchamianie modeli ML z aspektem integracji danych. Proces wejściowy otrzymuje adres, a następnie wykorzystuje usługę Algolytics DQ do rozpoznania adresu i dołączenia zbioru 700 cech przestrzennych. Następnie 100 modeli predykcyjnych jest uruchamianych równolegle, aby wygenerować wynik dopasowania usługi do lokalizacji. Ostatni etap procesu porównuje wyniki i tworzy listę rekomendacji.

Możesz przetestować endpoint TUTAJ.
(adres w parametrze zawiera analizowany punkt – obsługiwane jest tylko terytorium Polski)

W tym przypadku porównaliśmy Platformę Algolytics i rozwiązanie open-source (MLFlow + XGBoost) - obie na tej samej konfiguracji sprzętowej.

Eksperymenty pokazały, że nasze rozwiązanie jest w stanie przetwarzać znacznie więcej zapytań na sekundę i w krótszym czasie niż rozwiązania oparte na MLFlow i XGBoost.

Podsumowanie

Dlaczego Platforma Algolytics jest znacznie bardziej skalowalna niż inne rozwiązania w swojej klasie?

Jest to wynikiem kilku kluczowych praktyk, które stosujemy - trenowanie modeli w microbatchach, wykorzystywanie prostych algorytmów z odpowiednimi transformacjami danych oraz implementowanie kodu scoringowego bez użycia bibliotek.

Omówimy te techniki w kolejnych częściach artykułu. Przyjrzymy się również jak Platforma Algolytics wspiera analityków i inżynierów danych w codziennej pracy. Dzięki podejściu low-code przełamujemy barierę kompetencyjną i przyspieszamy proces implementacji, co również ma kluczowe znaczenie w kontekście kosztów utrzymaniowych.