Na czym polegał test?

• Test dotyczył prostego modelu klasyfikacyjnego uruchomionego jako usługa webowa z obciążeniem 150 zapytań na sekundę
• Dane testowe: 50 zmiennych, 650 000 obserwacji, trudne do modelowania klasycznymi metodami statystycznymi („złośliwe” dane)
• Modele trenowane były na 6 różnych platformach:
  • Algolytics Platform – trenowanie w ABM, wdrożenie w Scoring.One
  • Amazon SageMaker – autoML Canvas + automatyczne wdrożenie
  • Google Vertex AI – autoML + automatyczne wdrożenie
  • Microsoft Azure ML – autoML + automatyczne wdrożenie
  • Azure DataBricks – autoML + automatyczne wdrożenie
  • Open source – Python + XGBoost + MLflow jako MLOps
• Dla każdej platformy dobrano infrastrukturę tak, by osiągnąć najniższy możliwy koszt utrzymania przy stałym obciążeniu

Co pokazały wyniki?

• Algolytics Technologies osiągnęło najniższy koszt roczny spośród wszystkich testowanych rozwiązań

Na czym polegał test?

• Sprawdzono również jakość predykcyjną (AUC) modeli trenowanych na różnych platformach

Co pokazały wyniki?

• Jakość modeli okazała się porównywalna, więc wybór platformy powinien zależeć od innych czynników
• Algolytics oferuje konkurencyjną jakość modeli, przy znacznie niższych kosztach i wyższej wydajności infrastruktury

Na czym polegał test?

• Test dotyczył rekomendatora opartego o 100 równolegle uruchamianych modeli ML
• Wykorzystano dane o dużej złożoności: 405 zmiennych, 9,3 mln obserwacji, 100 zmiennych celu
• Modele były trenowane za pomocą narzędzi autoML i wdrożone jako usługi API
• Test przeprowadzono na tej samej maszynie: Standard D16s v4 (16 vCPU, 64 GiB RAM)
• Porównano wydajność Algolytics vs MLFlow Server przy tym samym obciążeniu

Co pokazały wyniki?

• Algolytics potrafi obsłużyć ponad 3,5 razy więcej zapytań na sekundę niż MLFlow Server, przy ponad 10-krotnie krótszym czasie odpowiedzi

Na czym polegał test?

• Test miał na celu porównanie szybkości i łatwości wdrożenia 100 modeli klasyfikacyjnych w dwóch środowiskach: MLFlow i Algolytics
• Rozpoczęto od zbudowania i zarejestrowania 100 modeli (klasyfikatorów)
• Następnie oceniono, jak wygląda proces ich uruchomienia w środowisku produkcyjnym — od pobierania danych po generowanie wyników

Algolytics

• Modele wdrażane są jednym kliknięciem — bez potrzeby pisania kodu
• Cały proces scoringowy budowany jest wizualnie z gotowych komponentów
• Dzięki węzłowi Multitask, wszystkie 100 modeli mogą być uruchamiane równolegle, bez konieczności tworzenia mikroserwisów
• Integracja z zewnętrznymi źródłami danych i API odbywa się automatycznie
• Zespół Data Science może skupić się na logice biznesowej, a nie na aspektach technicznych

MLFlow

• Rejestracja modeli jest wygodna, ale kolejne etapy — jak pobieranie danych, inżynieria cech, uruchamianie modeli — wymagają ręcznej implementacji
• Brak wsparcia dla podejścia low-code
• W przypadku modeli z różnych frameworków, konieczne jest stworzenie 100 mikroserwisów, każdy z osobnym środowiskiem uruchomieniowym
• Proces wdrożenia jest czasochłonny i wymaga dodatkowych kompetencji technicznych

Co pokazały wyniki?

• Test pokazał, że Algolytics znacząco skraca czas wdrożenia nawet dla dużej liczby modeli
• Dzięki automatyzacji, modularności i równoległemu przetwarzaniu, platforma pozwala zespołom ML działać szybciej, sprawniej i bez konieczności angażowania dodatkowych zasobów technicznych