W przykładzie wykorzystamy zbiór danych cholesterol, który znajduje się w katalogu instalacyjnym programu AdvancedMiner w folderze ..\Client\scripts\scripts\data\approximation. Tworzenie zadania testowania składa się z następujących kroków:

Rysunek 3.18. ApproximationTestTask - brakujące ustawienia

Znaczenie poszczególnych komunikatów o błędach jest następujące:

Wszystkie parametry z wyjątkiem testDataTargetAttributeName można ustawić w standardowy sposób, wybierając polecenie Add z menu kontekstowego. Parametr testDataTargetAttributeName należy ustawić w oknie Properties. W tym oknie mogą się także znajdować inne opcjonalne parametry.

Jeżeli wszystkie wymagane parametry zostały ustawione, zadanie może zostać wykonane.

Rysunek 3.19. ApproximationTestTask w repozytorium

Cały proces tworzenia i wykonywania zadania testowania można także przeprowadzić za pomocą skrypty w Gythonie:

att = ApproximationTestTask()                                     # utworzenie obiektu zadania testującego
att.setModelName('approximation_model')                           # o ile dany model istnieje
att.setTestDataName('cholesterol_pd')                             # określenie danych testujących
att.setTestDataTargetAttributeName('chol')                        # określenie atrybutu 'target'
#att.setNumberOfIntervals(10)                                     # ustawienie innych parametrów
att.setTestResultName('approximation_results')                    # nazwa obiektu z wynikami

save('approximation_tt', att)
execute('approximation_tt')
            

Po wykonaniu testu, w repozytorium metadanych pojawi się obiekt zawierający jego wyniki. Za jego pomocą można uzyskać szczegółowe informacje o wynikach testu: statystyki testu, widoczne w oknie Properties i składniki wyników, które są podpięte pod węzeł obiektu z wynikami w repozytorium.

Statystyki testu

Oznaczenia symboli:

• zaobserwowana wartość zmiennej target dla -tej obserwacji:
• przewidywana wartość zmiennej target dla -tej obserwacji:
• błąd rezydualny dla -tej obserwacji:

Tabela 3.4. Statystyki zadania testowania modelu aproksymacyjnego

Nazwa	Opis
Mean Absolute Error	średnia wartość bezwzględnego błędu przewidywań dla danych testowych::
Mean Actual Value	średnia rzeczywistych wartości zmiennej target dla danych testowych:
Mean Predicted Value	średnia przewidywanych wartości zmiennej target dla danych testowych:
RMS Error	pierwiastek kwadratowy z sumy kwadratów błędów dla danych testowych:

W ramach przykładu wykorzystamy zbiór danych german credit, który znajduje się w folderze ..\Client\scripts\scripts\data\classification w katalogu instalacyjnym programu AdvancedMiner. Utworzenie zadania testowania składa się z następujących kroków:

Rysunek 3.20. ClassificationTestTask - brakujące ustawienia

Pierwsze cztery komunikaty mają takie samo znaczenie, jak w przypadku zadania testowania modelu aproksymacyjnego. Ponadto, jest także nowy komunikat:

Wszystkie parametry z wyjątkiem testDataTargetAttributeName i positiveTargetValue mogą zostać ustawione w standardowy sposób, wybierając polecenie Add z menu kontekstowego. Parametry testDataTargetAttributeName i positiveTargetValue należy ustawić w oknie Properties. W tym oknie mogą się także znajdować inne opcjonalne parametry.

Jeżeli wszystkie wymagane parametry są ustawione, zadanie może zostać wykonane.

Rysunek 3.21. ClassificationTestTask - repozytorium

Cały proces tworzenia i wykonywania zadania testowania można także wykonać za pomocą skryptu w Gythonie:

ctt = ClassificationTestTask()                                  # utworzenie obiektu zadania testującego
ctt.setModelName('classification_model')                        # o ile dany model istnieje
ctt.setTestDataName('german_credit_pd')                         # określenie danych testujących
ctt.setTestDataTargetAttributeName('Class')                     # określenie atrybutu 'target'
ctt.setPositiveTargetValue('bad')                               # określenie pozytywnej kategorii zmiennej 'target'
#ctt.setNumberOfQuantiles(20)                                   # ustawienie innych parametrów
ctt.setTestResultName('classification_results')                 # nazwa obiektu z wynikami

save('classification_tt', ctt)
execute('classification_tt')
            

Po wykonaniu testu, w repozytorium metadanych pojawi się obiekt zawierający jego wyniki. Za jego pomocą można uzyskać szczegółowe informacje o wynikach testu: statystyki testu, widoczne w oknie Properties i składniki wyników, które są podpięte pod obiekt z wynikami.

W tym przykładzie wykorzystany jest zbiór danych 'HIV', który można znaleźć w folderze ..\Client\scripts\scripts\examples\datamining w katalogu instalacyjnym programu AdvancedMiner. Utworzenie zadania testowania składa się z następujących kroków:

Rysunek 3.24. SurvivalTestTask - brakujące ustawienia

Komunikaty mają takie samo znaczenie, jak w przypadku zadania testowania modelu aproksymacyjnego. Ponadto, jest także dodatkowy komunikat:

Wszystkie parametry z wyjątkiem Censored Category można ustawić w standardowy sposób, wybierając polecenie Add z menu kontekstowego węzła utworzonego obiektu testującego. Parametr Censored Category należy ustawić w oknie Properties obiektu testującego. W tym oknie mogą się także znajdować inne dodatkowe parametry.

Jeżeli wszystkie wymagane parametry są ustawione, zadanie może zostać wykonane.

Rysunek 3.25. SurvivalTestTask - repozytorium

Cały proces tworzenia i wykonywania zadania testowania można także przeprowadzić za pomocą skryptu w Gythonie:

stt = SurvivalTestTask()                                        # utworzenie obiektu testującego
stt.setModelName('survival_model')                              # o ile model istnieje
stt.setTestDataName('HIV_pd')                                   # określenie zbioru danych testujących
stt.setTestDataTargetAttributeName('days')                      # okreslenia zmiennej 'target'
stt.setCensorName('censor')                                     # określenie zmiennej cenzorowanej
stt.setCensoredCategory('Y')                                    # określenie kategorii cenzorowanej
#stt.setFirstTimePoint(25)                                      # ustawienie dodatkowych opcji
stt.setTestResultName('survival_results')                       # określenie nazwy obiektu z wynikami testowania

save('survival_tt', stt)
execute('survival_tt')
            

Po wykonaniu testu, w repozytorium metadanych pojawi się obiekt zawierający jego wyniki. Za jego pomocą można uzyskać szczegółowe informacje o wynikach testu: statystyki testu, widoczne w oknie Properties i składniki wyników, które są podpięte pod obiekt z wynikami.

W tym przykładzie wykorzystany będzie zbiór danych 'stock_market', który można znaleźć w folderze ..\Client\scripts\scripts\data\time w katalogu instalacyjnym programu AdvancedMiner. Utworzenie zadania testowania składa się z następujących kroków:

Rysunek 3.26. Test Report

Komunikaty są takie same jak w przypadku obiektu ApproximationTestTask.

Okno Properties może zawierać dodatkowe ustawienia.

Jeżeli wszystkie wymagane parametry są ustawione, zadanie może zostać wykonane.

Rysunek 3.27. TimeSeriesTestTask - repozytorium

Cały proces tworzenia i wykonowyania zadania testowania można także przeprowadzić za pomocą skrypty w Gythonie:

tstt = TimeSeriesTestTask()                                     # utworzenie zadania testowania
tstt.setModelName('timeseries_model')                           # o ile model istnieje
tstt.setTestDataName('stock_market_pd')                         # określenie zbioru danych testujących
tstt.setTestDataTargetAttributeName('price_change')             # określenie zmiennej 'target'
tstt.setTimePointAttributeName('time')                          # określenie zmiennej 'timePoint'
#tstt.setNumberOfTimePoints(10)                                 # ustawienie dodatkowych opcji
tstt.setTestResultName('timeseries_results')                    # określenie nazwy obiektu z wynikami

save('timeseries_tt', tstt)
execute('timeseries_tt')
            

Po wykonaniu testu, w repozytorium metadanych pojawi się obiekt zawierający jego wyniki. Za jego pomocą można uzyskać szczegółowe informacje o wynikach testu: statystyki testu, widoczne w oknie Properties i składniki wyników, które są podpięte pod węzeł obiektu z wynikami.

Do utworzenia tego zadania potrzebne są następujące obiekty: tabela z wynikami scoringowymi w bazie danych, obiekt PhysicalData dla tej tabeli, oraz zadanie testujące w repozytorium.

Tabela z wynikami scoringowymi musi zawierać następujące kolumny:

Wykorzystamy przykładowe dane poniżej. Po wykonaniu tego skryptu w bazie danych pojawi się zbiór danych przykładowych i tabela z wynikami scoringowymi.

table "dane_wejsciowe":
    temp   wysokosc   Klasa
    -50    1        "dobry"
    -40    1        "dobry"
    -30    1        "dobry"
    -20    10       "dobry"
    -10    10       "dobry"
    10    10       "dobry"
    20    20       "zly"
    30    10       "dobry"
    40    10       "dobry"
    50    10       "zly"
    60    5        "dobry"
    70    20       "zly"
    80    30       "zly"
    90    1        "dobry"
    100   10       "zly"

# prosty model klasyfikacyjny
trans "dane_wynikowe"<-"dane_wejsciowe":
    wynik = temp/100.0
    nowaKlasa = "dobry"
    if wynik>0.5:
        nowaKlasa ="zly"

    

Dalej należy wykonać następujące kroki:

Rysunek 3.28. CalculateTestResultTask - Brakujące ustawienia

Znaczenie poszczególnych komunikatów jest następujące:

W standardowy sposób (za pomocą menu kontekstowego) można ustawić jedynie parametry testResultName i physicalDataName. Pozostałe parametry należy ustawić w oknie Properties. Ponieważ obiekt CalculateTestResultTask jest bardzo podobny do obiektu Classification Test Task, reszta ustawień w oknie Properties jest taka sama. (zob. Testowanie modeli klasyfikacyjnych).

Jeżeli wszystkie wymagane parametry są ustawione, zadanie może zostać wykonane.

Rysunek 3.29. CalculateTestResultTask - repozytorium

Cały proces tworzenia i wykonywania zadania testowania można także przeprowadzić za pomocą skryptu w Gythonie:

dane_wynikowe_pd = PhysicalData('dane_wynikowe')
save('dane_wynikowe_pd',dane_wynikowe_pd)									# utworzenie PhysicalData dla danych scoringowych
ctrt = CalculateTestResultTask()                                            # utworzenie obiektu testującego
ctrt.setPhysicalDataName('dane_wynikowe_pd')                                  # okreslenia PhysicalData dla danych scoringowych
ctrt.setActualName("Klasa")                                                 # określenie zmiennej 'target'
ctrt.setPositiveTargetValue('zly')                                          # określenie pozytywnej kategorii zmiennej 'target'
ctrt.setPredictedName('nowaKlasa')                                           # określenie zmiennej z klasami przypisanymi przez model
ctrt.setScore('wynik')                                                      # określenie zmiennej z wynikami scoringowymi
#ctrt.setNumberOfQuantiles(25)                                              # ustawienie dodatkowych opcji
ctrt.setTestResultName('testresult_results')                                # określenie nazwy obiektu z wynikami

save('testresult_tt',ctrt)
execute('testresult_tt')
            

Wyniki tego zadania testowania są dokładnie takie same jak w przypadku wyników zadania klasyfikacyjnego .