W systemie AdvancedMiner metody optymalizacji są wykorzystwane w następującach algorytmach ekstrakcji danych: Regresja IRLS, Regresja logistyczna, Szeregi czasowe, Analiza przeżycia and Bivariate.
Kryteria optymalizacji należy ustawić na etapie konstrukcji modelu, za pośrednictwem obiektu AlgorithmSettings lub w komponencie ustawień algorytmu.
Tabela 6.2. Ustawienia dla algorytmów optymalizacji
| Nazwa | Opis | Dopuszczalne wartości | Wartość domyślna |
|---|---|---|---|
| Kryterium zbieżności | warunek stopu dla algorytmu optymalizacji funkcji likelihood. | gradient / likelihood / likelihoodRelative | likelihood |
| Tolerancja funkcji | próg stopu dla algorytmu optymalizacji z kryterium zbieżności typu likelihood | liczby dodatnie | 0.001 |
| Gradient Tolerance | próg stopu dla algorytmu optymalizacji z kryterium zbieżności typu gradient | liczby dodatnie | 0.001 |
| Iter Max | maksymalna liczba iteracji wykonanych przez algorytm | liczby całkowite dodatnie | 100 |
| Max Fun Evaluations | maksymalna liczba obliczeń wartości funkcji w jednej iteracji algorytmu | liczby całkowite dodatnie | 100 |
| Optimization Information | jeśli ustawiene na TRUE, to zapisane zostaną statystyki dla danej optymalizacji; to ustawienie jest dostępne tylko z poziomu skryptu i nie ma zastosowania do algorytmu nrBasic. | TRUE / FALSE | FALSE |
| Optimization Methods | wybór metody optymalizacji | nrBasic / optConjugateGradient / optFDNewton / optQuasiNewton / optNewton | nrBasic |
| Search Strategy | algorytm wyznaczania wartości ekstremum funkcji; dostępne są algorytmy zawarte w bibliotece Opt++; nie ma zastosowania do algorytmu nrBasic. | lineSearch / trustRegion / trustPDS | lineSearch |
- Kryterium i progi stopu
Dostępność tych ustawień zależy od wybranej metody.
Algorytm Newtona-Raphsona z parametrem Convergence Criterion ustawionym na gradient zatrzymuje się, gdy norma euklidesowa funkcji likelihood jest mniejsza niż wartość parametru Gradient Tolerance .
Jeżeli parametr Convergence Criterion jest ustawiony na likelihood lub likelihoodRelative, algorytm Newtona-Raphsona zatrzymuje się, gdy w kolejnych krokach wartość funkcji likelihood zmieniła się o mniej niż wartość parametru Function Tolerance.
Algorytm Fisher-a (wykorzystywany w regresji logistycznej) z parametrem Convergence Criterion ustawionym na gradient zatrzymuje się, gdy wartość odchylenia
w dwóch kolejnych krokach zmieniała się o mniej niż wartość parametru Gradient Tolerance.
Algorytm Fisher-a z parametrem Convergence Criterion ustawionym na likelihood lub likelihoodRelative zatrzymuje się, gdy wartość bezwzględna różnic SSE modeli z dwóch kolejnych kroków zmieniła się o mniej niż wartość parametru Function Tolerance . SSE jest określone wzorem:
gdzie
W przypadku regresji IRLS parametr Convergence Criterion jest ignorowany, a algorytm zatrzymuje się, gdy wariancja w dwóch kolejnych krokach zmieni się o mniej niż wartość parametru Function Tolerance.
- Informacje o optymalizacji
Algorytm optymalizacji, z wyjątkiem nrBasic, oblicza następujące statystyki: numer iteracji, wartość funkcji, norma gradientu, rozmiar kroku, ilość obliczeń wartości funkcji. Statystyki te są dostępne tylko z poziomu skryptu.
- Metody optymalizacji
Algorytmy optConjugateGradient, optFDNewton, optQuasiNewton, optNewton sa opisane w podrozdziale Metody optymalizacji.
Algorytm nrBasic jest modyfikacją algorytmu Newtona-Raphsona z połowieniem kroku.
