Rozdział ten opisuje trzy rodzaje raportów dedykowanych do walidacji modeli scoringowych
- raport wydajnościowy
- raport statystycznych testów
- raport stabilności.
Wszystkie z nich zostały stworzone z widokiem do głębszej analizy modelu scoringowego oraz karty scoringowej. Jednakże pierwszy oraz drugi raport może być użyty do dowolnego modelu klasyfikacji, ale także możliwe jest przydzielenie score’u (prawdopodobieństwo lub punkty) do każdej obserwacji. Tylko trzeci raport wymaga karty scoringowej z punktami scoringu.
Z powodu, że wszystkie raporty generowane są w pakiecie MS Office lub OpenOffice, użytkownik musi pamiętać, aby ustanowić odpowiednie połączenie. Pomoc znajdziesz w rozdziale Integracja z popularnymi pakietami biurowymi.
Raport ten zawiera następujące statystyki:
- Wykres Liftu,
- Krzywa ROC z przedziałami ufności oraz dodatkowe statystyki: Współczynnik Gini, Obszar ROC, optymalne wartości cut-off,
- Wykres K-S oraz statystyki dodatkowe: Statystyki K-S, Indeks Pietra, Współczynnik błędu Bayesian, optymalne wartości cut-off,
- krzywa CAP oraz statystyka Accuracy Ratio,
- Macierz Błędu dla różnych wartości cut-off oraz dodatkowe statystyczne klasyfikacje,
- Inne statystyki: Conditional Entropy (Entropia Warunkowa), Dywergencja Kullbacka-Leiblera (Entropia Względna), Dodatkowe informacje o Entropy Ratio.
Niektóre wspomniane statystyki zostały opisane w podrozdziale Testowanie Modeli Klasyfikacyjnych - ClassificationTestTask . Wszystkie statystyki wyliczane są na podstawie dokumentu: „Working Paper No. 14: Studies on the Validation of Internal Rating Systems”, Basel Committee on Banking Supervision, Maj 2005.
Aby wygenerować raport wydajnościowy, potrzebujemy w pierwszej kolejności zbudować i zastosować model klasyfikacyjny. Następnie, powinno się w bazie danych mieć odpowiednio spreparowane dane z co najmniej dwiema kolumnami: oryginalny target oraz przewidywane prawdopodobieństwo score’a. Z tak przygotowanymi danymi można uruchomić skrypt raportu przedstawiony poniżej.
from base.report.statReport.ScoringCardEfficiency import *
runScoringCardEfficiency()
Po uruchomieniu tego kodu pojawi się kreator, w którym trzeba ustawić dwa parametry:
- Data Source - parametr ogólny o analizowanych danych: alias, Score’owany zbiór danych, atrybuty target oraz score, pozytywna wartość target oraz typ atrybutu score (punkty score prawdopodobieństwa)
- Report Settings - niektóre parametry statystyczne wyjścia.
Po ustawieniu wszystkich parametrów wystarczy nacisnąć klawisz 'Save settings & Run Report'. Chwile później raport powinien zostać wygenerowany.
