Rozdział 26. Regresja liniowa

Spis treści

Wprowadzenie
Opis metody
Standardowa regresja liniowa
Ważona regresja liniowa (WLS)
Regresja liniowa przeważana iteracyjnie (Regresja metodą IRLS)
Użycie
Wymogi dotyczące danych
Budowa i testowanie modelu
Zastosowanie modelu
Przykłady
Przykład standardowej regresji liniowej
Przykład regresji IRLS
Referencje

Wprowadzenie

Regresja jest procedurą matematyczną wykorzystywaną do wyszukiwania najlepszego dopasowania krzywej do danego zbioru obserwacji za pomocą minimalizacji sumy kwadratów odległości (residua) pomiędzy punktem doświadczalnym (obserwowanym) i krzywą. Użycie sumy kwadratów residuów zamiast ich bezwzględnych wartości, pozwala traktować residua jako wielkości ciągłe różniczkowalne. Jednakże, ze względu na użycie kwadratu odległości, obserwacje odstające mogą mieć nieproporcjonalny wpływ na dopasowanie. .

Dopasowanie liniowe metodą najmniejszych kwadratów jest najprostszą i najczęściej stosowaną formą regresji liniowej i dostarcza rozwiązania zagadnienia znalezienia najlepszego dopasowania linii prostej do danego zbioru obserwacji (zmienne niezależne mogą być numeryczne lub kategoryczne, zmienna zależna natomiast powinna być numeryczna). W rzeczywistości, jeśli zależność funkcyjna pomiędzy dwoma wielkościami jest znana z dokładnością do addytywnej lub multiplikatywnej stałej, powszechną praktyką jest transformacja danych w taki sposób aby otrzymany wykres był linią prostą. Aby uzyskać powyższy efekt powszechnie stosuje się transformacje wielomianowe lub logarytmiczne. Metoda liniowego dopasowania metodą najmniejszych kwadratów została wprowadzona w pracach Legendre, 1805, oraz Gauss, 1809. Określenie "najmniejsze kwadraty" pochodzi od terminu "moindres quarrés" ukutego przez Legendre'a.

Regresja liniowa jest zdecydowanie najbardziej szeroko stosowaną metodą modelowania i eksploracji danych. Ponadto, została zaadoptowana do szerokiego zakresu sytuacji, które były uznawane za leżące poza jej zakresem stosowania. Odgrywa także silną, zasadniczą rolę w wielu innych metodach modelowania. Książki zawierające kompletny i wyczerpujący opis wszystkich technik powiązanych z regresją liniową są wyszczególnione w referencjach.