Spis treści
Regresja jest procedurą matematyczną wykorzystywaną do wyszukiwania najlepszego dopasowania krzywej do danego zbioru obserwacji za pomocą minimalizacji sumy kwadratów odległości (residua) pomiędzy punktem doświadczalnym (obserwowanym) i krzywą. Użycie sumy kwadratów residuów zamiast ich bezwzględnych wartości, pozwala traktować residua jako wielkości ciągłe różniczkowalne. Jednakże, ze względu na użycie kwadratu odległości, obserwacje odstające mogą mieć nieproporcjonalny wpływ na dopasowanie. .
Dopasowanie liniowe metodą najmniejszych kwadratów jest najprostszą i najczęściej stosowaną formą regresji liniowej i dostarcza rozwiązania zagadnienia znalezienia najlepszego dopasowania linii prostej do danego zbioru obserwacji (zmienne niezależne mogą być numeryczne lub kategoryczne, zmienna zależna natomiast powinna być numeryczna). W rzeczywistości, jeśli zależność funkcyjna pomiędzy dwoma wielkościami jest znana z dokładnością do addytywnej lub multiplikatywnej stałej, powszechną praktyką jest transformacja danych w taki sposób aby otrzymany wykres był linią prostą. Aby uzyskać powyższy efekt powszechnie stosuje się transformacje wielomianowe lub logarytmiczne. Metoda liniowego dopasowania metodą najmniejszych kwadratów została wprowadzona w pracach Legendre, 1805, oraz Gauss, 1809. Określenie "najmniejsze kwadraty" pochodzi od terminu "moindres quarrés" ukutego przez Legendre'a.
Regresja liniowa jest zdecydowanie najbardziej szeroko stosowaną metodą modelowania i eksploracji danych. Ponadto, została zaadoptowana do szerokiego zakresu sytuacji, które były uznawane za leżące poza jej zakresem stosowania. Odgrywa także silną, zasadniczą rolę w wielu innych metodach modelowania. Książki zawierające kompletny i wyczerpujący opis wszystkich technik powiązanych z regresją liniową są wyszczególnione w referencjach.