Analiza regresji to statystyczna metoda badania zależności zmiennej losowej od zmiennych. Podstawy analizy danych Zależność regresyjna

6. Głównym wskaźnikiem odzwierciedlającym jakość analizy regresji jest współczynnik determinacji (R 2).

Współczynnik determinacji pokazuje, jaka część zmiennej zależnej „ Na” jest brany pod uwagę w analizie i jest spowodowany wpływem na nią czynników uwzględnionych w analizie.

Współczynnik determinacji (R2) przyjmuje wartości z przedziału . Równanie regresji jest jakościowe, jeśli R2 ≥0,8.

Współczynnik determinacji jest równy kwadratowi współczynnika korelacji, tj.

Przykład 6.1. Korzystając z poniższych danych, skonstruuj i przeanalizuj równanie regresji:

Rozwiązanie.

1) Oblicz współczynnik korelacji: . Związek między znakami jest bezpośredni i umiarkowany.

2) Skonstruuj sparowane równanie regresji liniowej.

2.1) Utwórz tabelę obliczeniową.

,

Sparowane równanie regresji liniowej: yx =25,17+0,087x.

3) Znajdź wartości teoretyczne „ y x"podstawiając wartości rzeczywiste do równania regresji" X».

4) Twórz wykresy rzeczywistych „ y” i wartości teoretyczne” y x„charakterystyka efektywna (rysunek 6.1): r xy = 0,47) i niewielka liczba obserwacji.

7) Oblicz współczynnik determinacji: R2=(0,47) 2 =0,22. Skonstruowane równanie jest niskiej jakości.

Ponieważ obliczenia przy przeprowadzaniu analizy regresji są dość obszerne; zaleca się stosowanie specjalnych programów (Statistica 10, SPSS itp.).

Rysunek 6.2 przedstawia tabelę z wynikami analizy regresji przeprowadzonej przy użyciu programu Statistica 10.

Rysunek 6.2. Wyniki analizy regresji przeprowadzonej przy użyciu programu Statistica 10

5. Literatura:

1. Gmurman V.E. Teoria prawdopodobieństwa i statystyka matematyczna: Podręcznik. podręcznik dla uniwersytetów / V.E. Gmurmana. - M.: Szkoła Wyższa, 2003. - 479 s.

2. Koychubekov B.K. Biostatystyka: podręcznik. - Ałmaty: Evero, 2014. - 154 s.

3. Lobotskaya N.L. Wyższa matematyka. / N.L. Łobotskaja, Yu.V. Morozow, A.A. Dunajew. - Mn.: Szkoła Wyższa, 1987 r. - 319 s.

4. Medyk V.A., Tokmachev M.S., Fishman B.B. Statystyka w medycynie i biologii: przewodnik. W 2 tomach / wyd. Yu.M. Komarowa. T. 1. Statystyka teoretyczna. - M.: Medycyna, 2000. - 412 s.

5. Zastosowanie metod analizy statystycznej w badaniach zdrowia publicznego i opieki zdrowotnej: podręcznik / wyd. Kucherenko V.Z. - wyd. 4, poprawione. i dodatkowe – M.: GEOTAR – Media, 2011. – 256 s.

W wyniku przestudiowania materiału z rozdziału 4 student powinien:

wiedzieć

• podstawowe pojęcia analizy regresji;
• metody estymacji i właściwości estymacji metodą najmniejszych kwadratów;
• podstawowe zasady badania istotności i estymacji przedziałowej równań i współczynników regresji;

móc

• wykorzystać przykładowe dane do znalezienia estymatorów parametrów modeli równań dwuwymiarowych i modeli regresji wielokrotnej oraz przeanalizować ich właściwości;
• sprawdzić znaczenie równania i współczynników regresji;
• znaleźć szacunki przedziałowe istotnych parametrów;

własny

• umiejętność statystycznej estymacji parametrów równań regresji dwuwymiarowej i wielokrotnej; umiejętność sprawdzania adekwatności modeli regresji;
• umiejętność otrzymywania równania regresji ze wszystkimi istotnymi współczynnikami z wykorzystaniem programów analitycznych.

Podstawowe pojęcia

Po przeprowadzeniu analizy korelacji, gdy zidentyfikowano występowanie istotnych statystycznie zależności pomiędzy zmiennymi i oceniono stopień ich bliskości, zazwyczaj przystępuje się do matematycznego opisu rodzaju zależności metodami analizy regresji. W tym celu wybiera się klasę funkcji, która wiąże efektywny wskaźnik Na i argumenty „obliczają oszacowania parametrów równania sprzężenia i analizują dokładność otrzymanego równania.

Funkcja|, opisująca zależność warunkowej wartości średniej wynikowej charakterystyki Na z podanych wartości argumentów wywoływana jest równanie regresji.

Termin „regresja” (od łac. regresja – wycofać się, wrócić do czegoś) został wprowadzony przez angielskiego psychologa i antropologa F. Galtona i kojarzony jest z jednym z jego pierwszych przykładów, w którym Galton przetwarzając dane statystyczne związane z kwestią dziedziczności wzrostu stwierdził, że jeśli wysokość ojców odbiega od średniego wzrostu wszystkich ojców X cali, wówczas wzrost ich synów odbiega od średniego wzrostu wszystkich synów o mniej niż X cale. Zidentyfikowany trend nazwano regresja do średniej.

Termin „regresja” jest szeroko stosowany w literaturze statystycznej, chociaż w wielu przypadkach nie opisuje dokładnie zależności statystycznej.

Aby dokładnie opisać równanie regresji, należy znać prawo rozkładu warunkowego efektywnego wskaźnika ty W praktyce statystycznej zwykle nie ma możliwości uzyskania takich informacji, dlatego ograniczają się one do poszukiwania odpowiednich przybliżeń dla funkcji f(x ty X 2,... l*), na podstawie wstępnej merytorycznej analizy zjawiska lub wstępnych danych statystycznych.

W ramach poszczególnych założeń modelu o rodzaju rozkładu wektora wskaźników<) может быть получен общий вид równania regresji, Gdzie. Przykładowo, przy założeniu, że badany zbiór wskaźników spełnia ()wymiarowe prawo rozkładu normalnego z wektorem oczekiwań matematycznych

Gdzie i macierz kowariancji,

gdzie jest rozproszenie y,

Równanie regresji (warunkowe oczekiwanie matematyczne) ma postać

Zatem, jeśli wielowymiarowa zmienna losowa ()

przestrzega ()-wymiarowego prawa rozkładu normalnego, a następnie równania regresji efektywnego wskaźnika Na w zmiennych objaśniających jest liniowy X pogląd.

Jednak w praktyce statystycznej zwykle trzeba ograniczyć się do znalezienia odpowiednich przybliżeń dla nieznanej prawdziwej funkcji regresji f(x), ponieważ badacz nie posiada dokładnej wiedzy na temat prawa rozkładu prawdopodobieństwa warunkowego analizowanego wskaźnika wydajności Na dla podanych wartości argumentów X.

Przyjrzyjmy się zależnościom pomiędzy szacunkami prawdziwymi, modelowymi i regresyjnymi. Niech skuteczny wskaźnik Na związane z argumentacją X stosunek

gdzie jest zmienną losową mającą rozkład normalny, oraz i. Prawdziwa funkcja regresji ma w tym przypadku postać

Załóżmy, że nie jest nam znana dokładna postać prawdziwego równania regresji, ale mamy dziewięć obserwacji dwuwymiarowej zmiennej losowej powiązanej relacjami przedstawionymi na ryc. 4.1.

Ryż. 4.1. Względna pozycja prawdyk(x) i teoretyczneupsmodele regresji

Położenie punktów na rys. 4.1 pozwala nam ograniczyć się do klasy liniowych zależności postaci

Metodą najmniejszych kwadratów znajdujemy estymację równania regresji.

Dla porównania na ryc. 4.1 pokazuje wykresy prawdziwej funkcji regresji i teoretycznej funkcji regresji aproksymującej. Oszacowanie równania regresji zbiega się z prawdopodobieństwem do tego drugiego ups z nieograniczonym wzrostem wielkości próby ().

Ponieważ błędnie wybraliśmy funkcję regresji liniowej zamiast prawdziwej funkcji regresji, co niestety jest dość powszechne w praktyce badań statystycznych, nasze wnioski i szacunki statystyczne nie będą miały właściwości spójności, tj. Bez względu na to, jak zwiększymy liczbę obserwacji, nasze oszacowanie próbki nie będzie zbieżne z prawdziwą funkcją regresji

Gdybyśmy poprawnie dobrali klasę funkcji regresji, to niedokładność w opisie za pomocą ups można by wytłumaczyć jedynie ograniczoną próbą, w związku z czym można ją przeprowadzić tak małą, jak to pożądane

Aby jak najlepiej odtworzyć wartość warunkową wskaźnika wydajności i nieznaną funkcję regresji z wyjściowych danych statystycznych, najczęściej stosuje się: kryteria adekwatności funkcje straty.

1. metoda najmniejszych kwadratów, zgodnie z którym minimalizowane jest kwadratowe odchylenie obserwowanych wartości efektywnego wskaźnika, od wartości modelu, gdzie współczynniki równania regresji są wartościami wektora argumentu w obserwacji „-M”. :

Problem znalezienia estymaty wektora został rozwiązany. Wynikowa regresja nazywa się znaczy kwadrat.

2. Metoda najmniejszych modułów, zgodnie z którym minimalizowana jest suma bezwzględnych odchyleń obserwowanych wartości wskaźnika efektywnego od wartości modułowych, tj.

Wynikowa regresja nazywa się oznacza absolutne(mediana).

3. Metoda Minimaxa sprowadza się do minimalizacji maksymalnego modułu odchylenia obserwowanej wartości skutecznego wskaźnika y, od wartości modelu, tj.

Wynikowa regresja nazywa się minimaks.

W zastosowaniach praktycznych często pojawiają się problemy podczas badania zmiennej losowej y, w zależności od pewnego zestawu zmiennych i nieznanych parametrów. Rozważymy () jako (k + 1)-wymiarowa populacja ogólna, z której losowa próba P, gdzie () jest wynikiem i-tej obserwacji. Wymagane jest oszacowanie nieznanych parametrów na podstawie wyników obserwacji. Opisane powyżej zadanie dotyczy problemów analizy regresji.

Analiza regresji nazywa się metodą analizy statystycznej zależności zmiennej losowej Na na zmiennych uznawanych w analizie regresji za wartości nielosowe, niezależnie od prawdziwego prawa dystrybucji

Studenci w trakcie studiów bardzo często spotykają się z różnymi równaniami. Jedno z nich – równanie regresji – zostało omówione w tym artykule. Ten typ równania jest używany specjalnie do opisu charakterystyki zależności między parametrami matematycznymi. Ten typ równości jest stosowany w statystyce i ekonometrii.

Definicja regresji

W matematyce regresja oznacza pewną wielkość opisującą zależność średniej wartości zbioru danych od wartości innej wielkości. Równanie regresji pokazuje, jako funkcję określonej cechy, średnią wartość innej cechy. Funkcja regresji ma postać prostego równania y = x, w którym y pełni rolę zmiennej zależnej, a x jest zmienną niezależną (czynnik cechy). W rzeczywistości regresję wyraża się jako y = f (x).

Jakie są rodzaje relacji między zmiennymi?

Ogólnie rzecz biorąc, istnieją dwa przeciwstawne typy relacji: korelacja i regresja.

Pierwsza charakteryzuje się równością zmiennych warunkowych. W tym przypadku nie wiadomo, która zmienna zależy od drugiej.

Jeżeli pomiędzy zmiennymi nie ma równości, a warunki mówią, która zmienna jest objaśniająca, a która zależna, to możemy mówić o istnieniu powiązania drugiego typu. Aby skonstruować równanie regresji liniowej, konieczne będzie ustalenie, jaki typ zależności jest obserwowany.

Rodzaje regresji

Obecnie istnieje 7 różnych typów regresji: hiperboliczna, liniowa, wielokrotna, nieliniowa, parami, odwrotna i logarytmicznie liniowa.

Hiperboliczne, liniowe i logarytmiczne

Równanie regresji liniowej stosuje się w statystyce w celu jasnego wyjaśnienia parametrów równania. Wygląda na to, że y = c+t*x+E. Równanie hiperboliczne ma postać hiperboli regularnej y = c + m / x + E. Równanie logarytmicznie liniowe wyraża zależność za pomocą funkcji logarytmicznej: In y = In c + m * In x + In E.

Wielorakie i nieliniowe

Dwa bardziej złożone typy regresji są wielokrotne i nieliniowe. Równanie regresji wielokrotnej wyraża się funkcją y = f(x 1, x 2 ... x c) + E. W tej sytuacji y pełni rolę zmiennej zależnej, a x pełni rolę zmiennej objaśniającej. Zmienna E ma charakter stochastyczny; uwzględnia wpływ innych czynników w równaniu. Równanie regresji nieliniowej jest nieco kontrowersyjne. Z jednej strony w odniesieniu do branych pod uwagę wskaźników nie ma ona charakteru liniowego, z drugiej zaś w roli wskaźników oceniających ma charakter liniowy.

Regresje odwrotne i sparowane

Odwrotność to rodzaj funkcji, którą należy przekształcić do postaci liniowej. W najbardziej tradycyjnych programach aplikacyjnych przyjmuje postać funkcji y = 1/c + m*x+E. Równanie regresji parami pokazuje zależność pomiędzy danymi w funkcji y = f (x) + E. Podobnie jak w innych równaniach, y zależy od x, a E jest parametrem stochastycznym.

Pojęcie korelacji

Jest to wskaźnik świadczący o istnieniu związku pomiędzy dwoma zjawiskami lub procesami. Siłę związku wyraża się jako współczynnik korelacji. Jego wartość waha się w przedziale [-1;+1]. Wskaźnik ujemny wskazuje na obecność sprzężenia zwrotnego, wskaźnik dodatni wskazuje na bezpośrednie sprzężenie zwrotne. Jeżeli współczynnik przyjmuje wartość równą 0, wówczas zależności nie ma. Im wartość jest bliższa 1, tym związek między parametrami jest silniejszy, a im bliższy 0, tym jest on słabszy.

Metody

Korelacyjne metody parametryczne pozwalają ocenić siłę związku. Wykorzystuje się je na podstawie estymacji rozkładu do badania parametrów zgodnych z prawem rozkładu normalnego.

Parametry równania regresji liniowej są niezbędne do identyfikacji rodzaju zależności, funkcji równania regresji oraz oceny wskaźników wybranej formuły zależności. Pole korelacji służy jako metoda identyfikacji połączenia. W tym celu wszystkie istniejące dane muszą zostać przedstawione graficznie. Wszystkie znane dane należy przedstawić w prostokątnym dwuwymiarowym układzie współrzędnych. W ten sposób powstaje pole korelacyjne. Wartości współczynnika opisującego zaznaczono na osi odciętych, natomiast wartości współczynnika zależnego na osi rzędnych. Jeśli istnieje funkcjonalna zależność pomiędzy parametrami, są one ułożone w formie linii.

Jeżeli współczynnik korelacji takich danych jest mniejszy niż 30%, możemy mówić o niemal całkowitym braku połączenia. Jeśli wynosi od 30% do 70%, oznacza to obecność połączeń średnio-bliskich. Wskaźnik 100% świadczy o funkcjonalnym połączeniu.

Równanie regresji nieliniowej, podobnie jak równanie liniowe, należy uzupełnić o wskaźnik korelacji (R).

Korelacja dla regresji wielokrotnej

Współczynnik determinacji jest wskaźnikiem kwadratu korelacji wielokrotnej. Mówi o ścisłym związku prezentowanego zestawu wskaźników z badaną cechą. Można także mówić o naturze wpływu parametrów na wynik. Za pomocą tego wskaźnika szacuje się równanie regresji wielokrotnej.

Aby obliczyć wskaźnik korelacji wielokrotnej, należy obliczyć jego wskaźnik.

Metoda najmniejszych kwadratów

Metoda ta jest sposobem na oszacowanie współczynników regresji. Jego istotą jest minimalizacja sumy kwadratów odchyleń uzyskanych w wyniku zależności współczynnika od funkcji.

Za pomocą takiej metody można oszacować równanie regresji liniowej parami. Tego typu równania stosuje się w przypadku wykrycia sparowanej zależności liniowej między wskaźnikami.

Parametry równania

Każdy parametr funkcji regresji liniowej ma określone znaczenie. Sparowane równanie regresji liniowej zawiera dwa parametry: c i m. Parametr m pokazuje średnią zmianę końcowego wskaźnika funkcji y, pod warunkiem, że zmienna x zmniejszy się (zwiększy) o jedną jednostkę umowną. Jeżeli zmienna x wynosi zero, to funkcja jest równa parametrowi c. Jeśli zmienna x nie jest zerowa, wówczas czynnik c nie ma znaczenia ekonomicznego. Jedynym wpływem na funkcję jest znak przed czynnikiem c. Jeśli jest minus, możemy powiedzieć, że zmiana wyniku jest powolna w porównaniu do współczynnika. Jeśli jest plus, oznacza to przyspieszoną zmianę wyniku.

Każdy parametr zmieniający wartość równania regresji można wyrazić za pomocą równania. Na przykład współczynnik c ma postać c = y - mx.

Zgrupowane dane

Istnieją warunki zadań, w których wszystkie informacje są pogrupowane według atrybutu x, ale dla pewnej grupy wskazane są odpowiednie średnie wartości zależnego wskaźnika. W tym przypadku średnie wartości charakteryzują, jak zmienia się wskaźnik w zależności od x. Zatem pogrupowane informacje pomagają znaleźć równanie regresji. Służy do analizy relacji. Jednak ta metoda ma swoje wady. Niestety, średnie wskaźniki często podlegają wahaniom zewnętrznym. Wahania te nie odzwierciedlają wzorca związku; po prostu maskują jego „hałas”. Średnie pokazują wzorce zależności znacznie gorsze niż równanie regresji liniowej. Można je jednak wykorzystać jako podstawę do znalezienia równania. Mnożąc liczbę pojedynczej populacji przez odpowiednią średnią, można otrzymać sumę y w obrębie grupy. Następnie musisz zsumować wszystkie otrzymane kwoty i znaleźć końcowy wskaźnik y. Nieco trudniej jest dokonać obliczeń ze wskaźnikiem sumy xy. Jeśli odstępy są małe, możemy warunkowo przyjąć, że wskaźnik x dla wszystkich jednostek (w grupie) będzie taki sam. Należy pomnożyć go przez sumę y, aby otrzymać sumę iloczynów x i y. Następnie wszystkie kwoty sumuje się i otrzymuje całkowitą kwotę xy.

Równanie regresji wielokrotnej parami: ocena ważności związku

Jak wspomniano wcześniej, regresja wielokrotna ma funkcję w postaci y = f (x 1,x 2,…,x m)+E. Najczęściej równanie takie wykorzystuje się do rozwiązania problemu podaży i popytu na produkt, dochodu odsetkowego od nabytych akcji oraz do badania przyczyn i rodzaju funkcji kosztu produkcji. Jest również aktywnie wykorzystywane w różnorodnych badaniach i obliczeniach makroekonomicznych, jednak na poziomie mikroekonomii równanie to jest stosowane nieco rzadziej.

Głównym zadaniem regresji wielokrotnej jest zbudowanie modelu danych zawierającego ogromną ilość informacji w celu dalszego określenia, jaki wpływ ma każdy z czynników indywidualnie i łącznie na modelowany wskaźnik i jego współczynniki. Równanie regresji może przyjmować wiele różnych wartości. W tym przypadku do oceny zależności stosuje się zwykle dwa rodzaje funkcji: liniową i nieliniową.

Funkcja liniowa jest przedstawiona w postaci zależności: y = a 0 + a 1 x 1 + a 2 x 2,+ ... + a m x m. W tym przypadku a2, am uważa się za „czyste” współczynniki regresji. Są one niezbędne do scharakteryzowania średniej zmiany parametru y wraz ze zmianą (spadkiem lub wzrostem) każdego odpowiedniego parametru x o jedną jednostkę, z zastrzeżeniem stabilnych wartości innych wskaźników.

Równania nieliniowe mają np. postać funkcji potęgowej y=ax 1 b1 x 2 b2 ...x m bm. W tym przypadku wskaźniki b 1, b 2 ..... b m nazywane są współczynnikami elastyczności, pokazują, jak zmieni się wynik (o ile%) wraz ze wzrostem (spadkiem) odpowiedniego wskaźnika x o 1% i przy stabilnym wskaźniku innych czynników.

Jakie czynniki należy wziąć pod uwagę konstruując regresję wielokrotną

Aby poprawnie zbudować regresję wielokrotną, należy dowiedzieć się, na jakie czynniki należy zwrócić szczególną uwagę.

Konieczne jest pewne zrozumienie natury zależności między czynnikami ekonomicznymi a modelowanym obiektem. Czynniki, które będą musiały zostać uwzględnione, muszą spełniać następujące kryteria:

• Należy poddać pomiarowi ilościowemu. Aby móc zastosować współczynnik opisujący jakość obiektu, należy w każdym przypadku nadać mu postać ilościową.
• Nie powinno być żadnej wzajemnej korelacji czynników ani relacji funkcjonalnej. Takie działania najczęściej prowadzą do nieodwracalnych konsekwencji - układ równań zwyczajnych staje się bezwarunkowy, a to pociąga za sobą jego zawodność i niejasne szacunki.
• W przypadku ogromnego wskaźnika korelacji nie ma możliwości stwierdzenia izolowanego wpływu czynników na końcowy wynik wskaźnika, dlatego współczynniki stają się nieinterpretowalne.

Metody konstrukcyjne

Istnieje ogromna liczba metod i metod wyjaśniających, w jaki sposób można wybrać czynniki do równania. Wszystkie te metody opierają się jednak na doborze współczynników za pomocą wskaźnika korelacji. Wśród nich są:

• Metoda eliminacji.
• Metoda przełączania.
• Analiza regresji krokowej.

Pierwsza metoda polega na odfiltrowaniu wszystkich współczynników z całkowitego zbioru. Druga metoda polega na wprowadzeniu wielu dodatkowych czynników. Cóż, trzecia polega na eliminacji czynników, które zostały wcześniej użyte w równaniu. Każda z tych metod ma prawo istnieć. Mają swoje wady i zalety, ale wszyscy mogą na swój sposób rozwiązać problem eliminacji niepotrzebnych wskaźników. Z reguły wyniki uzyskane każdą indywidualną metodą są dość zbliżone.

Metody analizy wieloczynnikowej

Takie metody wyznaczania czynników opierają się na uwzględnieniu indywidualnych kombinacji wzajemnie powiązanych cech. Należą do nich analiza dyskryminacyjna, rozpoznawanie kształtów, analiza głównych składowych i analiza skupień. Ponadto istnieje również analiza czynnikowa, ale pojawiła się ona w związku z rozwojem metody składowej. Wszystkie mają zastosowanie w określonych okolicznościach, z zastrzeżeniem pewnych warunków i czynników.

Analiza regresji metoda modelowania danych pomiarowych i badania ich właściwości. Dane składają się z par wartości zmienna zależna(zmienna odpowiedzi) i zmienna niezależna(zmienna objaśniająca). Model regresji jest funkcją zmiennej niezależnej i parametrów z dodaną zmienną losową. Parametry modelu dobiera się tak, aby model najlepiej pasował do danych. Kryterium jakości aproksymacji (funkcji celu) jest zwykle pierwiastek błędu średniokwadratowego: suma kwadratów różnicy między wartościami modelu a zmienną zależną dla wszystkich wartości zmiennej niezależnej jako argument. Dział analizy regresji statystyki matematycznej i uczenia maszynowego. Zakłada się, że zmienna zależna jest sumą wartości jakiegoś modelu i zmiennej losowej. Przyjmuje się założenia dotyczące charakteru rozkładu tej wielkości, zwane hipotezą generowania danych. Aby potwierdzić lub obalić tę hipotezę, przeprowadza się testy statystyczne zwane analizą rezydualną. Zakłada się, że zmienna niezależna nie zawiera błędów. Analiza regresji służy do prognozowania, analizy szeregów czasowych, testowania hipotez i identyfikowania ukrytych zależności w danych.

Definicja analizy regresji

Próbka może nie być funkcją, ale relacją. Na przykład dane do zbudowania regresji mogą wyglądać następująco: . W takiej próbie jedna wartość zmiennej odpowiada kilku wartościom zmiennych.

Regresja liniowa

Regresja liniowa zakłada, że ​​funkcja zależy liniowo od parametrów. W tym przypadku liniowa zależność od zmiennej swobodnej nie jest konieczna,

W przypadku gdy funkcja regresji liniowej ma postać

oto składowe wektora.

Wartości parametrów w przypadku regresji liniowej wyznacza się metodą najmniejszych kwadratów. Zastosowanie tej metody uzasadnione jest założeniem rozkładu Gaussa zmiennej losowej.

Nazywa się różnice między rzeczywistymi wartościami zmiennej zależnej a zrekonstruowanymi pozostałości regresji(resztki). W literaturze używane są także synonimy: pozostałości I błędy. Jedną z ważnych ocen kryterium jakości otrzymanej zależności jest suma kwadratów reszt:

Tutaj suma kwadratów błędów.

Wariancję reszt oblicza się za pomocą wzoru

Tutaj średni błąd kwadratowy, średni błąd kwadratowy.

Wykresy przedstawiają próbki oznaczone niebieskimi kropkami i zależności regresji oznaczone liniami ciągłymi. Zmienna wolna jest wykreślana wzdłuż osi odciętych, a zmienna zależna jest wykreślana wzdłuż osi współrzędnych. Wszystkie trzy zależności są liniowe względem parametrów.

Regresja nieliniowa

Modele regresji nieliniowej – modele postaci

którego nie można przedstawić w postaci iloczynu skalarnego

gdzie są parametrami modelu regresji, jest zmienną wolną z przestrzeni, jest zmienną zależną, jest zmienną losową i jest funkcją z pewnego zbioru.

Wartości parametrów w przypadku regresji nieliniowej wyznacza się za pomocą jednej z metod gradientowego opadania, np. algorytmu Levenberga-Marquardta.

O warunkach

Termin „regresja” został ukuty przez Francisa Galtona pod koniec XIX wieku. Galton odkrył, że dzieci rodziców o wysokim lub niskim wzroście zwykle nie dziedziczą wybitnego wzrostu i nazwał to zjawisko „regresją do przeciętności”. Początkowo termin ten był używany wyłącznie w sensie biologicznym. Po pracach Karla Pearsona termin ten zaczęto stosować w statystyce.

W literaturze statystycznej rozróżnia się regresję obejmującą jedną zmienną wolną i regresję obejmującą kilka zmiennych wolnych jednowymiarowy I wielowymiarowy regresja. Zakłada się, że korzystamy z kilku zmiennych wolnych, czyli wolnego wektora zmiennych. W szczególnych przypadkach, gdy zmienna wolna jest skalarem, będzie ona oznaczona przez . Wyróżnić liniowy I nieliniowy regresja. Jeżeli model regresji nie jest liniową kombinacją funkcji parametrów, wówczas mówimy o regresji nieliniowej. W tym przypadku model może być dowolną superpozycją funkcji z pewnego zbioru. Modele nieliniowe to modele wykładnicze, trygonometryczne i inne (na przykład radialne funkcje bazowe lub perceptron Rosenblatta), które zakładają, że związek między parametrami a zmienną zależną jest nieliniowy.

Wyróżnić parametryczny I nieparametryczny regresja. Trudno jest wytyczyć ścisłą granicę pomiędzy tymi dwoma rodzajami regresji. Obecnie nie ma ogólnie przyjętego kryterium odróżniającego jeden typ modelu od drugiego. Na przykład modele liniowe są uważane za parametryczne, a modele obejmujące uśrednianie zmiennej zależnej w przestrzeni zmiennej swobodnej są nieparametryczne. Przykład modelu regresji parametrycznej: predyktor liniowy, perceptron wielowarstwowy. Przykłady modeli regresji mieszanej: radialne funkcje bazowe. Nieparametryczny model uśredniania ruchu w oknie o określonej szerokości. Ogólnie rzecz biorąc, regresja nieparametryczna różni się od regresji parametrycznej tym, że zmienna zależna nie zależy od jednej wartości zmiennej wolnej, ale od jakiegoś określonego otoczenia tej wartości.

Istnieje rozróżnienie między terminami „aproksymacja funkcji”, „aproksymacja”, „interpolacja” i „regresja”. Jest następująco.

Aproksymacja funkcji. Podana jest funkcja argumentu dyskretnego lub ciągłego. Należy znaleźć funkcję z określonej rodziny parametrycznej, np. wśród wielomianów algebraicznych danego stopnia. Parametry funkcji muszą zapewniać minimum jakiejś funkcjonalności, np.

Termin przybliżenie synonim terminu „aproksymacja funkcji”. Częściej używa się go, gdy mówimy o danej funkcji, jako funkcję dyskretnego argumentu. Tutaj również należy znaleźć funkcję, która przechodzi najbliżej wszystkich punktów danej funkcji. To wprowadza koncepcję pozostałości odległości między punktami funkcji ciągłej a odpowiadającymi im punktami dyskretnej funkcji argumentacyjnej.

Interpolacja funkcjonuje w szczególnym przypadku problemu aproksymacji, gdy wymagane jest, aby w pewnych punktach tzw węzły interpolacyjne wartości funkcji i funkcji ją przybliżającej pokrywały się. Mówiąc bardziej ogólnie, na wartości niektórych instrumentów pochodnych nakładane są ograniczenia. Oznacza to, że podana jest funkcja dyskretnego argumentu. Należy znaleźć funkcję przechodzącą przez wszystkie punkty. W tym przypadku zwykle nie stosuje się metryki, ale często wprowadza się pojęcie „gładkości” pożądanej funkcji.