Die Regressionsanalyse ist eine statistische Methode zur Untersuchung der Abhängigkeit einer Zufallsvariablen von Variablen. Grundlagen der Datenanalyse-Regression

6. Der Hauptindikator, der das Maß für die Qualität der Regressionsanalyse widerspiegelt, ist Bestimmtheitsmaß (R 2).

Bestimmungskoeffizient zeigt an, welcher Anteil der abhängigen Variablen „ bei» wird in der Analyse berücksichtigt und entsteht durch den Einfluss der in die Analyse einbezogenen Faktoren.

Bestimmungskoeffizient (R2) nimmt Werte im Bereich an. Die Regressionsgleichung ist qualitativ, wenn R2 ≥0,8.

Der Bestimmungskoeffizient ist gleich dem Quadrat des Korrelationskoeffizienten, d.h.

Beispiel 6.1. Erstellen und analysieren Sie basierend auf den folgenden Daten die Regressionsgleichung:

Lösung.

1) Berechnen Sie den Korrelationskoeffizienten: . Die Beziehung zwischen den Zeichen ist direkt und moderat.

2) Erstellen Sie eine gepaarte lineare Regressionsgleichung.

2.1) Erstellen Sie eine Berechnungstabelle.

,

Gepaarte lineare Regressionsgleichung: y x \u003d 25,17 + 0,087x.

3) Finden Sie theoretische Werte“ y x» durch Einsetzen tatsächlicher Werte in die Regressionsgleichung « X».

4) Zeichnen Sie Diagramme der tatsächlichen „ bei" und theoretische Werte“ y x» effektives Merkmal (Abbildung 6.1): r xy =0,47) und eine kleine Anzahl von Beobachtungen.

7) Berechnen Sie das Bestimmtheitsmaß: R2=(0,47) 2 =0,22. Die konstruierte Gleichung ist von schlechter Qualität.

Weil Da die Berechnungen bei der Regressionsanalyse recht umfangreich sind, empfiehlt sich der Einsatz spezieller Programme („Statistica 10“, SPSS etc.).

Abbildung 6.2 zeigt eine Tabelle mit den Ergebnissen der mit dem Programm „Statistica 10“ durchgeführten Regressionsanalyse.

Abbildung 6.2. Die Ergebnisse der mit dem Programm „Statistica 10“ durchgeführten Regressionsanalyse

5. Literatur:

1. Gmurman V.E. Wahrscheinlichkeitstheorie und mathematische Statistik: Proc. Handbuch für Universitäten / V.E. Gmurman. - M.: Höhere Schule, 2003. - 479 S.

2. Koichubekov B.K. Biostatistik: Lehrbuch. - Almaty: Evero, 2014. - 154 S.

3. Lobotskaya N.L. Höhere Mathematik. / N.L. Lobotskaya, Yu.V. Morozov, A.A. Dunaev. - Minsk: Höhere Schule, 1987. - 319 S.

4. Medic V.A., Tokmachev M.S., Fishman B.B. Statistik in Medizin und Biologie: Ein Leitfaden. In 2 Bänden / Ed. Yu.M. Komarow. T. 1. Theoretische Statistik. - M.: Medizin, 2000. - 412 S.

5. Anwendung statistischer Analysemethoden zur Untersuchung der öffentlichen Gesundheit und des Gesundheitswesens: Lehrbuch / Hrsg. Kucherenko V.Z. - 4. Aufl., überarbeitet. und zusätzlich - M.: GEOTAR - Media, 2011. - 256 S.

Als Ergebnis des Studiums des Materials von Kapitel 4 sollte der Student:

wissen

• Grundkonzepte der Regressionsanalyse;
• Schätzmethoden und Eigenschaften von Schätzungen der Methode der kleinsten Quadrate;
• Grundregeln für die Signifikanzprüfung und Intervallschätzung der Gleichung und Regressionskoeffizienten;

in der Lage sein

• Finden Sie Schätzungen der Parameter zweidimensionaler und multipler Modelle von Regressionsgleichungen anhand von Beispieldaten und analysieren Sie deren Eigenschaften.
• Überprüfen Sie die Bedeutung der Gleichung und der Regressionskoeffizienten.
• Intervallschätzungen signifikanter Parameter finden;

eigen

• die Fähigkeiten zur statistischen Schätzung der Parameter der zweidimensionalen und multiplen Regressionsgleichungen; Fähigkeiten zur Überprüfung der Angemessenheit von Regressionsmodellen;
• Kenntnisse in der Erstellung einer Regressionsgleichung mit allen signifikanten Koeffizienten mithilfe von Analysesoftware.

Grundlegendes Konzept

Wenn nach der Durchführung einer Korrelationsanalyse das Vorhandensein statistisch signifikanter Beziehungen zwischen Variablen identifiziert und der Grad ihrer Enge beurteilt wurde, erfolgt in der Regel eine mathematische Beschreibung der Art der Abhängigkeiten mithilfe von Methoden der Regressionsanalyse. Zu diesem Zweck wird eine Klasse von Funktionen ausgewählt, die den effektiven Indikator verknüpft bei und Argumente„ Berechnen Sie Schätzungen der Parameter der Zwangsgleichung und analysieren Sie die Genauigkeit der resultierenden Gleichung.

Funktion|, die die Abhängigkeit des bedingten Durchschnittswerts vom effektiven Merkmal beschreibt bei aus den gegebenen Werten der Argumente wird aufgerufen Regressionsgleichung.

Der Begriff „Regression“ (von lat. Regression- Rückzug, Rückkehr zu etwas) wurde vom englischen Psychologen und Anthropologen F. Galton eingeführt und ist mit einem seiner ersten Beispiele verbunden, in dem Galton bei der Verarbeitung statistischer Daten im Zusammenhang mit der Frage der Vererbung des Wachstums feststellte, dass, wenn die Höhe von Die Größe der Väter weicht von der durchschnittlichen Körpergröße aller Väter ab X Zoll, dann weicht die Größe ihrer Söhne um weniger als von der durchschnittlichen Größe aller Söhne ab X Zoll Der identifizierte Trend wurde benannt Regression zum Mittelwert.

Der Begriff „Regression“ wird in der statistischen Literatur häufig verwendet, obwohl er in vielen Fällen die statistische Abhängigkeit nicht genau charakterisiert.

Für eine genaue Beschreibung der Regressionsgleichung ist es notwendig, das bedingte Verteilungsgesetz des effektiven Indikators zu kennen j. In der statistischen Praxis ist es in der Regel unmöglich, solche Informationen zu erhalten, daher beschränkt man sich darauf, geeignete Näherungen für die Funktion zu finden f(x u X 2, .... l *), basierend auf einer vorläufigen aussagekräftigen Analyse des Phänomens oder auf den ursprünglichen statistischen Daten.

Im Rahmen individueller Modellannahmen über die Art der Verteilung des Indikatorenvektors<) может быть получен общий вид Regressionsgleichungen, Wo. Beispielsweise unter der Annahme, dass der untersuchte Satz von Indikatoren dem ()-dimensionalen Normalverteilungsgesetz mit dem Vektor der mathematischen Erwartungen folgt

Wo und anhand der Kovarianzmatrix

Wo ist die Varianz? ja,

Die Regressionsgleichung (bedingte Erwartung) hat die Form

Wenn also eine multivariate Zufallsvariable ()

gehorcht dem ()-dimensionalen Normalverteilungsgesetz und dann der Regressionsgleichung des effektiven Indikators bei in erklärenden Variablen hat linear in X Sicht.

Allerdings muss man sich in der statistischen Praxis meist darauf beschränken, geeignete Näherungen für die unbekannte wahre Regressionsfunktion zu finden f(x), da der Forscher keine genaue Kenntnis des bedingten Gesetzes der Wahrscheinlichkeitsverteilung des analysierten Leistungsindikators hat bei für die gegebenen Werte der Argumente X.

Berücksichtigen Sie die Beziehung zwischen wahren Schätzungen, Modellschätzungen und Regressionsschätzungen. Lassen Sie den Leistungsindikator bei mit dem Argument verbunden X Verhältnis

Wo ist außerdem eine Zufallsvariable mit einem Normalverteilungsgesetz? Die wahre Regressionsfunktion ist in diesem Fall

Angenommen, wir kennen die genaue Form der wahren Regressionsgleichung nicht, haben aber neun Beobachtungen zu einer zweidimensionalen Zufallsvariablen, die durch die in Abb. gezeigten Beziehungen in Beziehung stehen. 4.1.

Reis. 4.1. Die relative Position des Wahrenf(x) und theoretischWowRegressionsmodelle

Lage der Punkte in Abb. 4.1 erlaubt uns, uns auf die Klasse der linearen Abhängigkeiten der Form zu beschränken

Mithilfe der Methode der kleinsten Quadrate ermitteln wir eine Schätzung für die Regressionsgleichung.

Zum Vergleich in Abb. In Abb. 4.1 zeigt Diagramme der wahren Regressionsfunktion und der theoretisch approximierenden Regressionsfunktion. Die Schätzung der Regressionsgleichung konvergiert hinsichtlich der Wahrscheinlichkeit zu Letzterem Wow mit einer unbegrenzten Vergrößerung der Stichprobengröße ().

Da wir fälschlicherweise eine lineare Regressionsfunktion anstelle einer echten Regressionsfunktion gewählt haben, was in der Praxis der statistischen Forschung leider recht häufig vorkommt, verfügen unsere statistischen Schlussfolgerungen und Schätzungen nicht über die Konsistenzeigenschaft, d. h. Unabhängig davon, wie stark wir das Beobachtungsvolumen erhöhen, wird unsere Stichprobenschätzung nicht mit der wahren Regressionsfunktion konvergieren

Wenn wir die Klasse der Regressionsfunktionen richtig gewählt hätten, wäre die Ungenauigkeit in der Beschreibung mit Wow würde nur durch die Begrenztheit der Stichprobe erklärt werden und könnte daher mit beliebig klein gemacht werden

Um den bedingten Wert des effektiven Indikators und der unbekannten Regressionsfunktion aus den anfänglichen statistischen Daten bestmöglich wiederherzustellen, werden am häufigsten die folgenden verwendet: Angemessenheitskriterien Verlustfunktionen.

1. Methode der kleinsten Quadrate, wonach die quadratische Abweichung der beobachteten Werte des effektiven Indikators von den Modellwerten minimiert wird, wobei die Koeffizienten der Regressionsgleichung die Werte des Argumentvektors in der „-M-Beobachtung“ sind :

Das Problem, eine Schätzung des Vektors zu finden, wird gelöst. Die resultierende Regression wird aufgerufen quadratischer Mittelwert.

2. Methode der kleinsten Module, wonach die Summe der absoluten Abweichungen der beobachteten Werte des effektiven Indikators von den Modulwerten minimiert wird, d.h.

Die resultierende Regression wird aufgerufen bedeuten absolut(Median).

3. Minimax-Methode wird auf die Minimierung des maximalen Abweichungsmoduls des beobachteten Werts des effektiven Indikators reduziert ja, aus dem Modellwert, d.h.

Die resultierende Regression wird aufgerufen Minimax.

In praktischen Anwendungen gibt es häufig Probleme, bei denen die Zufallsvariable untersucht wird ja, abhängig von einigen Variablen und unbekannten Parametern. Wir werden () als betrachten (k + 1)-dimensionale Allgemeinbevölkerung, aus der eine Zufallsstichprobe des Volumens stammt P, wobei () das Ergebnis der /-ten Beobachtung ist. Es ist erforderlich, unbekannte Parameter auf der Grundlage der Beobachtungsergebnisse abzuschätzen. Die oben beschriebene Aufgabe bezieht sich auf die Aufgaben der Regressionsanalyse.

Regressionsanalyse nennen Sie die Methode der statistischen Analyse der Abhängigkeit einer Zufallsvariablen bei aus Variablen, die in der Regressionsanalyse als nicht zufällige Variablen betrachtet werden, unabhängig vom wahren Verteilungsgesetz

Während des Studiums stoßen Studierende sehr häufig auf eine Vielzahl von Gleichungen. Eine davon – die Regressionsgleichung – wird in diesem Artikel betrachtet. Diese Art von Gleichung wird speziell zur Beschreibung der Eigenschaften der Beziehung zwischen mathematischen Parametern verwendet. Diese Art der Gleichheit wird in der Statistik und Ökonometrie verwendet.

Definition von Regression

Unter Regression versteht man in der Mathematik eine bestimmte Größe, die die Abhängigkeit des Durchschnittswerts eines Datensatzes von den Werten einer anderen Größe beschreibt. Die Regressionsgleichung zeigt als Funktion eines bestimmten Merkmals den Durchschnittswert eines anderen Merkmals. Die Regressionsfunktion hat die Form einer einfachen Gleichung y \u003d x, in der y als abhängige Variable fungiert und x eine unabhängige Variable (Merkmalsfaktor) ist. Tatsächlich wird die Regression als y = f (x) ausgedrückt.

Welche Arten von Beziehungen gibt es zwischen Variablen?

Im Allgemeinen werden zwei gegensätzliche Beziehungstypen unterschieden: Korrelation und Regression.

Die erste zeichnet sich durch die Gleichheit der bedingten Variablen aus. In diesem Fall ist nicht sicher bekannt, welche Variable von der anderen abhängt.

Wenn keine Gleichheit zwischen den Variablen besteht und die Bedingungen sagen, welche Variable erklärend und welche abhängig ist, können wir von einem Zusammenhang zweiter Art sprechen. Um eine lineare Regressionsgleichung zu erstellen, muss ermittelt werden, welche Art von Beziehung beobachtet wird.

Arten von Regressionen

Bisher gibt es 7 verschiedene Arten der Regression: hyperbolisch, linear, mehrfach, nichtlinear, paarweise, invers, logarithmisch linear.

Hyperbolisch, linear und logarithmisch

Die lineare Regressionsgleichung wird in der Statistik verwendet, um die Parameter der Gleichung anschaulich zu erklären. Es sieht aus wie y = c + m * x + E. Die hyperbolische Gleichung hat die Form einer regulären Hyperbel y \u003d c + m / x + E. Die logarithmisch lineare Gleichung drückt die Beziehung mit der logarithmischen Funktion aus: In y \u003d In c + m * In x + In E.

Vielfach und nichtlinear

Zwei komplexere Arten der Regression sind die multiple und die nichtlineare Regression. Die multiple Regressionsgleichung wird durch die Funktion y \u003d f (x 1, x 2 ... x c) + E ausgedrückt. In dieser Situation ist y die abhängige Variable und x die erklärende Variable. Die Variable E ist stochastisch und berücksichtigt den Einfluss anderer Faktoren in der Gleichung. Die nichtlineare Regressionsgleichung ist etwas inkonsistent. Einerseits ist es in Bezug auf die berücksichtigten Indikatoren nicht linear, andererseits ist es in der Rolle der Bewertung von Indikatoren linear.

Inverse und paarweise Regressionen

Eine Umkehrung ist eine Art Funktion, die in eine lineare Form umgewandelt werden muss. In den traditionellsten Anwendungsprogrammen hat es die Form einer Funktion y = 1 / c + m * x + E. Die gepaarte Regressionsgleichung zeigt die Beziehung zwischen den Daten als Funktion von y = f(x) + E. Genau wie die anderen Gleichungen hängt y von x ab und E ist ein stochastischer Parameter.

Das Konzept der Korrelation

Dies ist ein Indikator, der die Existenz einer Beziehung zwischen zwei Phänomenen oder Prozessen anzeigt. Die Stärke der Beziehung wird als Korrelationskoeffizient ausgedrückt. Sein Wert schwankt innerhalb des Intervalls [-1;+1]. Ein negativer Indikator weist auf das Vorhandensein einer Rückmeldung hin, ein positiver Indikator auf eine direkte Rückmeldung. Wenn der Koeffizient den Wert 0 annimmt, besteht kein Zusammenhang. Je näher der Wert bei 1 liegt, desto stärker ist die Beziehung zwischen den Parametern. Je näher bei 0, desto schwächer.

Methoden

Korrelationsparametrische Methoden können die Enge der Beziehung abschätzen. Sie werden auf der Grundlage von Verteilungsschätzungen verwendet, um Parameter zu untersuchen, die dem Normalverteilungsgesetz gehorchen.

Die Parameter der linearen Regressionsgleichung sind notwendig, um die Art der Abhängigkeit und die Funktion der Regressionsgleichung zu identifizieren und die Indikatoren der gewählten Beziehungsformel auszuwerten. Das Korrelationsfeld wird als Methode zur Identifizierung einer Beziehung verwendet. Dazu müssen alle vorhandenen Daten grafisch dargestellt werden. In einem rechteckigen zweidimensionalen Koordinatensystem müssen alle bekannten Daten aufgezeichnet werden. So entsteht das Korrelationsfeld. Auf der Abszisse ist der Wert des beschreibenden Faktors aufgetragen, auf der Ordinate die Werte des abhängigen Faktors. Besteht zwischen den Parametern ein funktionaler Zusammenhang, reihen sie sich in Form einer Linie aneinander.

Wenn der Korrelationskoeffizient solcher Daten weniger als 30 % beträgt, kann man von einem nahezu vollständigen Fehlen eines Zusammenhangs sprechen. Liegt er zwischen 30 % und 70 %, deutet dies auf das Vorhandensein von Verbindungen mittlerer Festigkeit hin. Ein 100 %-Indikator ist ein Beweis für einen funktionsfähigen Zusammenhang.

Eine nichtlineare Regressionsgleichung muss ebenso wie eine lineare durch einen Korrelationsindex (R) ergänzt werden.

Korrelation für multiple Regression

Das Bestimmtheitsmaß ist ein Indikator für das Quadrat der Mehrfachkorrelation. Er spricht über die enge Beziehung zwischen den vorgestellten Indikatoren und dem untersuchten Merkmal. Es kann auch über die Art des Einflusses von Parametern auf das Ergebnis gesprochen werden. Mit diesem Indikator wird die multiple Regressionsgleichung ausgewertet.

Um den Mehrfachkorrelationsindex zu berechnen, ist es notwendig, seinen Index zu berechnen.

Methode der kleinsten Quadrate

Diese Methode ist eine Möglichkeit zur Schätzung von Regressionsfaktoren. Sein Wesen besteht darin, die Summe der quadratischen Abweichungen zu minimieren, die sich aufgrund der Abhängigkeit des Faktors von der Funktion ergeben.

Mit einer solchen Methode kann eine gepaarte lineare Regressionsgleichung geschätzt werden. Diese Art von Gleichungen wird verwendet, wenn zwischen den Indikatoren eine paarweise lineare Beziehung erkannt wird.

Gleichungsoptionen

Jeder Parameter der linearen Regressionsfunktion hat eine bestimmte Bedeutung. Die gepaarte lineare Regressionsgleichung enthält zwei Parameter: c und m. Der Parameter t zeigt die durchschnittliche Änderung des Endindikators der Funktion y, vorbehaltlich einer Abnahme (Erhöhung) der Variablen x um eine konventionelle Einheit. Wenn die Variable x Null ist, ist die Funktion gleich dem Parameter c. Wenn die Variable x nicht Null ist, ist der Faktor c wirtschaftlich nicht sinnvoll. Den einzigen Einfluss auf die Funktion hat das Vorzeichen vor dem Faktor c. Bei einem Minus kann man von einer langsamen Änderung des Ergebnisses im Vergleich zum Faktor sprechen. Liegt ein Plus vor, deutet dies auf eine beschleunigte Änderung des Ergebnisses hin.

Jeder Parameter, der den Wert der Regressionsgleichung ändert, kann durch eine Gleichung ausgedrückt werden. Beispielsweise hat der Faktor c die Form c = y – mx.

Gruppierte Daten

Es gibt solche Aufgabenbedingungen, bei denen alle Informationen nach dem Attribut x gruppiert sind, gleichzeitig aber für eine bestimmte Gruppe die entsprechenden Durchschnittswerte des abhängigen Indikators angegeben werden. In diesem Fall charakterisieren die Durchschnittswerte die Abhängigkeit des Indikators von x. Somit helfen die gruppierten Informationen, die Regressionsgleichung zu finden. Es wird als Beziehungsanalyse verwendet. Allerdings hat diese Methode ihre Nachteile. Leider unterliegen Durchschnittswerte oft externen Schwankungen. Diese Schwankungen spiegeln nicht die Muster der Beziehung wider, sie überdecken lediglich deren „Rauschen“. Durchschnittswerte zeigen Beziehungsmuster, die viel schlimmer sind als eine lineare Regressionsgleichung. Sie können jedoch als Grundlage zum Finden einer Gleichung verwendet werden. Indem Sie die Größe einer bestimmten Population mit dem entsprechenden Durchschnitt multiplizieren, erhalten Sie die Summe von y innerhalb der Gruppe. Als nächstes müssen Sie alle erhaltenen Beträge herausrechnen und den endgültigen Indikator y finden. Etwas schwieriger ist die Berechnung mit dem Summenindikator xy. Für den Fall, dass die Intervalle klein sind, können wir den Indikator x bedingt für alle Einheiten (innerhalb der Gruppe) gleich annehmen. Multiplizieren Sie es mit der Summe von y, um die Summe der Produkte von x und y zu ermitteln. Anschließend werden alle Summen addiert und man erhält die Gesamtsumme xy.

Regression mehrerer Paargleichungen: Bewertung der Bedeutung einer Beziehung

Wie bereits erwähnt, hat die multiple Regression eine Funktion der Form y = f (x 1, x 2, ..., x m) + E. Am häufigsten wird eine solche Gleichung verwendet, um das Problem von Angebot und Nachfrage nach Gütern, Zinserträgen aus zurückgekauften Aktien zu lösen und die Ursachen und Art der Produktionskostenfunktion zu untersuchen. Sie wird auch in einer Vielzahl makroökonomischer Studien und Berechnungen aktiv verwendet, auf der Ebene der Mikroökonomie wird diese Gleichung jedoch etwas seltener verwendet.

Die Hauptaufgabe der multiplen Regression besteht darin, ein Datenmodell mit einer großen Menge an Informationen zu erstellen, um weiter zu bestimmen, welchen Einfluss jeder der Faktoren einzeln und in seiner Gesamtheit auf den zu modellierenden Indikator und seine Koeffizienten hat. Die Regressionsgleichung kann verschiedene Werte annehmen. In diesem Fall werden zur Beurteilung der Beziehung üblicherweise zwei Arten von Funktionen verwendet: lineare und nichtlineare.

Eine lineare Funktion wird in Form einer solchen Beziehung dargestellt: y \u003d a 0 + a 1 x 1 + a 2 x 2, + ... + a m x m. In diesem Fall gelten a2 und a m als Koeffizienten der „reinen“ Regression. Sie sind notwendig, um die durchschnittliche Änderung des Parameters y mit einer Änderung (Abnahme oder Zunahme) jedes entsprechenden Parameters x um eine Einheit zu charakterisieren, unter der Bedingung eines stabilen Wertes anderer Indikatoren.

Nichtlineare Gleichungen haben beispielsweise die Form einer Potenzfunktion y=ax 1 b1 x 2 b2 ...x m bm . In diesem Fall werden die Indikatoren b 1, b 2 ..... b m - als Elastizitätskoeffizienten bezeichnet. Sie zeigen, wie sich das Ergebnis ändert (um wie viel %), wenn der entsprechende Indikator x um 1 % zunimmt (abnimmt). und mit einem stabilen Indikator für andere Faktoren.

Welche Faktoren sollten beim Erstellen einer multiplen Regression berücksichtigt werden?

Um eine multiple Regression korrekt zu konstruieren, ist es notwendig herauszufinden, auf welche Faktoren besonderes Augenmerk gelegt werden sollte.

Es ist notwendig, ein gewisses Verständnis für die Art der Beziehung zwischen wirtschaftlichen Faktoren und dem Modell zu haben. Die einzubeziehenden Faktoren müssen folgende Kriterien erfüllen:

• Muss messbar sein. Um einen Faktor zur Beschreibung der Qualität eines Objekts verwenden zu können, sollte ihm in jedem Fall eine quantitative Form gegeben werden.
• Es sollte keine faktorielle Interkorrelation oder funktionale Beziehung bestehen. Solche Aktionen führen meist zu irreversiblen Konsequenzen – das System gewöhnlicher Gleichungen wird bedingungslos, was seine Unzuverlässigkeit und unscharfe Schätzungen zur Folge hat.
• Bei einem großen Korrelationsindikator gibt es keine Möglichkeit, den isolierten Einfluss von Faktoren auf das Endergebnis des Indikators herauszufinden, daher werden die Koeffizienten nicht mehr interpretierbar.

Baumethoden

Es gibt eine Vielzahl von Methoden und Möglichkeiten, zu erklären, wie Sie die Faktoren für die Gleichung auswählen können. Alle diese Methoden basieren jedoch auf der Auswahl der Koeffizienten anhand des Korrelationsindex. Unter ihnen sind:

• Ausschlussmethode.
• Methode einschalten.
• Schrittweise Regressionsanalyse.

Bei der ersten Methode werden alle Koeffizienten aus dem Aggregatsatz herausgefiltert. Die zweite Methode beinhaltet die Einführung vieler zusätzlicher Faktoren. Nun, der dritte Punkt ist die Eliminierung von Faktoren, die zuvor in die Gleichung einbezogen wurden. Jede dieser Methoden hat ihre Daseinsberechtigung. Sie haben ihre Vor- und Nachteile, aber sie können das Problem der Aussortierung unnötiger Indikatoren auf ihre eigene Weise lösen. In der Regel liegen die Ergebnisse der einzelnen Methoden recht nahe beieinander.

Methoden der multivariaten Analyse

Solche Methoden zur Bestimmung von Faktoren basieren auf der Betrachtung einzelner Kombinationen miteinander verbundener Merkmale. Dazu gehören Diskriminanzanalyse, Mustererkennung, Hauptkomponentenanalyse und Clusteranalyse. Darüber hinaus gibt es auch eine Faktorenanalyse, die jedoch als Ergebnis der Entwicklung der Komponentenmethode entstanden ist. Sie alle werden unter bestimmten Umständen, unter bestimmten Bedingungen und Faktoren angewendet.

Regressionsanalyse eine Methode zur Modellierung gemessener Daten und zur Untersuchung ihrer Eigenschaften. Daten bestehen aus Wertepaaren abhängige Variable(Antwortvariable) und unabhängige Variable(erklärende Variable). Das Regressionsmodell ist eine Funktion der unabhängigen Variablen und Parameter mit einer hinzugefügten Zufallsvariablen. Die Modellparameter werden so abgestimmt, dass das Modell die Daten bestmöglich annähert. Das Gütekriterium der Approximation (Zielfunktion) ist normalerweise der mittlere quadratische Fehler: die Summe der Quadrate der Differenz zwischen den Werten des Modells und der abhängigen Variablen für alle Werte der unabhängigen Variablen als Argument. Abschnitt zur Regressionsanalyse der mathematischen Statistik und des maschinellen Lernens. Es wird davon ausgegangen, dass die abhängige Variable die Summe der Werte eines Modells und einer Zufallsvariablen ist. Bezüglich der Art der Verteilung dieses Wertes werden Annahmen getroffen, die als Datengenerierungshypothese bezeichnet werden. Um diese Hypothese zu bestätigen oder zu widerlegen, werden statistische Tests durchgeführt, die als Restanalyse bezeichnet werden. Dies setzt voraus, dass die unabhängige Variable keine Fehler enthält. Die Regressionsanalyse wird für Prognosen, Zeitreihenanalysen, Hypothesentests und die Entdeckung verborgener Beziehungen in Daten verwendet.

Definition der Regressionsanalyse

Das Beispiel ist möglicherweise keine Funktion, sondern eine Beziehung. Die Daten zum Erstellen einer Regression könnten beispielsweise sein: . In einer solchen Stichprobe entspricht ein Wert der Variablen mehreren Werten der Variablen.

Lineare Regression

Bei der linearen Regression wird davon ausgegangen, dass die Funktion linear von den Parametern abhängt. In diesem Fall ist eine lineare Abhängigkeit von der freien Variablen optional,

Für den Fall, dass die lineare Regressionsfunktion die Form hat

Hier sind Komponenten des Vektors.

Die Parameterwerte bei linearer Regression werden mit der Methode der kleinsten Quadrate ermittelt. Der Einsatz dieser Methode wird durch die Annahme einer Gaußverteilung einer Zufallsvariablen begründet.

Die Differenzen zwischen den tatsächlichen Werten der abhängigen Variablen und den rekonstruierten werden aufgerufen Regressionsresiduen(Reste). In der Literatur werden auch Synonyme verwendet: Reste Und Fehler. Eine der wichtigen Schätzungen des Qualitätskriteriums der erhaltenen Abhängigkeit ist die Summe der Quadrate der Residuen:

Hier Summe der quadrierten Fehler.

Die Varianz der Residuen wird durch die Formel berechnet

Hier mittlerer quadratischer Fehler.

Die Diagramme zeigen Stichproben, die mit blauen Punkten markiert sind, und Regressionsabhängigkeiten, die mit durchgezogenen Linien markiert sind. Auf der Abszisse ist die freie Variable aufgetragen, auf der Ordinate die abhängige Variable. Alle drei Abhängigkeiten sind bezüglich der Parameter linear.

Nichtlineare Regression

Nichtlineare Regressionsmodelle – Modelle anzeigen

was nicht als Skalarprodukt dargestellt werden kann

Wo sind die Parameter des Regressionsmodells, ist eine freie Variable aus dem Raum, ist die abhängige Variable, ist eine Zufallsvariable und ist eine Funktion aus einer bestimmten Menge.

Parameterwerte bei nichtlinearer Regression werden mit einer der Gradientenabstiegsmethoden, beispielsweise dem Levenberg-Marquardt-Algorithmus, ermittelt.

Über Begriffe

Der Begriff „Regression“ wurde Ende des 19. Jahrhunderts von Francis Galton geprägt. Galton fand heraus, dass Kinder großer oder kleiner Eltern normalerweise keine herausragende Körpergröße erben, und nannte dieses Phänomen „Regression zur Mittelmäßigkeit“. Zunächst wurde der Begriff ausschließlich im biologischen Sinne verwendet. Nach der Arbeit von Karl Pearson begann dieser Begriff in der Statistik verwendet zu werden.

In der statistischen Literatur wird zwischen der Regression mit einer freien Variablen und der Regression mit mehreren freien Variablen unterschieden eindimensional Und mehrdimensional Rückschritt. Es wird davon ausgegangen, dass wir mehrere freie Variablen verwenden, dh eine freie Variable ist ein Vektor. In besonderen Fällen, wenn die freie Variable ein Skalar ist, wird sie mit bezeichnet. Unterscheiden linear Und nichtlinear Rückschritt. Wenn das Regressionsmodell keine lineare Kombination von Funktionen von Parametern ist, spricht man von einer nichtlinearen Regression. In diesem Fall kann das Modell eine beliebige Überlagerung von Funktionen aus einer bestimmten Menge sein. Nichtlineare Modelle sind exponentielle, trigonometrische und andere (zum Beispiel radiale Basisfunktionen oder das Rosenblatt-Perzeptron), die davon ausgehen, dass die Beziehung zwischen den Parametern und der abhängigen Variablen nichtlinear ist.

Unterscheiden parametrisch Und nichtparametrisch Rückschritt. Es ist schwierig, eine klare Grenze zwischen diesen beiden Arten von Regressionen zu ziehen. Derzeit gibt es kein allgemein anerkanntes Kriterium zur Unterscheidung eines Modelltyps von einem anderen. Beispielsweise gelten lineare Modelle als parametrisch, während Modelle, bei denen die abhängige Variable über den Raum der freien Variablen gemittelt wird, als nichtparametrisch gelten. Ein Beispiel für ein parametrisches Regressionsmodell: linearer Prädiktor, mehrschichtiges Perzeptron. Beispiele für gemischte Regressionsmodelle: Radiale Basisfunktionen. Gleitender Durchschnitt eines nichtparametrischen Modells in einem Fenster einiger Breite. Im Allgemeinen unterscheidet sich die nichtparametrische Regression von der parametrischen Regression dadurch, dass die abhängige Variable nicht von einem Wert der freien Variablen abhängt, sondern von einer bestimmten Umgebung dieses Werts.

Es wird zwischen den Begriffen „Funktionsnäherung“, „Approximation“, „Interpolation“ und „Regression“ unterschieden. Es besteht aus Folgendem.

Approximation von Funktionen. Gegeben ist eine Funktion eines diskreten oder stetigen Arguments. Es ist erforderlich, eine Funktion aus einer parametrischen Familie zu finden, beispielsweise unter algebraischen Polynomen eines bestimmten Grades. Funktionsparameter müssen ein Minimum an Funktionalität bereitstellen, z. B.

Begriff Annäherung ein Synonym für den Begriff „Approximation von Funktionen“. Es wird häufiger verwendet, wenn es um eine bestimmte Funktion als Funktion eines diskreten Arguments geht. Auch hier ist es erforderlich, eine solche Funktion zu finden, die allen Punkten der gegebenen Funktion am nächsten kommt. Dies stellt das Konzept vor Reste Abstände zwischen Punkten einer stetigen Funktion und den entsprechenden Punkten einer Funktion eines diskreten Arguments.

Interpolation Funktionen sind ein Sonderfall des Approximationsproblems, bei dem es darum geht, dass an bestimmten Punkten, genannt Interpolationsknoten die Werte der Funktion und der sie annähernden Funktion stimmten überein. Im allgemeineren Fall werden den Werten einiger Derivate Beschränkungen auferlegt. Das heißt, es ist eine Funktion eines diskreten Arguments gegeben. Es ist erforderlich, eine Funktion zu finden, die durch alle Punkte geht. In diesem Fall wird die Metrik normalerweise nicht verwendet, sondern häufig das Konzept der „Glätte“ der gewünschten Funktion eingeführt.