Regressionsmodelle

In diesem Kapitel werden wir uns ausführlich mit Regressionsmodellen als grundlegendes Werkzeuge der quantitativen Analyse beschäftigen. Ziel ist es, sowohl das theoretische Verständnis linearer Modelle zu vermitteln als auch deren praktische Umsetzung in Python zu beherrschen. Dazu erarbeiten wir zunächst die statistischen Grundlagen und implementieren einfache und multiple lineare Regressionen Schritt für Schritt mit NumPy, bevor wir anschließend die Ansätze etablierter Statistik-Bibliotheken wie statsmodels oder scikit-learn kennenlernen.

Für den Einstieg betrachten wir die Konstruktion einer einfachen Regressionsgeraden, um das Prinzip der Parameterschätzung und der Fehlerquadratsumme anschaulich zu verstehen, und verallgemeinern diese Überlegungen dann auf höherdimensionale Modelle. Aufbauend darauf beschäftigen wir uns mit statistischen Tests auf Regressionskoeffizienten, Konfidenzintervallen und Modellgüte sowie mit ANOVA-Konzepten, die helfen, Modelle systematisch zu bewerten.

Literatur: beispielsweise Bortz & Schuster (2011), Pruscha (2000) oder Stock & Watson (2020)

Abschließend widmen wir uns Anwendungen im Bereich der Finanzzeitreihen. Dabei stehen insbesondere die Voraussetzungen klassischer Regressionsmodelle im Vordergrund – vor allem die Annahme unabhängiger Beobachtungen – und welche Besonderheiten bei abhängigen Daten wie Rendite-Reihen beachtet werden müssen.

Motivation: Bestimmung der Regressionsgeraden¶

Scatterplots, wie im folgenden Beispiel, stellen den Zusammenhang zwischen zwei metrischen Merkmalen $X$ und $Y$ dar. Mit Hilfe von Regressionsmodellen, versucht man die Werte von $Y$ mit Hilfe von Beobachtungen $X$ durch Analyse der Stichprobenpaare $(x_1,y_1), \ldots, (x_n,y_n)$ vorherzusagen. Das einfachste Modell

unterstellt einen linearen Zusammenhang zwischen $X$ und $Y$, wobei $E$ ein zufälliges Rauschen ohne Tendenz ($\mathbb{E} E = 0$) diesen streng funktionellen Zusammenhang etwas aufweicht. Den Fehlerterm bzw. Rauschterm $E$ bezeichnet man daher auch als Residuen. Ein allgemeines Modell $Y = f(X) + E$ unterstellt einen funktionalen Zusammenhang zwischen $X$ und $Y$, der mit Hilfe der Funktion $f$ beschrieben wird. In obigen Modell ist die Funktion $f$ einfach linear mit $f(x)=a+bx$, wir können allerdings auch eine quadratische Funktion $f(x)=a+bx +cx^2$ anpassen. Allgemein bezeichnet

• $Y ...$ Regressand / abhängige bzw. zu erklärende Variable, d.h. $Y$ wird mittels $X$ erklärt

• $X ...$ Regressor / unabhängie bzw. erklärende Variable (häufig deterministisch modelliert)

wobei $X$ durchaus auch mehrdimensional sein darf. Das folgende Beispiel stellt den Zusammenhang zwischen Rechnung und Trinkgeldern dar. Der Scatterplot zeigt einen positiven Zusammenhang, je höher die Gesamtrechnung, desto höher auch die gezahlten Trinkgelder.

Das Einzeichnen der Regressionsgeraden in solch einen Scatterplot ist denkbar einfach, wir wollen uns aber jetzt näher mit der Bestimmung dieser Geraden beschäftigen.

Das Ziel der Regressionsanalyse ist es die Funktion $f$ bzw. deren beschreibenden Parameter zu schätzen durch $\hat f$. Für die einfache lineare Regression müssen daher nur noch die unbekannten Koeffizienten $a$ und $b$ der Gerade $f(x)=a+bx$ aus den Beobachtungen $(x_1,y_1), \ldots, (x_n,y_n)$ geschätzt werden. Diese Schätzwerte bezeichnen wir mit $\hat a$ und $\hat b$ und werden mittels der Methode der kleinsten Quadrate bestimmt, d.h. unter allen Werten $a \in \mathbb R$ und $b \in \mathbb R$ wählen wir diejenigen Werte $\hat a$ und $\hat b$, für die die quadrierten Fehler zwischen Beobachtungen $y_i$ und Modellvorhersagen $\hat{y}_i =\hat f(x_i) = \hat a + \hat b x_i$ insgesamt am kleinsten sind, d.h. es wird das Minimierungsproblem

gelöst. Das folgende Beispiel illustriert die Methode der kleinsten Quadrate für einen kleinen Datensatz, indem die optimal ermittelte Gerade gegen eine beliebige andere Gerade für einen kleinen Datensatz betrachtet werden.

Die Berechnung der Schätzer $\hat a$ und $\hat b$ diskutieren wir gleich im Detail, aber ein Vergleich der Residuen sowie daraus resultierend der quadrierten Residuensummen zeigt deutlich, dass die blaue Regressionsgerade deutlich besser die Daten vorhersagt als die willkürlich gewählte orange Referenzgerade. Die folgenden Tabellen vergleichen die Residuen beider Modelle

Die Minimierung der quadrierten Residuensumme sichert, dass jede beliebige andere Gerade eine größere quadrierte Residuensumme liefert. Zur Bestimmung der Kleinste-Quadrate Schätzer setzen wir den Gradienten Null

und lösen das erhaltene lineare Gleichungssystem für die Regressionskoeffizienten $a$ und $b$

und erhalten somit die empirische Regressionsgerade

wobei

die empirische Kovarianz bzw. Varianz der Stichprobendaten beschreiben.

Für obiges Tips-Beispiel können wir also die Regressionskoeffizienten einfach aus den statistischen Kennzahlen berechnen.

Natürlich können wir auch direkt mit der Least-Squares Funktion von NumPy Doku für numpy.linalg.lstsq() die kleinste Quadrate Lösung berechnen. Die Erstellung der sogenannten $n \times 2$ Designmatrix $X$, welche in der ersten Spalte nur aus Einsen und in der zweiten Spalte alle x-Werte (hier Rechnungsdaten) enthält, werden in Abschnitt Lineares Modell für die einfache Regressionsgerade noch genauer besprochen.

Bestimmtheitsma߶

Zur Modellgüte, also wie gut kann das verwendete Modell die Daten tatsächlich erklären, wird häufig das Bestimmtheitsmaß herangezogen, dessen Grundidee wir hier kurz erläutern möchten.

Die Werte $(y_1, \ldots, y_n)$ schwanken um das arithmetische Mittel $\overline{y}$ und die Frage nach dem Anteil, welcher sich durch das Regressionsmodell mit den Vorhersagewerten $(\hat y_1, \ldots, \hat y_n)$ erklären lässt, führt auf das Bestimmtheitsmaß. Anstatt der empirischen Varianz $s_y^2$ aller $y$-Werte $(y_1, \ldots, y_n)$ betrachten wir die damit sehr eng verbundene Total-Variation (TV) bzw. der Summe der quadratischen Abweichungen (SS)

Mit der Aufteilung $y_i - \overline y = {\color{red}y_i - \hat y_i } + {\color{green}\hat y_i - \overline y }$ können wir die Total-Variation aber wegen

in den grünen Anteil $\operatorname{TV}_{\mathrm{\small Modell}} = \operatorname{SS}_{\mathrm{\small Modell}}$ ($\triangleq$ Modell-Variation), der die quadratischen Abweichungen von den Modellprognosen $\hat y_i$ zum Mittel $\overline y$ entspricht und den roten Anteil $\operatorname{TV}_{\mathrm{\small Residuen}} = \operatorname{SS}_{\mathrm{\small Residuen}} = Q(\hat a, \hat b) = \sum\limits_{i=1}^n \left( y_i - \hat y_i \right)^2 = \sum\limits_{i=1}^n \hat{E}_i^2$ ($\triangleq$ Residuen-Variation), der die quadrierten Residuen zusammenfasst, splitten denn der Zwischenterm $Z$ verschwindet wegen $\hat y_i = \overline y + \frac{s_{xy}}{s_x^2} (x_i - \overline x)$ sowie

Auch für beliebige lineare Regressionsmodelle gilt die Zerlegung $\operatorname{TV}_{\mathrm{\small Total}} = {\color{red}\operatorname{TV}_{\mathrm{\small Residuen}}} + {\color{green}\operatorname{TV}_{\mathrm{\small Modell}}} = {\color{red}\operatorname{SS}_{\mathrm{\small Residuen}}} + {\color{green}\operatorname{SS}_{\mathrm{\small Modell}}}=\operatorname{SS}_{\mathrm{\small Total}}$, sofern die Koeffizienten mittels der Methode der kleinsten Quadrate ermittelt werden.

Bestimmtheitsmaß (für beliebige Regression) Das Bestimmtheitsmaß entspricht dem Verhältnis zwischen Modell-Variation und Total-Variation

und gibt damit den Anteil der Gesamtschwankung an, der sich auf das Regressions-Modell zurückführen lässt.

In obigen Tips-Beispiel lautet $R^2=0.456617$, d.h. ca. 46 Prozent der Variation der Trinkgeldwerte werden durch das einfache Modell $\hat y = \hat a + \hat b x$, d.h. den linearen Zusammenhang zur Gesamtrechnung erklärt, und die restlichen 54 Prozent gehen auf die Residuen-Variation zurück. Diese Schwankungen kann also das Modell nicht erklären und haben entweder andere Ursachen, die das Modell nicht erkennt oder die Residuen-Varianz ist allgemein eher groß.

Wegen der Zerlegung der Total-Variation in Modell- und Residuen-Variation folgt dann natürlich sofort

so dass für das Bestimmtheitsmaß immer $0 \le R^2 \le 1$ gilt. Für die lineare Regressionsgerade entsprechen die beiden extremenen Grenzfälle gerade

• $R^2=1$, d.h. alle $(x_i,y_i)$ liegen auf Geraden wegen $\operatorname{SS}_{\mathrm{\small Residuen}} = \sum\limits_{i=1}^n (y_i - \hat y_i)^2=0$, was nur für $y_i = \hat y_i$ für alle $i=1,\ldots,n$ gelten kann

• $R^2=0$, d.h. Regressionsgleichung erklärt nichts von der Total-Variation wegen $\operatorname{SS}_{\mathrm{\small Modell}} = \sum\limits_{i=1}^n (\hat y_i-\bar{y})^2 = 0 \Leftrightarrow \operatorname{SS}_{\mathrm{\small Total}} = \sum\limits_{i=1}^n (y_i-\bar{y})^2 = \sum\limits_{i=1}^n (y_i - \hat y_i)^2 = \operatorname{SS}_{\mathrm{\small Residuen}}$

Außerdem gilt für das Bestimmtheitsmaß der einfachen linearen Regression, bei der ein linearer Zusammenhang zwischen der zu erklärenden Variablen $Y$ und der univariaten uabhängigen erklärenden Variablen $X$ untersucht wird, immer $R^2 = r_{xy}^2$, d.h. das Bestimmtheitsmaß entspricht dem quadrierten Korrelationskoeffizienten

denn aus $\hat y_i = \overline y + \frac{s_{xy}}{s_x^2}(x_i- \overline x)$ folgt wieder $\hat y_i -\overline y = \frac{s_{xy}}{s_x^2}(x_i- \overline x)$ und somit

Zusammenfassend sehen wir, dass die Berechnung der Regressionskoeffizienten über die Methode der kleinsten Quadrate auf einfach zu implementierende Formeln, die von empirschen Stichprobengrößen der beobachteten Daten abhängen. Insbesondere hängt der Anstieg der Regressionsgeraden $\hat b$ von der empirischen Kovarianz bzw. Korrelation ab. Sind die empirische Kovarianz bzw. Korrelation positiv, so ist auch der Regressionskoeffizient $\hat b =\frac{s_{xy}}{s_x^2}=\frac{s_{xy}}{s_x s_y} \cdot \frac{s_y}{s_x} = r_{xy}\cdot \frac{s_y}{s_x}$ ebenfalls positiv und folglich führt eine Erhöhung von $x$ auch zu einer Erhöhung des Regressionswertes $\hat y = \hat a + \hat b x$. Genauer erhalten wir für $x_\text{neu} = x + \triangle x$ die Prognose $\hat y_\text{neu} = \hat a + \hat b x_\text{neu} = \hat a + \hat b (x + \triangle x) = \hat a + \hat b x + \hat b \triangle x = \hat y + \hat b \triangle x$ und folglich $\triangle \hat y = \hat y_\text{neu} - \hat y = \hat b \triangle x$, d.h. eine Erhöhung von $x$ um eine Einheit ($\triangle x=1$) führt zur Veränderung um $\hat b$ Einheiten für das Regressionsmodell.

Für die Regressionsgerade entspricht das Bestimmtheitsmaß, dass die Modellgüte zur Erklärung der abhängigen Variablen $Y$ mittels der unabhängigen Variablen $X$ für Daten $(x_1,y_1), (x_2,y_2), \ldots, (x_n,y_n)$ angibt, gerade dem quadrierten Korrelationskoeffizienten und dies zeigt einfach nochmals eine alternative Sichtweise auf die Erfassung des Zusammenhangs zwischen $X$ und $Y$, denn der Fall $r_{xy} = \pm 1 \Leftrightarrow R^2 = 1$ ist äquivalent zu einem perfekt linearen Zusammenhang zwischen $Y$ und $X$, welcher mit der linearen Regressionsgeraden dann natürlich perfekt wiedergegeben wird.

In den folgenden Abschnitten werden wir die Modelle zur Erklärung der unabhängigen Variablen $Y$ erweitern und aufzeigen, dass die Berechnung für alle linearen Modelle einfach durch Matrix-Vektor Operationen verallgemeinert werden kann. Zudem werden wir viel einfacher diskutieren können, wann das Modell zu einer eindeutigen Lösung führt und in welchen Konstellationen dies nicht möglich ist. Außerdem liefert diese Verallgemeinerung einen umfassenden Überblick über Methoden der induktiven Statistik, so dass für die Regressionskoeffizienten unter gewissen Voraussetzungen Konfidenzintervalle oder statistische Tests abgeleitet werden können.

Lineare Modelle¶

Bisher wurde in Abschnitt Motivation: Bestimmung der Regressionsgeraden der linearen Regression nur eine Regressionsgerade bestimmt, in dessem zugehörigen Modell die abhängige Variable $Y$ (Regressand) durch eine unabhängige Variable $X$ (Regressor) mittels einer linearen Funktion erklärt wird. Das Konzept der linearen Regression lässt sich allerdings deutlich erweitern, ohne dass die dahinterliegende Mathematik komplizierter wird, so dass beispielsweise auch eine quadratische Funktion den Einfluss von $X$ auf $Y$ erklären kann oder dass mehrere Regressoren $X_1,X_2, \ldots,X_m$ Berücksichtigung finden. Wesentlich für diese Modelle ist nur, dass die Regressionskoeffizienten linear sind. Alle diese Regressionsmodelle sind unter dem Begriff lineare Modelle zusammengefassst.

Mathematisch lassen sich alle linearen Modelle, wie beipsielswesie die multivariate lineare Regression oder ANOVA, als $Y = X \beta + E$ schreiben, wobei

• $X \triangleq$ Datenmatrix / Designmatrix des Regressors (erklärende / unabhängige Variablen)

• $Y \triangleq$ Datenvektor des Regressanden (abhängige zu erklärende Variable)

• $\beta \triangleq$ Koeffizientenvektor

• $E \triangleq$ Residuenvektor

mit dessen Lösung $\hat \beta$, die wir im folgenden Abschnitt Kleinste Quadrate Lösung des linearen Modells kurz herleiten werden

man die Prognose $\hat Y$ für die abhängige Variable $Y$ für gegebene Daten $X$ des Regressors bekommt.

Lineares Modell für die einfache Regressionsgerade¶

Zur Bestimmung der Regressionsgeraden, die wir in Abschnitt Motivation: Bestimmung der Regressionsgeraden ausführlich diskutiert haben, erhalten wir das lineare Modell wie folgt

• Koeffizientenvektor: $\beta = \begin{pmatrix} a\\ b \end{pmatrix}$

• Designmatrix: $X =

  $$\begin{pmatrix} 1 & x_1\\ 1 & x_2\\ \vdots & \vdots\\ 1 & x_n\\ \end{pmatrix}$$

  (14)

• Datenvektor: $Y = \begin{pmatrix} Y_1\\ Y_2\\ \vdots\\ Y_n \end{pmatrix}$

• Residuenvektor: $E = \begin{pmatrix} E_1\\ E_2\\ \vdots\\ E_n \end{pmatrix}$

denn $Y = X \beta + E$ entspricht gerade elementweise $Y_i = a + b x_i + E_i$ für alle $i=1, \ldots, n$.

Anmerkung: Üblicherweise modelliert man für die linearen Modelle den Residuenvektor als $n-$dimensionalen Zufallsvektor mit $\mathbb{E} E = 0$ und setzt die Beobachtungen der $X$ Variablen, die in die Designmatrix $X$ eingehen als gegeben (determinstisch) an, so dass dann die Verteilung des Zufallvektors $Y = X \beta + E$ von der Verteilung von des Residuenvektors $E$ abhängt. Soll auch $X$ als Zufallsvariable modelliert werden, entspricht die Modell-Prognose dem bedingten Erwartungswert $\hat Y = \mathbb{E}(Y | X)$.

Lineares Modell für die Anpassung einer polynomiellen Funktion¶

Für die Bestimmung der quadratischen Regressionsfunktion: $Y_i = a + bx_i + cx_i^2 + E_i$ stellen wir entsprechend einfaches folgendes lineares Modell auf:

• Koeffizientenvektor: $\beta = \begin{pmatrix} a\\ b\\ c \end{pmatrix}$

• Designmatrix: $X =

  $$\begin{pmatrix} 1 & x_1 & x_1^2\\ 1 & x_2 & x_2^2\\ \vdots & \vdots & \vdots\\ 1 & x_n & x_n^2\\ \end{pmatrix}$$

  (15)

Das Aufstellen eines Modells hat also lediglich auf Designmatrix $X$ und Koeffizientenvektor $\beta$ Einfluss, so dass die Modelle sehr einfach angepasst werden können. Das Anpassen einer polynomiellen Funktion für das Modell $Y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + \ldots + \beta_m x_i^m + E_i$ wird einfach durch die modifizierte Designmatrix $X = \begin{pmatrix} 1 & x_1 & x_1^2 & \ldots & x_1^m\\ 1 & x_2 & x_2^2 & \ldots & x_2^m\\ \vdots & \vdots & \ldots & \vdots\\ 1 & x_n & x_n^2 & \ldots & x_n^m\\ \end{pmatrix}$ und Koeffizientenvektor $\beta = \begin{pmatrix} \beta_0\\ \beta_1\\ \vdots \\ \beta_m \end{pmatrix}$ beschrieben.

Lineare Regression mit $m$ Prediktoren / Regressoren¶

Ebenso können wir jetzt mehrere Prediktoren zur Modellierung $Y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \ldots \beta_m x_{mi} + E_i$ aufnehmen, so dass

• Koeffizientenvektor: $\beta = \begin{pmatrix} \beta_0\\ \beta_1\\ \vdots \\ \beta_m \end{pmatrix}$ und

• Designmatrix: $X =

  $$\begin{pmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1m}\\ 1 & x_{21} & x_{22} & \cdots & x_{2m}\\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2} & \cdots & x_{nm}\\ \end{pmatrix}$$

  (16)

zu wählen sind.

Kleinste Quadrate Lösung des linearen Modells¶

Wir betrachten das lineare Modell

wobei $X\in\mathbb R^{n\times p}$, ($p = m+1$) die Designmatrix, $Y\in\mathbb R^{n}$ der Datenvektor, $\beta\in\mathbb R^{p}$ der unbekannte Koeffizientenvektor und $E \in \mathbb R^n$ der Residuenvektor ist. Üblicherweise ist Anzahl der Daten $n>p$. Gesucht ist die Kleinste-Quadrate-(KQ/OLS)-Schätzung

Ableitung der Normalengleichungen¶

Durch Ausmultiplizieren und Ableiten erhalten wir

Der Gradientenvektor $\nabla$, d.h. der Vektor der partiellen Ableitungen der Residuenquadratsumme $\frac{ \partial Q(\beta)}{\partial \beta_k}$, $k=0,1,\ldots,m$ lautet

Setzt man $\nabla_\beta Q(\beta)=0$, entstehen die Normalengleichungen

Falls die Designmatrix $X$ vollen Spaltenrang hat ($\mathrm{rang}(X)=p$), ist $X^{\top}X$ invertierbar und es gilt die geschlossene Form

Diese Matrixform verallgemeinert die in Abschnitt Motivation: Bestimmung der Regressionsgeraden hergeleiteten Formeln der einfachen Regression und zeigt gleichzeitig auf, wie wir lineare Regressionsmodelle mittels NumPy einfach selbstständig berechnen können. Mittels der letzten Gleichung folgt für zentrierte Residuen $E$ mit $\mathbb{E}E=0$ und $\Sigma = \operatorname{cov}(E) = \mathbb{E} \left( E^\top E \right)$

Mit der kleinste Quadrate Lösung erhalten wir außerdem

wobei $P_L$ den Projektionsoperator auf den linearen Unterraum $L = \operatorname{range}(X)=\left\lbrace y \in \mathbb{R}^n: \, y = X \beta, \beta \in \mathbb{R}^p \right\rbrace$, der durch die Spalten der Designmatrix $X$ aufgespannt wird, und $P_{L^\perp} = I - P_L$ den Projektionsoperator auf den orthogonalen Unterraum $L^\perp = \left\lbrace v \in \mathbb{R}^n: v^\top X \beta = 0, \, \beta \in \mathbb{R}^p \right\rbrace$.

Folglich erhalten wir

Unter den Standardannahmen der linearen Modell, dass die Residuen aller beobachteten Daten identisch und unabhängig verteilt sind und einer Normalverteilung folgen, reduziert sich die Kovarianzmatrix auf eine Diagonalmatrix mit

erhält man also einfach für die Kovarianzmatrizen

und wegen der Normalverteilungsannahme der Residuen

$E \sim \mathcal{N}_p \left( 0, \Sigma \right)=\mathcal{N}_p \left( 0, \sigma^2 I \right) \Leftrightarrow E_i \sim \mathcal{N}(0,\sigma^2)$ (iid) folglich für die geschätzten Koeffizienten ebenfalls die multivariate Normalverteilung

welche Grundlage für zahlreiche statistische Tests, die wir in Abschnitt Statistische Tests im linearen Modell näher betrachten, bildet.

Umsetzung mit NumPy¶

Für obigen Trinkgeld-Datensatz...

Lösung des Least-Squares Problems

Umsetzung mit Statistik-Paketen¶

Es gibt zahlreiche Pakete, mit deren Hilfe Regressionsmodelle berechnet werden können. Wir betrachten die folgenden Pakete

• Statsmodels
  Klassisches Statistik-Framework (ähnlich wie in R): liefert Regressionskoeffizienten, Standardfehler, p-Werte, Konfidenzintervalle, ANOVA, Diagnoseplots und robuste Standardfehler.
  Ideal für: wissenschaftliche Statistik, Ökonometrie, Finance, detaillierte Modellanalyse

• sklearn
  Machine-Learning-Bibliothek mit Fokus auf Vorhersagemodellen. Schnelle, robuste Implementierung von linearer Regression, aber ohne statistische Tests oder p-Werte.
  Ideal für: Vorhersage, ML-Pipelines, skalierbare Modelle

• scipy
  Sehr einfache Möglichkeit für eine klassische lineare Regression (y~x). Gibt Steigung, Intercept, r-Wert, p-Wert und Standardfehler zurück – kompakt und leicht zu verwenden.
  Ideal für: schnelle Analysen, einfache lineare Zusammenhänge

• linearmodels (Installation via pip!)
  Erweiterte Ökonometrie-Bibliothek: OLS, IV/2SLS, GMM, Fama-MacBeth, Paneldaten (Fixed/Random Effects) und cluster-robuste Fehler.
  Ideal für: Finance, Ökonometrie, Paneldatenmodelle, Faktorrecherche (CAPM, Fama-French).

Alternativ kann die Designmatrix auch erstellt werden, indem das Modell mittels Formeln beschrieben wird:

Statistische Tests im linearen Modell¶

Alle obigen Ausgaben enthalten zusätzliche Informationen zu statistischen Tests, die für das gesamte Modell, die einzelnen Koeffizienten sowie die Residuen durchgeführt werden. Diese Tests basieren auf der Normalverteilungsannahme der unabhängigen und varianzhomogenen Residuen, wie wir am Ende von Abschnitt Kleinste Quadrate Lösung des linearen Modells diskutiert haben.

Wir betrachten hier das 1. Modell, welches mittels ‘statsmodels’ durch Formeln beschrieben wurde etwas genauer

Die Freiheitsgrade ergeben sich direkt aus dem Modell und können unmittelbar aus der $n \times p$ Designmatrix mit $n$ (Anzahl der beobachteten Daten) Zeilen und $p$ (Anzahl der Modell-Parameter, d.h. Länge des Koeffizienten-Vektors $\beta$) abgeleitet werden.

Die Anova-Tabelle des Modells zeigt die wichtigsten Quadratsummen bzw. davon abgeleitete Mean Squares (Quadratsumme skaliert mit Freiheitsgraden), mit deren Hilfe der Fisher-Test mit der Nullhypothese $H_0: \beta_1 = \ldots = \beta_{p-1} = 0$ berechnet wird

Da die Fisher-Statistik sehr groß ist, ist der entsprechende p-value $P(F>203.358) = 6.692471e-34$ extrem klein, so dass die Nullhypothese verworfen wird und somit ein signifikanter Nachweis des Modells gegeben ist. Genauer lautet ja die Modell-Prognose $\hat Y = X \hat \beta$, d.h. für gegebenes $x$ (hier die Gesamtrechnung) wird für unser Modell, welches auf der einfachen Regressionsgerade basiert somit $\hat y = \hat \beta_0 + \hat \beta_1 x = \hat a + \hat b$ vorhergesagt. Unter der Nullhpythese, die sich hier wegen $p-1=1$ nur auf $H_0: \beta_1 = b=0$ reduziert, würde dann allerdings nur noch die triviale Prognose $\hat y = \hat \beta_0 = \hat a = \overline y$ ergeben. Da die Nullhypthese allerdings verworfen wird, haben wir somit den Nachweis, dass das Modell signifikant zur Erklärung der zu erklärednen Variablen $Y$ beitragen kann.

Die Tabelle der Regressionskoeffizienten enthält jeweils einen t-Test für $H_0: \beta_i = 0$, welcher auf der Normalverteilungsannahme der Residuen (sowie deren Unabhängigkeit und Varianzhomogenität), die wir ausführlich in Abschnitt Kleinste Quadrate Lösung des linearen Modells diskutiert haben, und daraus resultierend aus

Die letzte Tabelle der ausführlichen Auswertungstabelle enthält eine Zusammenfassung der Residuen-Auswertung, welche eine Überprüfung obiger Testvoraussetzungen wie der Normalverteilung, Unabhängigkeit und Varianzhomogenität zulassen.

Varianzanalyse (ANOVA) als lineares Modell¶

Im vorherigen Abschnitt haben wir gesehen, dass bei der Auswertung linearer Modelle ANOVA-Tabellen erzeugt werden. ANOVA steht für Analysis of Variance und basiert auf der Zerlegung der Totalvariation, die wir für Regressionsmodelle bereits diskutiert haben.

Die einfaktorielle ANOVA untersucht den Einfluss einer kategoriellen Variablen mit $m$ verschiedenen Ausprägungen auf die metrische Variable $Y$. Alle bisher betrachteten linearen Regressions-Modelle hatten nur metrische Variablen als Regressoren bzw. erklärenden Variablen im Modell zur Vorhersage von $Y$ modelliert. Wir wollen hier nur die Grundidee veranschaulichen und aufzeigen wie sich die ANOVA in das Konzept der linearen Modelle integriert.

Oben haben wir bereits den Einfluss der Gesamtrechnung auf das Trinkgeld mittels eines einfachen linearen Regressionsmodells untersucht und gesehen, dass das Bestimmtheitsmaß $R^2\approx 0.46$ beträgt. Somit lassen sich ca. 46 Prozent der Variation der Trinkgeldwertes durch das Modell, welches einen linearen Zusammenhang zur Gesamtrechnung ansetzt, erklären und die verbleibenden 54 Prozent der Schwankung gehen auf die Residuen zurück. Andere Einflussfaktoren auf das gezahlte Trinkgeld, wie beispielsweise die Kundenzufriedenheit mit Service und Essensqualität werden von dem Modell nicht berücksichtigt und können natürlich die Schwankungen zusätzliche beeinflussen, so dass die Residuen automatisch größer werden. Ein statistisches Modell kann natürlich versuchen auch mehrere Einflussfaktoren gleichzeitig aufzunehmen, wenn die Daten dies zulassen. Der Tips-Datensatz enthält neben der Gesamtrechnung und den Trinkgeldern beispielsweise noch den Wochentag und die Information, ob die Gäste mittags oder abends im Restaurant waren.

Die folgende Graphik zeigt beispielsweise den Zusammenhang der metrischen Variablen in Abhängigkeit von der Zeit

Zur Illustration wie die ANOVA funktioniert, wollen wir jeweils den Einfluss des Wochentags und der Tageszeit auf die gezahlten Trinkgelder betrachten.

Die folgenden Boxplots visualisieren den Zusammenhang zwischen Trinkgeld und Wochentag bzw. Trinkgeld und Tageszeit.

Die relevanten Zahlen zu der können wir natürlich auch einfach berechnen:

Die Werte und die Boxplots zeigen, dass beide Faktoren einen leichten Einfluss auf die Trinkgelder haben könnten. Eine objektive Entscheidung, ob die Unterschiede nur zufällig oder wirklich systematisch sind, kann mittels ANOVA statistisch beantwortet werden.

Im ersten Beispiel sehen wir $m=4$ und im zweiten Beispiel $m=2$ Gruppen.

Allgemein können die Daten für die einfaktorielle Varianzanalyse mit insgesamt $n=n_1+\ldots+n_m$ Daten aus den $m$ Gruppen wie folgt übersichtlich gruppenweise dargestellt werden.

Der Index $k=1$ stellt die Stichprobenwerte der ersten Gruppe, hier also dem Wochentag Thur / Do dar, $k=2$ alle TRinkgelder für Freitag usw. Allgemein beschreibt der Wert $Y_{kj}$ also im ersten Beispiel das Trinkgeld des $j$-ten Gastes am $k$-ten Tag.

Varianzzerlegung der ANOVA¶

Das statistische Modell der ANOVA für den $j$-ten Messwert der $k$-ten Gruppe als Zufallsvariable

mit unabhängigen und identisch verteilten überlagerten Fehlerterm $E_{kj} \sim \mathcal{N}(0,\sigma^2)$ dar, so dass $\mathbb{E}(Y_{kj}) = \mu_k$ und folglich die Prognose mit $\hat Y_k = \hat \mu_k = \overline Y_k$ dem Gruppenmittel entspricht.

Die Varianzanalyse basiert auf der Zerlegung der Gesamtvariation der abhängigen Variablen, hier also den Trinkgeldern in einen Modell-Anteil, genauer die Variation, die auf den Faktor, welchen wir einfach mit $A$ bezeichnen werden (Variation zwischen den Gruppen) und den Residuen-Anteil (Variation innerhalb der Gruppen), ähnlich wie wir es bei der Herleitung des Bestimmtheitsmaßes gesehen haben.

Unter der Nullhypothese $H_0: \, \mu_1 = \mu_2 = \ldots = \mu_m$ und obiger Annahme unabhängiger und normalverteilter Fehlerterme $E_{kj} \sim \mathcal{N}(0,\sigma^2)$ mit homogenen Varianzen ($\sigma^2$ hängt also nicht von Gruppe $k$ ab) besitzt die Testgröße