Wenn Sie einen (idealen) schwarzen Würfel werfen, dann ist die Wahrscheinlichkeit, dass $3$ herauskommt, genau $1/6$; wenn Sie einen roten Würfen werfen, dann ist die Wahrscheinlichkeit, dass eine $5$ herauskommt, genau $1/6$; wenn sie beide Würfel gleichzeitig werfen, dann ist die Wahrscheinlichkeit, dass der schwarze eine 3 und der rote eine 5 anzeigt, genau $1/36$: unser Wahrscheinlichkeitsraum ist $\{1,\dots,6\} \times \{1,\dots,6\}$, und jedes Ergebnis hat Wahrscheinlichkeit $1/36$, so auch das Ergebnis $1/36$. Insbesondere heißt das, die Ereignisse [schwarzer Würfel ist 3] und [roter Würfel ist 5] sind unabhängig.
Definition (Unabhängigkeit). Ereignisse $A_1, \dots, A_k \subseteq \Omega$ heißen unabhängig, wenn für jede Teilmenge $I \subseteq [k]$
\begin{align} \Pr\left[\bigcap_{i \in I} A_i \right] = \prod_{i \in I} \Pr[A_i] \ . \label{eq-independence} \end{align}gilt.
Die Linke Seite von (\ref{eq-independence}) ist die Wahrscheinlichkeit, dass alle $A_i$ mit $i \in I$ eintreten. Da wir Ereignisse als Teilmengen des Wahrscheinlichkeitraumes formalisieren, ist das Ereignis, dass alle $A_i$ eintreten, der Schnitt dieser Ereignisse.
Übungsaufgabe Seien $A_1, \dots, A_k$ unabhängige Ereignisse und seien $B_1, \dots, B_k$ Ereignisse mit $B_i \in \{A_i, \bar{A}_i\}$. In Worten: Sie dürfen für jedes $i$ entweder $A_i$ oder sein Komplement $\bar{A}_i := \Omega \setminus A_i$ auswählen.
Zeigen Sie, dass die $B_1, \dots, B_k$ auch unabhängig sind.
Tipp: Gehen Sie mit Induktion vor. Nehmen Sie sich ein $i \in [k]$ und ersetzen Sie $A_i$ durch $\bar{A}_i$. Ohne Beschränkung der Allgemeinheit ist $i=1$. Zeigen Sie, dass $\bar{A}_1, A_2, \dots, A_k$ unabhängig sind. Führen Sie $a_i := \Pr[A_i]$ als Abkürzung ein, dann müssen Sie weniger schreiben.
Beispiel. Das typische Szenario ist, dass der Wahrscheinlichkeitsraum $\Omega$ selbst bereits eine Produktstruktur besitzt, also $\Omega = \Omega_1 \times \dots \times \Omega_k$ und \begin{align*} \Pr[(\omega_1,\dots,\omega_k)] = \prod_{i=1}^k \Pr_i [\omega_i] \end{align*}
für eine Wahrscheinlichkeitsverteilung $\Pr_i$ auf $\Omega_i$. und jedes Ereignis $A_i$ nur von der $i$-ten Stelle abhängt, also
\begin{align*} A_i = \Omega_1 \times \dots \times \Omega_{i-1} \times A'_i \times \Omega_{i+1} \dots \times \Omega_k \end{align*}für ein $A'_i \subseteq \Omega_i$.
Dies ist für die Ereignisse $A_1 := $ [schwarzer Würfel ergibt 3] und $A_2 := $ [roter Würfel ergibt 5] der Fall.
Übungsaufgabe Es gibt unabhängige Ereignisse, die sich nicht in die Produktstruktur des vorherigen Beispiels zwängen lassen. Zeigen Sie, dass zum Beispiel $B_2 := $ [Punktzahl des schwarzen Würfels ist gerade] und $B_3 := $ [Punktzahl des schwarzen Würfels ist durch 3 teilbar] unabhängig sind.
Übungsaufgabe Verallgemeinern Sie die vorherige Übung. Sei $\Omega = \{1,\dots,n\}$ und $\Pr$ die Gleichverteilung. Welche Bedingungen müssen $n,k,l$ erfüllen, damit die Ereignisse $A_k :=$ [$\omega$ ist durch $k$ teilbar] und $A_l := $ [$\omega$ ist durch $l$ teilbar] unabhängig sind?
Zusatzübung. Falls $A_k, A_l$ unabhängig sind, können Sie $\Omega = \{1,\dots,n\}$ irgendwie doch als Produktraum schreiben? Notfalls mit Gewalt?
Unabhängigkeit von Zufallsvariablen
Eine reellwertige Zufallsvariable ist eine Funktion $X: \Omega \rightarrow \R$ (Warnhinweis: bei endlichen Wahrscheinlichkeitsräume; bei unendlichen wird es komplizierter). Wir erweitern den Begriff der Unabhängigkeit auf Zufallsvariable:
Definition Reellwertige Zufallsvariable $X_1, \dots, X_k : \Omega \rightarrow \R$ heißen unabhängig wenn für alle $I \subseteq [k]$ und alle $(z_1,\dots,z_k) \in \R^k$
\begin{align} \Pr[X_i = z_i \ \forall i \in I] & = \prod_{i \in I} \Pr[X_i = z_i] \ . \label{eq-independence-random-var} \end{align}Lemma Seien $X_1, \dots, X_k$ unabhängige Zufallsvariable. Dann gilt
\begin{align*} \E[X_1 \cdots X_k] = \prod_{i=1}^k \E[X_i] \ . \end{align*}Beweis. Da wir nur endliche Wahrscheinlichkeitsräume $\Omega$ betrachten, ist auch das Bild jeder Zufallsvariable endlich. Sei also $R_i$ das endliche Bild von $X_i$. Somit gilt
\begin{align*} \E[X_1 \cdots X_k] & = \sum_{(z_1,\dots,z_k) \in R_1 \times \dots \times R_k} z_1 \cdots z_k \Pr[ X_i = z_i \forall i \in [k]] \\ & = \sum_{z_1 \in R_1} \dots \sum_{z_k \in R_k} z_1 \cdots z_k \prod_{i=1}^k \Pr[ X_i = z_i] \\ & = \prod_{i=1}^k \Pr[X_i = z_i] \cdot z_i \\ & = \prod_{i=1}^k \E[X_i] \ . \end{align*} \(\square\)Übungsaufgabe Zwei Zufallsvariable $X, Y: \Omega \rightarrow \R$ heißen unkorreliert wenn $\E[XY] = \E[X]\E[Y]$ gilt. Unabhängige Zufallsvariable sind also immer unkorreliert. Andersrum gilt das allerdings nicht.
Finden Sie ein Beispiel eines Wahrscheinlichkeitraumes und zweier Zufallsvariablen $X, Y$, die unkorreliert aber nicht unabhängig sind.
Tipp: Versuchen Sie, mit $\E[X] = \E[Y] = \E[XY] = 0$ zu arbeiten und überlegen Sie sich, was das "graphisch" bedeutet.