\documentclass[11pt,a4paper]{report}
\usepackage[ansinew]{inputenc}
\usepackage[margin=2.5cm,nohead]{geometry}
\usepackage{empheq}
\usepackage{epic}
\usepackage{cancel}
\usepackage{color}
\usepackage[OT2, OT1]{fontenc}     % OT2 fuer kyrillishe namen
\usepackage[russian, ngerman]{babel}
\definecolor{grau}{rgb}{0.5,0.5,0.5}
\usepackage{amssymb}
\usepackage{trfsigns}  % fourier transf.
\usepackage{amsmath}
\DeclareMathOperator*{\res}{Res}
\usepackage{bbm}    % mathbb fornts mit zahlen
\usepackage{makeidx}
\makeindex
\usepackage{wasysym}
\usepackage{ngerman,latexsym,alltt,graphicx,textcomp}
\usepackage[pdfstartview=FitH, bookmarks, colorlinks=false, pdftitle={Mitschrift Systhemtheorie Prof. Hoffmann}, pdfauthor={Fabian Kurz}, pdfsubject={Systemtheorie}, pdfkeywords={Mathematik Elektrotechnik Systemtheorie}, linkbordercolor={1 1 1}]{hyperref}
\usepackage{xy}
\input xy
\xyoption{all}
\date{Zuletzt aktualisiert:\\\today}
\author{Fabian~Kurz\\\href{http://fkurz.net/}{http://fkurz.net/}}
\title{Systemtheorie III -- WS 05/06\\Prof. Dr.-Ing. habil. Hoffmann, TU Dresden\\Mitschrift}
\begin{document}
\setlength{\parindent}{0pt}
\renewcommand{\thesection}{\arabic{section}}
\setcounter{tocdepth}{3}
\maketitle
\pagenumbering{Roman}
\tableofcontents
\newpage
\setcounter{secnumdepth}{3}
\setcounter{section}{7}
\setcounter{subsection}{0}
\pagenumbering{arabic}
\setcounter{secnumdepth}{-1}    % so erscheint es ohne nr. im inhaltsverz.
\chapter{Teil 4: Stochastische Signale und Systeme}
\setcounter{secnumdepth}{3}

\begin{minipage}{5.3cm}
\center
\begin{picture}(120,70)
\put(20,35){\vector(1,0){100}}
\put(25,0){\vector(0,1){70}}
\put(23,60){\makebox(0,0)[r]{$x(t)$}}
\put(110,32){\makebox(0,0)[t]{$t$}}
\qbezier(25,35)(26,63)(29,65)
\qbezier(29,65)(31,68)(32,55)
\qbezier(32,55)(33,48)(35,57)
\qbezier(35,57)(36,60)(37,57)
\qbezier(37,57)(38,55)(40,55)
\qbezier(40,55)(42.3,56)(42,15)
\qbezier(42,15)(42.5,10)(44,17)
\qbezier(44,17)(45,17)(47,40)
\qbezier(47,40)(49,55)(52,35)
\qbezier(52,35)(54,15)(56,48)
\qbezier(56,48)(57,70)(58,20)
\qbezier(58,20)(60,10)(62,40)
\qbezier(62,40)(63,45)(65,45)
\qbezier(65,45)(67,45)(67,55)
\qbezier(67,55)(70,66)(70,12)
\qbezier(70,12)(71,0)(72,20)
\qbezier(72,20)(73.5,30)(75,15)
\qbezier(75,15)(75,10)(77,10)
\qbezier(77,10)(79,10)(79,28)
\qbezier(79,28)(80,35)(83,15)
\qbezier(83,15)(84,08)(87,50)
\qbezier(87,50)(88,55)(92,34)
\qbezier(92,34)(94,28)(96,40)
\end{picture}
\end{minipage}%
\begin{minipage}{5.3cm}
\center
\begin{picture}(120,70)
\multiput(4,35)(122,0){2}{\circle{2}}
\multiput(5,35)(100,0){2}{\line(1,0){20}}
\multiput(25,15)(80,0){2}{\line(0,1){40}}
\multiput(25,15)(0,40){2}{\line(1,0){80}}
\put(65,35){\makebox(0,0){System}}
\end{picture}
\end{minipage}%
\begin{minipage}{5.3cm}
\center
\begin{picture}(120,70)
\put(5,35){\makebox(0,0){?}}
\end{picture}
\end{minipage}%
\section{Stochastische Signale}
\subsection{Grundlagen}
\subsubsection{Eindimensionale Zufallsgr"o"sen}
Voraussetzungen:
\begin{itemize}
\item zuf"allige Ereignisse
\item Wahrscheinlichkeit
\item bedingte Wahrscheinlichkeit
\item Bayessche Formel
\item eindimensionale Zufallsgr"o"se
\end{itemize}

\bigskip

\begin{minipage}{10cm}
\begin{picture}(200,100)
\put(60,50){\oval(80,50)}
\put(08,80){$\Omega$}
\put(15,78){\line(1,-1){10}}
\put(65,53){\circle*{3}}
\put(58,43){$\omega$}
\put(150,0){\line(0,1){100}}
\put(153,90){$\mathbb R$}
\qbezier(65,53)(100,75)(150,75)
\put(110,75){$X$}
\put(150,75){\vector(1,0){0}}
\put(153,75){\makebox(0,0)[l]{$x=X(\omega)$}}
\end{picture}
\end{minipage}%
\begin{minipage}{6cm}
\begin{tabular}{ll}
$\Omega$: & Ereignisraum\\
$\omega$: & Elementarereignis\\
$X$: & Zufallsgr"o"se\\
$x$: & Wert der Zufallsgr"o"se
\end{tabular}
\bigskip

$X:\Omega \longrightarrow \mathbb R$, \qquad $x = X(\omega)$

\end{minipage}%

\begin{picture}(200,60)
\put(5,20){\makebox(0,0)[l]{Zufallsgr"o"se}}
\put(70,22){\vector(2,1){15}}
\put(70,18){\vector(2,-1){15}}
\put(90,10){\makebox(0,0)[l]{stetig (z.B. Lebensdauer)}}
\put(90,30){\makebox(0,0)[l]{diskret (z.B. Ergebnis des W"urfelns)}}
\end{picture}

\bigskip

\subsubsection*{M"oglichkeiten zur Beschreibung der Zufallsgr"o"se $X$:}
\begin{enumerate}
\renewcommand{\labelenumi}{\alph{enumi})}
\item \textbf{Verteilungsfunktion} $F_X$

\begin{minipage}{6cm}
\[\boxed{\quad F_X(\xi) = P\{X < \xi\} \vphantom{\Big|}\quad}\]
\end{minipage}%
\begin{minipage}{9cm}
$F_X$ gibt die Wahrscheinlichkeit daf"ur an, da"s die Zufallsgr"o"se $X$ einen
Wert annimmt, der kleiner als $\xi$ ist.
\end{minipage}%

\bigskip
\bigskip

\begin{minipage}{7cm}
\center
Beispiel f"ur diskrete ZG:

\bigskip

\begin{picture}(150,100)
\put(25,15){\vector(0,1){80}}
\put(20,20){\vector(1,0){130}}
\put(23,85){\makebox(0,0)[r]{$F_X(\xi)$}}
\multiput(40,18)(15,0){6}{\line(0,1){4}}
\put(40,12){\makebox(0,0){$1$}}
\put(55,12){\makebox(0,0){$2$}}
\put(70,12){\makebox(0,0){$3$}}
\put(85,12){\makebox(0,0){$4$}}
\put(100,12){\makebox(0,0){$5$}}
\put(115,12){\makebox(0,0){$6$}}
\put(145,12){\makebox(0,0){$\xi$}}
\multiput(24,68)(4,0){30}{\line(1,0){2}}
\put(21,68){\makebox(0,0)[r]{$1$}}
\thicklines
\multiput(25,20)(15,8){7}{\line(1,0){15}}
\multiput(40,20)(15,8){6}{\line(0,1){8}}
\put(115,68){\line(1,0){30}}
\thinlines
\qbezier(84,48)(70,50)(70,55)
\put(68,56){\makebox(0,0)[b]{$\scriptstyle P(\xi=4)$}}
\end{picture}
\end{minipage}\hfill
\begin{minipage}{7cm}
\center
Beispiel f"ur stetige ZG:

\bigskip

\begin{picture}(150,100)
\put(25,15){\vector(0,1){80}}
\put(10,20){\vector(1,0){140}}
\put(23,85){\makebox(0,0)[r]{$F_X(\xi)$}}
\put(145,12){\makebox(0,0){$\xi$}}
\multiput(24,68)(4,0){30}{\line(1,0){2}}
\put(21,68){\makebox(0,0)[r]{$1$}}
\thicklines
\qbezier(10,22)(30,25)(50,40)
\qbezier(50,40)(80,63)(120,65)
\end{picture}
\end{minipage}

\bigskip

Eigenschaften von $F_X$:
\begin{enumerate}
\renewcommand{\labelenumii}{\arabic{enumii})}
\item $0 \leq F_X(\xi) \leq 1$
\item $F_X(-\infty) = 0, \quad F_X(+\infty) = 1$
\item $F_X$ ist linksseitig stetig und nicht fallend
\end{enumerate}

\bigskip

\item \textbf{Dichtefunktion} $f_X$

Gibt es eine integrierbare Funktion $f_X$ derart, da"s
\[\boxed{\quad F_X(\xi) = \int\limits_{-\infty}^{\xi} f_X(x)\,dx
\quad}\]
dann hei"st $f_X$ \emph{Dichtefunktion} (\emph{Dichte}) der Zufallsgr"o"se $X$.

\bigskip
\bigskip

\begin{minipage}{7cm}
\center
Beispiel f"ur diskrete ZG:

\bigskip

\begin{picture}(150,100)
\put(25,15){\vector(0,1){80}}
\put(20,20){\vector(1,0){130}}
\put(23,85){\makebox(0,0)[r]{$f_X(x)$}}
\multiput(40,18)(15,0){6}{\line(0,1){4}}
\thicklines
\multiput(40,20)(15,0){6}{\vector(0,1){30}}
\thinlines
\multiput(40,60)(15,0){6}{\makebox(0,0){$\frac 1 6$}}
\put(40,12){\makebox(0,0){$1$}}
\put(55,12){\makebox(0,0){$2$}}
\put(70,12){\makebox(0,0){$3$}}
\put(85,12){\makebox(0,0){$4$}}
\put(100,12){\makebox(0,0){$5$}}
\put(115,12){\makebox(0,0){$6$}}
\put(145,12){\makebox(0,0){$x$}}
\end{picture}
\end{minipage}\hfill
\begin{minipage}{7cm}
\center
Beispiel f"ur stetige ZG:

\bigskip

\begin{picture}(150,100)
\put(25,15){\vector(0,1){80}}
\put(10,20){\vector(1,0){140}}
\put(23,85){\makebox(0,0)[r]{$f_X(x)$}}
\put(145,12){\makebox(0,0){$x$}}
\put(52,12){\makebox(0,0){$a$}}
\put(88,12){\makebox(0,0){$b$}}
\multiput(52,19)(0,4){6}{\line(0,1){2}}
\multiput(88,19)(0,4){6}{\line(0,1){2}}

\qbezier(52,40)(57,45)(57,45)
\qbezier(52,35)(66,49)(66,49)
\qbezier(52,30)(72,50)(72,50)
\qbezier(52,25)(76,49)(76,49)
\qbezier(52,20)(80,48)(80,48)
\qbezier(57,20)(83,46)(83,46)
\qbezier(62,20)(86,44)(86,44)
\qbezier(67,20)(88,41)(88,41)
\qbezier(72,20)(88,36)(88,36)
\qbezier(77,20)(88,31)(88,31)
\qbezier(82,20)(88,26)(88,26)
\thicklines
\qbezier(10,22)(30,22)(50,40)
\qbezier(50,40)(70,60)(90,40)
\qbezier(90,40)(110,22)(130,22)
\end{picture}
\end{minipage}

\bigskip

\begin{minipage}{5.5cm}
Eigenschaften von $f_X$:
\begin{enumerate}
\renewcommand{\labelenumii}{\arabic{enumii})}
\item $f_X(x) \geq 0$
\item $\int\limits_{-\infty}^{\infty}f_X(x)\,dx = 1$
\item $\frac{dF_X(\xi)}{d\xi} = f_X(\xi)$
\end{enumerate}
\end{minipage}
\begin{minipage}{9cm}
Wichtige Gleichung: 

\vspace{-6.5pt}

\[\boxed{\quad P(a \leq X \leq b) = F_X(b) - F_X(a) =
\int\limits_a^b f_X(x)\,dx\quad}\]

\bigskip
\end{minipage}

\item \textbf{Mittelwerte, Momente, Erwartungswert}
\end{enumerate}
{\small
\begin{tabular}{c@{}cccp{2.9cm}}
Ord. & Symbol & $X$ stetig & $X$ diskret & Bezeichnung \\
\hline
\multicolumn{5}{c}{Gew"ohnliche Momente}\\
$1.$ & $E(X)$ & $\int\limits_{-\infty}^{\infty} x \cdot f_X\,dx$ & $\sum\limits_i
x_i \cdot P\{X=x_i\}$ &\raggedright Mittelwert, Erwartungswert,
Gleichanteil\tabularnewline
$2.$  & $E(X^2)$ &  $\int\limits_{-\infty}^{\infty} x^2 \cdot f_X\,dx$ &
$\sum\limits_i {x_i}^2 \cdot P\{X=x_i\}$ &\raggedright Quadratischer
Mittelwert, Effektivwertquadrat \tabularnewline
$\vdots$  \\
$n.$  & $E(X^n)$ &  $\int\limits_{-\infty}^{\infty} x^n \cdot f_X\,dx$ &
$\sum\limits_i {x_i}^n \cdot P\{X=x_i\}$ &\raggedright Gew"ohnliches Moment
$n$-ter Ordnung \tabularnewline
\multicolumn{5}{c}{Zentrale Momente}\\
$1.$ & $E(X-E(X))$ & $0$ & $0$ \\
$2.$ & $E[(X-E(X))^2]$ & $\int\limits_{-\infty}^{\infty} (X-E(X))^2 f_X(x)\,dx$
& $\sum\limits_i (X-E(X))^2 P\{X=x_i\}$ & \raggedright Dispersion,\\ Varianz \tabularnewline
$\vdots$ \\
$n.$ & $E[(X\!-\!E(X))^n]$ & $\int\limits_{-\infty}^{\infty} (X\!-\!E(X))^n f_X(x)\,dx$
& $\sum\limits_i (X-E(X))^n P\{X=x_i\}$ & \raggedright Zentr. Moment $n$-ter
Ordnung \tabularnewline
\hline
\end{tabular}
}

\bigskip

Diskussion:
\begin{itemize}
\item $E(X)$ ist ein zentraler Wert der Zufallsgr"o"se $X$, um den sich die
Werte von $X$ gruppieren.
\item Der Effektivwert $\sqrt{E(x^2)}$ ist die \emph{Norm} der Zufallsgr"o"se.
\item Die Varianz $E[(X-E(X))^2] = \mathrm{Var}(X) = D^2(X)$ beschreibt die
Streuung der  Werte von $X$ um den Erwartungswert
\end{itemize}

\subsubsection{Mehrdimensionale Zufallsgr"o"sen}
\begin{description}
\item[Beispiel:] Scheibenschie"sen $\to$ Zahlenpaar $(x_1,x_2)$ 
% trivialgrafik gespart
\item[Definition:] Bezeichnen $X_1,\, X_2,\,\ldots , X_n$ eindimensionale
Zufallsgr"o"sen, so hei"st $X = (X_1,\,X_2,\,$ $\ldots,\,X_n)$
\emph{$n$-dimensionale Zufallsgr"o"se} oder \emph{zuf"alliger Vektor}.
\end{description}

\begin{minipage}{10cm}
\begin{picture}(200,100)
\put(60,50){\oval(80,50)}
\put(08,80){$\Omega$}
\put(15,78){\line(1,-1){10}}
\put(65,53){\circle*{3}}
\put(58,43){$\omega$}
\multiput(150,0)(40,0){3}{\line(0,1){100}}
\multiput(153,90)(40,0){3}{$\mathbb R$}
\qbezier(65,53)(100,75)(150,75)
\put(110,75){$X$}
\put(150,75){\vector(1,0){0}}
\put(153,75){\makebox(0,0)[l]{$x_1$}}
\put(193,45){\makebox(0,0)[l]{$x_2$}}
\put(208,93){\makebox(0,0)[l]{$\cdots$}}
\put(233,20){\makebox(0,0)[l]{$x_n$}}
\qbezier(150,75)(170,45)(190,45)
\qbezier(190,45)(210,20)(230,20)
\end{picture}
\end{minipage}%
\begin{minipage}{6cm}
\center
\[X:\Omega \longrightarrow \mathbb R^n\]
\[X(\omega) = (X_1,\,X_2,\,\ldots,\,X_n)\]
\end{minipage}%

\bigskip

Im Weiteren meist Beschr"ankung auf $n = 2$, d.h. $X = (X_1,\,X_2)$.

\newpage

\subsubsection*{Mathematische Beschreibung zweidimensionaler Zufallsgr"o"sen}

\begin{enumerate}
\renewcommand{\labelenumi}{\alph{enumi})}
\item \textbf{Verteilungsfunktion }$F_X$

\begin{minipage}{6cm}
\center
\begin{picture}(150,105)
\put(50,0){\vector(0,1){100}}
\put(0,30){\vector(1,0){150}}
\put(47,90){\makebox(0,0)[r]{$\mathbb R$}}
\put(140,27){\makebox(0,0)[t]{$\mathbb R$}}
\put(47,70){\makebox(0,0)[r]{$\xi_2$}}
\put(110,27){\makebox(0,0)[t]{$\xi_1$}}
\multiput(0,70)(4,0){9}{\line(1,0){2}}
\multiput(49,70)(4,0){16}{\line(1,0){2}}
\multiput(110,0)(0,4){4}{\line(0,1){2}}
\multiput(110,29)(0,4){11}{\line(0,1){2}}
\multiput(0,0)(10,0){5}{\line(1,1){70}}
\put(50,0){\line(1,1){60}}
\put(60,0){\line(1,1){50}}
\put(70,0){\line(1,1){40}}
\put(80,0){\line(1,1){30}}
\put(90,0){\line(1,1){16}}
\put(100,0){\line(1,1){10}}
\put(0,10){\line(1,1){60}}
\put(0,20){\line(1,1){43}}
\put(0,30){\line(1,1){33}}
\put(0,40){\line(1,1){30}}
\put(0,50){\line(1,1){20}}
\put(0,60){\line(1,1){10}}
\end{picture}
\end{minipage}%
\hfill
\begin{minipage}{9cm}
\center
\[\boxed{\quad \vphantom{\int_a^a} F_X(\xi_1,\,\xi_2) = P\{X_1 < \xi_1,\, X_2 <
\xi_2\} \quad}\]
\end{minipage}%

\subsubsection*{Eigenschaften von $F_X$:}
\begin{enumerate}
\renewcommand{\labelenumii}{\arabic{enumii})}
\item $0 \leq F_X(\xi_1,\xi_2) \leq 1$
\item $F_X(-\infty,\xi_2) = F_X(\xi_1,-\infty) = F_X(-\infty,-\infty) = 0, \
F_X(+\infty,+\infty) =1$
\item $F_X$ ist linksseitig stetig und nichtfallend in jeder der Komponenten
$\xi_1$ und $\xi_2$.
\end{enumerate}

\item \textbf{Dichtefunktion} $f_X$

Gibt es eine Funktion $f_X$, so da"s
\[\boxed{\quad \vphantom{\int_a^a} F_X(\xi_1,\xi_2) =
\int\limits_{-\infty}^{\xi_2} \int\limits_{-\infty}^{\xi_1}
f_X(x_1,x_2)\,dx_1\,dx_2, \quad}\]
so hei"st $f_X(x_1,x_2)$ \emph{Dichtefunktion} des zuf"alligen Vektors $X =
(X_1,\,X_2)$.
\paragraph{Beispiel:} Normalverteilung

\begin{minipage}{7.5cm}
\center
\begin{picture}(150,150)
\put(30,51){\vector(0,1){80}}
\put(25,60){\vector(3,-2){80}}
\put(25,55){\vector(3,1){110}}
\multiput(60,35)(6,2){7}{\qbezier(0,0)(0,0)(3,1)}
\multiput(67,70)(6,-4){6}{\qbezier(0,0)(0,0)(3,-2)}
\multiput(99,48)(0,6){10}{\line(0,1){4}}
\qbezier(60,38)(73,40)(82,72)
\qbezier(82,72)(90,106)(99,106)
\qbezier(140,63)(124,57)(117,78)
\qbezier(117,78)(108,109)(99,106)
\qbezier(67,72)(84,70)(87,82)
\qbezier(87,82)(92,106)(99,106)
\qbezier(137,25)(115,40)(114,60)
\qbezier(114,60)(110,109)(99,106)
\put(28,120){\makebox(0,0)[r]{$f_X(x_1,x_2)$}}
\put(102,2){\makebox(0,0)[r]{$x_1$}}
\put(60,35){\makebox(0,0)[tr]{$m_1$}}
\put(132,97){\makebox(0,0)[r]{$x_2$}}
\put(67,70){\makebox(0,0)[br]{$m_2$}}
\end{picture}
\end{minipage}%
\begin{minipage}{7.5cm}
$X = (X_1\,X_2)$ hei"st \emph{normalverteilt}, wenn gilt:
\begin{multline*}
f_X(x_1,x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\varrho^2}} \cdot \\
\exp\left[-\frac{1}{2(1-\varrho^2)} \left( \frac{(x_1 -
m_1)^2}{{\sigma_1}^2}\right.\right.
\\
-
2\varrho \frac{(x_1 - m_1)(x_2 - m_2)}{\sigma_1\sigma_2} + \frac{(x_2 -
m_2)^2}{{\sigma_2}^2}\bigg)\bigg]
\end{multline*}
mit $m_1,\,m_2 \in \mathbb R,\ \sigma_{1,2} > 0,\ |\varrho| \leq 1$
\end{minipage}%

\bigskip

\begin{minipage}{7.5cm}
\subsubsection*{Eigenschaften von $f_X$:}
\begin{enumerate}
\renewcommand{\labelenumii}{\arabic{enumii})}
\item $f_X(x_1,x_2) \geq 0$
\item $\int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty}
f_X(x_1,x_2)\,dx_1\,dx_2 = 1$
\item $\frac{\partial F_X(\xi_1,\xi_2)}{\partial \xi_1 \partial \xi_2} =
f_X(\xi_1,\xi_2)$
\end{enumerate}
\end{minipage}\hfill
\begin{minipage}{7.5cm}
\center
\begin{picture}(140,110)
\put(15,10){\line(0,1){90}}
\put(10,15){\line(1,0){130}}
\put(13,90){\makebox(0,0)[r]{$\mathbb R$}}
\put(130,13){\makebox(0,0)[t]{$\mathbb R$}}
\put(40,05){\makebox(0,0)[c]{$a_1$}}
\put(100,05){\makebox(0,0)[c]{$b_1$}}
\put(13,70){\makebox(0,0)[r]{$b_2$}}
\put(13,35){\makebox(0,0)[r]{$a_2$}}
\multiput(14,35)(4,0){24}{\line(1,0){2}}
\multiput(14,70)(4,0){24}{\line(1,0){2}}
\multiput(40,14)(0,4){16}{\line(0,1){2}}
\multiput(100,14)(0,4){16}{\line(0,1){2}}
\multiput(40,35)(0,35){2}{\line(1,0){60}}
\multiput(40,35)(60,0){2}{\line(0,1){35}}
\put(69,52.5){\makebox(0,0)[c]{$B$}}
\put(40,55){\line(1,1){15}}
\put(40,45){\line(1,1){25}}
\put(40,35){\line(1,1){35}}
\put(50,35){\line(1,1){12}}
\put(74,59){\line(1,1){11}}
\put(60,35){\line(1,1){35}}
\put(70,35){\line(1,1){30}}
\put(80,35){\line(1,1){20}}
\put(90,35){\line(1,1){10}}
\end{picture}
\end{minipage}%

\bigskip

\begin{align*}
P\{X\in B\} &= P\{a_1 \leq X_1 \leq b_1,\, a_2\leq X_2 \leq b_2\}\\
 &=
F_X(b_1,b_2) - F_X(b_1,a_2) - F_X(a_1,b_2) + F_X(a_1,a_2) =
\int\limits_{a_2}^{b_2}\int\limits_{a_1}^{b_1}f_X(x_1,x_2)\,dx_1\,dx_2
\end{align*}

Verallgemeinerung: $\displaystyle P\{X \in B\} = \iint_{(B)}
f_X(x_1,x_2)\,dx_1\,dx_2$ 

\item \textbf{Randverteilungsfunktionen}

Gegeben sei $X = (X_1,X_2)$. Wir bilden
\begin{equation}
F_X(\xi_1,\infty) = P\{X_1 < \xi_1, \underbrace{X_2 <
\infty}_{\substack{\text{sicheres}\\\text{Ereignis}}}\} = P\{X_1 < \xi_1\} =
F_{X_1}(\xi_1) = \int\limits_{-\infty}^{\xi_1} f_{X_1}(x_1)\,dx_1 
\end{equation}
$F_{X_1}$ hei"st \emph{Randverteilungsfunktion} von $X_1$ in $X=(X_1,X_2)$. $f_{X_1}$
hei"st \emph{Randdichtefunktion} von $X_1$in $X=(X_1,X_2)$.
\[F_X(\xi_1,\infty) = \int\limits_{-\infty}^{\infty}
\int\limits_{-\infty}^{\xi_1} f_X(x_1,x_2) \,dx_1\,dx_2 =
\int\limits_{-\infty}^{\xi_1}\underbrace{\int\limits_{-\infty}^{\infty}
f_X(x_1,x_2)\,dx_2}_{\widehat{=}\text{ Integrand von } (1)}\,dx_1
\]
\[\boxed{\quad f_{X_1} (x_1) = \int\limits_{-\infty}^{\infty} f_X(x_1,x_2)\,dx\quad}\]
Analog gilt: $F_{X_2}(\xi_2) = F_X(\infty,\xi_2)$ bzw. $f_{X_2}(x_2) =
\int\limits_{-\infty}^{\infty} f_X(x_1,x_2)\,dx_1$

\item \textbf{Bedingte Verteilungsfunktion}

\begin{minipage}{7.5cm}
\begin{description}
\item[gegeben:] $X = (X_1,X_2)$ mit $F_X$ bzw. $f_X$
\item[gesucht:] $P\{X\in B_1 | X \in B_2\}$
\end{description}
\end{minipage}%
\begin{minipage}{7.5cm}
\center
\begin{picture}(140,110)
\put(15,10){\line(0,1){90}}
\put(10,15){\line(1,0){130}}
\put(13,90){\makebox(0,0)[r]{$\mathbb R$}}
\put(130,13){\makebox(0,0)[t]{$\mathbb R$}}
\put(90,50){\makebox(0,0)[c]{$B_2$}}
\put(50,35){\makebox(0,0)[c]{$B_1$}}
\put(50,35){\oval(45,30)}
\put(90,50){\oval(65,40)}
\qbezier(58,45)(58,45)(62.3,49.3)
\qbezier(59.5,41.5)(59.5,41.5)(65.8,47.8)
\qbezier(61.5,38.5)(61.5,38.5)(68.5,45.5)
\qbezier(63.75,35.75)(63.75,35.75)(70.5,42.5)
\qbezier(66.5,33.5)(66.5,33.5)(71.75,38.75)
\end{picture}
\end{minipage}

\begin{align*}
P\{X\in B_1 | X \in B_2\} &= \frac{P\{X\in B_1,\  X \in B_2\}}{P\{X\in B_2\}}
= \frac{P\{X\in B_1 \cap B_2\}}{P\{X\in B_2\}}\\[1ex]
&= \frac{\iint_{(B_1\cap B_2)}
f_X(x_1,x_2)\,dx_1\,dx_2}{\iint_{(B_2)} f_X(x_1,x_2)\,dx_1\,dx_2}
\end{align*}

\newpage % gesamte vorhergehende seite sieht total scheisse aus

\textbf{Sonderfall:} gesucht: $P\{X_1 < \xi_1 | X_2 = x_2\} =
F_{X_1}\{\xi_1|x_2\} = \int\limits_{-\infty}^{\xi_1} f_{X_1}(x_1|x_2)\,dx_1$

\begin{minipage}{9cm}
\raggedright
mit

\[\boxed{\quad f_{X_1}(x_1|x_2) = \frac{f_X(x_1,x_2)}{f_X(x_2)} \quad}\]

\bigskip

$F_{X_1}(\xi_1|x_2)$ hei"st \emph{bedingte Verteilungsfunktion},
$f_{X_1}(x_1|x_2)$ hei"st \emph{bedingte Dichtefunktion}.
\end{minipage}%
\begin{minipage}{6cm}
\center
\begin{picture}(150,105)
\put(50,0){\line(0,1){100}}
\put(0,30){\line(1,0){150}}
\put(47,90){\makebox(0,0)[r]{$\mathbb R$}}
\put(140,27){\makebox(0,0)[t]{$\mathbb R$}}
\put(47,70){\makebox(0,0)[r]{$x_2$}}
\put(110,27){\makebox(0,0)[t]{$\xi_1$}}
\thicklines
\put(0,70){\line(1,0){33}}
\put(49,70){\line(1,0){60}}
\thinlines
\multiput(110,0)(0,4){4}{\line(0,1){2}}
\multiput(110,29)(0,4){16}{\line(0,1){2}}
\multiput(0,0)(10,0){3}{\line(1,1){90}}
\put(30,0){\line(1,1){80}}
\put(40,0){\line(1,1){70}}
\put(50,0){\line(1,1){60}}
\put(60,0){\line(1,1){50}}
\put(70,0){\line(1,1){40}}
\put(80,0){\line(1,1){30}}
\put(90,0){\line(1,1){16}}
\put(100,0){\line(1,1){10}}
\put(0,10){\line(1,1){80}}
\put(0,20){\line(1,1){43}}
\put(0,30){\line(1,1){33}}
\put(0,40){\line(1,1){43}}
\put(0,50){\line(1,1){38}}
\put(0,60){\line(1,1){30}}
\put(0,70){\line(1,1){20}}
\put(0,80){\line(1,1){10}}
\put(60,90){\line(-1,-1){13}}
\put(70,90){\line(-1,-1){20}}
\end{picture}
\end{minipage}%

\bigskip

Analog gilt:

$P\{X_2 < \xi_2 | X_1 = x_1\} = F_{X_2}\{\xi_2|x_1\} =
\!\!\int\limits_{-\infty}^{\xi_2}\!\! f_{X_2}(x_2|x_1)\,dx_2$ mit 
$f_{X_2}(x_2|x_1) = \dfrac{f_X(x_1,x_2)}{f_X(x_1)}$
\paragraph{Beachte:} Die Zufallsgr"o"sen $X_1$ und $X_2$ in einem zuf"alligen
Vektor $X$ mit $X = (X_1,\,X_2)$ sind unabh"angig, falls
\[f_{X_1} (x_1|x_2) = \frac{f_X(x_1,x_2)}{f_{X_2}(x_2)} = f_{X_1}(x_1) \qquad
\Leftrightarrow \qquad X_1 \text{ unabh"angig von } X_2\]
und
\[f_{X_2} (x_2|x_1) = \frac{f_X(x_1,x_2)}{f_{X_1}(x_1)} = f_{X_2}(x_2) \qquad
\Leftrightarrow \qquad X_2 \text{ unabh"angig von } X_1.\]
F"ur unabh"angige $X_1$, $X_2$ des Vektors $X = (X_1,X_2)$ gilt also:
\[\boxed{\quad f_X(x_1,\,x_2) = f_{X_1}(x_1) \cdot f_{X_2}(x_2)
\vphantom{\int^a_a}  \quad}\]
\paragraph{Definition (Verallgemeinerung):} Die Zufallsgr"o"sen
$X_1,\,X_2,\,\ldots ,\,X_n$ in einem zuf"alligen Vektor $X = (X_1,\, X_2,\,
\ldots,\, X_n)$ sind genau dann unabh"angig, falls gilt:
\[f_X(x_1,\,x_2,\,\ldots,\,x_n) = f_{X_1}(x_1) \cdot f_{X_2}(x_2) \cdot \ldots
\cdot f_{X_n}(x_n)\]
bzw.
\[F_X(\xi_1,\,\xi_2,\,\ldots,\,\xi_n) = F_{X_1}(\xi_1) \cdot F_{X_2}(\xi_2)
\cdot \ldots \cdot F_{X_n}(\xi_n).\]
\paragraph{Beispiel: Normalverteilung} Die Dichtefunktion

%kackformel
\smallskip
\quad $f_X(x_1,x_2) = \frac 1 {2\pi \sigma_1\sigma_2 \sqrt{1-\varrho^2}} \cdot
\exp\left[-\frac 1 {2(1-\varrho^2)} \cdot \left( \frac{(x_1 -
m_1)^2}{{\sigma_1}^2} - \frac{2\varrho (x_1 - m_1)(x_2-m_2)}{\sigma_1\sigma_2}+
\frac{(x_2 - m_2)^2}{{\sigma_2}^2} \right) \right]$
\smallskip

der Normalverteilung liefert f"ur den Sonderfall $\varrho = 0$:
\begin{align*}
f_X(x_1,x_2) &= \frac 1 {2\pi \sigma_1\sigma_2} \cdot
\exp\left[-\frac 1 2 \left( \frac{(x_1 -
m_1)^2}{{\sigma_1}^2} +
\frac{(x_2 - m_2)^2}{{\sigma_2}^2} \right) \right] \\[1ex]
 & = \underbrace{\frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[ -\frac 1 2
\frac{(x_1-m_1)^2}{{\sigma_1}^2}\right]}_{f_{X_1}(x_1)} \cdot 
\underbrace{\frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[ -\frac 1 2
\frac{(x_2-m_2)^2}{{\sigma_2}^2}\right]}_{f_{X_2}(x_2)} 
\end{align*}
Es gilt also $\varrho = 0$ ist gleichbedeutend mit der Unabh"angigkeit von
$X_1$ und $X_2$.

\item \textbf{Spezielle Momente}
\begin{enumerate}
\renewcommand{\labelenumii}{\arabic{enumii})}
\item \textbf{Erwartungswert} eines zuf"alligen Vektors $X = (X_1,\, X_2,\, \ldots,\,
X_n)$

$E(X) = (E(X_1),\, E(X_2),\, \ldots ,\, E(X_n))$ definiert als $n$-Tupel der
Erwartungswerte der Komponenten mit $E(X_i) = \int\limits_{-\infty}^{\infty}
x_i \cdot f_{X_i}(x_i)\,dx_i$  ($i = 1,\,2,\,\ldots,\, n$).

Regel:
\begin{align*}
E(X_1 + X_2) &= \int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty}
(x_1 + x_2) f_X(x_1,x_2)\,dx_2\,dx_1\\
&= \int\limits_{-\infty}^{\infty} x_1
\underbrace{\int\limits_{-\infty}^{\infty}
f_X(x_1,x_2)\,dx_2}_{f_{X_1}(x_1)}dx_1 + 
\int\limits_{-\infty}^{\infty} x_2
\underbrace{\int\limits_{-\infty}^{\infty}f_X(x_1,x_2)\,dx_1}_{f_{X_2}(x_2)}dx_2\\
&= \int\limits_{-\infty}^{\infty} x_1 f_{X_1}(x_1)\,dx_1 +
\int\limits_{-\infty}^{\infty}x_2 f_{X_2}(x_2)\,dx_2 = E(X_1) + E(X_2)  
\end{align*}
Damit gilt $E(X_1 + X_2) = E(X_1) + E(X_2)$ bzw. verallgemeinert
\[\boxed{\quad\vphantom{\bigg|}  E(X_1 + X_2 + \ldots + X_n) = E(X_1)
+ E(X_2) + \cdots + E(X_n) \quad}\]

\item \textbf{Skalarprodukt} von $X_1$ und $X_2$
\[E(X_1 \cdot X_2) = \int\limits_{-\infty}^{\infty}
\int\limits_{-\infty}^{\infty} x_1 \cdot x_2 \cdot f_X(x_1,\,x_2) \,dx_2\,dx_1\]
Sonderfall: $X_1$ und $X_2$ seien unabh"angig:
\begin{align*}
E(X_1 \cdot X_2) &=
\int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty} x_1 \cdot x_2
\cdot f_{X_1}(x_1) \cdot f_{X_2}(x_2)\,dx_2\,dx_1\\
&= \int\limits_{-\infty}^{\infty} x_1\cdot f_{X_1}(x_1)\,dx_1 \cdot
 \int\limits_{-\infty}^{\infty} x_2\cdot f_{X_2}(x_2)\,dx_2 = E(X_1) \cdot
E(X_2)
\end{align*}
Damit gilt \emph{nur f"ur unabh"angige} $X_1$ und $X_2$: $E(X_1 \cdot X_2) =
E(X_1) \cdot E(X_2)$ bzw. verallgemeinert:
\[\boxed{\quad\vphantom{\bigg|}  E(X_1 \cdot X_2 \cdot \ldots \cdot X_n) = E(X_1)
\cdot E(X_2) \cdot \ldots \cdot E(X_n) \quad}\]

\item \textbf{Kovarianz} von $X_1$ und $X_2$ (Gemischtes Zentralmoment)
\begin{align*}
E((X_1 - E(X_1))(X_2-E(X_2))) =& \int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty} (x_1 -
E(X_1))(x_2-E(X_2)) \cdot f_X(x_1,x_2)\,dx_2\,dx_1\\
&= \mathrm{Cov}\,(X_1,X_2)
\end{align*}

\textbf{Regel:} (mit $E(a\cdot X) = a \cdot E(X)$, $E(a) = a$ f"ur $a \in \mathbb R$)
\begin{align*}
\mathrm{Cov}\, (X_1,\,X_2) &= E((X_1 - E(X_1))(X_2 - E(X_2)))\\ 
&= E(X_1 \cdot X_2 - X_1E(X_2) - X_2E(X_1) + E(X_1)E(X_2))\\
&= E(X_1 \cdot X_2) - E(X_1)\cdot E(X_2) - \cancel{E(X_2)E(X_1)} +
\cancel{E(X_1)E(X_2)}
\end{align*}

\textbf{Sonderfall:} $X_1$ und $X_2$ sind unabh"angig, also $E(X_1) \cdot E(X_2) = E(X_1
\cdot X_2)$:
\[\mathrm{Cov}\,(X_1,\,X_2) = E(X_1)E(X_2) - E(X_2)E(X_1) = 0\]

\textbf{Beachte:}
\begin{enumerate}
\renewcommand{\labelenumiii}{\alph{enumiii})}
\item $\mathrm{Cov}\,(X_1,\,X_2)$ kann zur Untersuchung der Abh"angigkeit von
Zufallsgr"o"sen dienen
\item $\mathrm{Cov}\,(X_1,\,X_1) = \mathrm{Var}\,(X_1)$
\end{enumerate}

\item \textbf{Korrelationskoeffizient} (normiertes Ma"s f"ur die Abh"angigkeit
zon Zufallsgr"o"sen):
\[\varrho = \varrho(X_1,\,X_2) =
\frac{\mathrm{Cov}\,(X_1,\,X_2)}{\sqrt{\mathrm{Var}\,(X_1) \cdot
\mathrm{Var}\,(X_2)}}\]

\textbf{Eigenschaften} von $\varrho$: (Beweis: siehe Lehrbuch)
\begin{enumerate}
\renewcommand{\labelenumiii}{\alph{enumiii})}
\item $\varrho^2 \leq 1$ oder $-1 \leq \varrho \leq 1$
\item $\varrho = 0 \ \Leftrightarrow \ \mathrm{Cov}\,(X_1,\,X_2) = 0$ d.h.
$X_1$ und $X_2$ sind unkorreliert

\smallskip

\textbf{Beachte:} Unabh"angige Zufallsgr"o"sen $X_1$ und $X_2$ sind auch stets
unkorreliert, aber nicht notwendigerweise umgekehrt. Sonderfall: Wenn $X_1$ und
$X_2$ normalverteilt sind ist unabh"angig gleichbedeutend mit unkorreliert.

\smallskip

\item $\varrho^2 = 1 \ \Leftrightarrow \ P\{X_2 = aX_1 + b\} = 1$ mit $a,\,b
\in \mathbb R$ dann sind $X_1$ und $X_2$ maximal korreliert.

\smallskip

Wahrscheinlichkeit 1 hei"st nur: \emph{fast} sicher, Wahrscheinlichkeit 0
hei"st nur: \emph{fast} unm"oglich.
\begin{center}
\begin{picture}(325,110)
\multiput(0,0)(175,0){2}{
\put(60,0){\line(0,1){100}}
\put(0,50){\line(1,0){120}}
\put(63,100){\makebox(0,0)[lt]{$\mathbb R$}}
\put(120,47){\makebox(0,0)[rt]{$\mathbb R$}}
}
\put(0,100){\makebox(0,0)[lt]{$\varrho = 1$}}
\put(5,30){\line(2,1){110}}
\put(75,60){$\scriptstyle x_2 = ax_1 +b$}

\put(175,100){\makebox(0,0)[lt]{$\varrho = 0$}}

% 2 zeilen Perl :)
\put(224,52.5){\circle*{1}} \put(228,61.5){\circle*{1}}
\put(231,47.5){\circle*{1}} \put(220,46.5){\circle*{1}}
\put(221,58.5){\circle*{1}} \put(233,55.5){\circle*{1}}
\put(224,56.5){\circle*{1}} \put(222,51.5){\circle*{1}}
\put(232,52.5){\circle*{1}} \put(244,46.5){\circle*{1}}
\put(227,59.5){\circle*{1}} \put(223,45.5){\circle*{1}}
\put(246,39.5){\circle*{1}} \put(224,62.5){\circle*{1}}
\put(222,60.5){\circle*{1}} \put(237,42.5){\circle*{1}}
\put(225,60.5){\circle*{1}} \put(242,52.5){\circle*{1}}
\put(233,50.5){\circle*{1}} \put(226,48.5){\circle*{1}}
\put(220,61.5){\circle*{1}} \put(248,42.5){\circle*{1}}
\put(231,41.5){\circle*{1}} \put(233,57.5){\circle*{1}}
\put(222,61.5){\circle*{1}} \put(248,37.5){\circle*{1}}
\put(231,54.5){\circle*{1}} \put(241,57.5){\circle*{1}}
\put(245,54.5){\circle*{1}} \put(231,64.5){\circle*{1}}
\put(221,66.5){\circle*{1}} \put(223,53.5){\circle*{1}}
\put(247,40.5){\circle*{1}} \put(245,53.5){\circle*{1}}
\put(221,40.5){\circle*{1}} \put(241,56.5){\circle*{1}}
\put(239,60.5){\circle*{1}} \put(247,48.5){\circle*{1}}
\put(239,53.5){\circle*{1}} \put(240,49.5){\circle*{1}}
\put(222,67.5){\circle*{1}} \put(228,46.5){\circle*{1}}
\put(246,50.5){\circle*{1}} \put(243,46.5){\circle*{1}}
\put(220,55.5){\circle*{1}} \put(229,53.5){\circle*{1}}
\put(244,56.5){\circle*{1}} \put(230,40.5){\circle*{1}}
\put(221,60.5){\circle*{1}} \put(233,62.5){\circle*{1}}
\put(246,39.5){\circle*{1}} \put(223,58.5){\circle*{1}}
\put(237,58.5){\circle*{1}} \put(220,48.5){\circle*{1}}
\end{picture}

\begin{picture}(325,110)
\multiput(0,0)(175,0){2}{
\put(60,0){\line(0,1){100}}
\put(0,50){\line(1,0){120}}
\put(63,100){\makebox(0,0)[lt]{$\mathbb R$}}
\put(120,47){\makebox(0,0)[rt]{$\mathbb R$}}
}
\put(0,100){\makebox(0,0)[lt]{$\varrho \approx 0{,}7 $}}

% perl rules :)
\put(5,-2){\circle*{1}} \put(9,-5){\circle*{1}} \put(8,-4){\circle*{1}}
 \put(10,-1){\circle*{1}} \put(7,-5){\circle*{1}} \put(7,0){\circle*{1}} 
\put(14,2){\circle*{1}} \put(14,0){\circle*{1}} \put(10,8){\circle*{1}} 
\put(16,6){\circle*{1}} \put(18,2){\circle*{1}} \put(12,10){\circle*{1}} 
\put(20,4){\circle*{1}} \put(20,5){\circle*{1}} \put(15,9){\circle*{1}} 
\put(17,12){\circle*{1}} \put(23,15){\circle*{1}} \put(26,15){\circle*{1}} 
\put(20,17){\circle*{1}} \put(21,12){\circle*{1}} \put(29,12){\circle*{1}} 
\put(26,12){\circle*{1}} \put(30,17){\circle*{1}} \put(27,16){\circle*{1}} 
\put(28,18){\circle*{1}} \put(34,16){\circle*{1}} \put(34,21){\circle*{1}} 
\put(31,23){\circle*{1}} \put(31,27){\circle*{1}} \put(33,29){\circle*{1}} 
\put(33,28){\circle*{1}} \put(38,28){\circle*{1}} \put(38,27){\circle*{1}} 
\put(39,29){\circle*{1}} \put(42,32){\circle*{1}} \put(39,31){\circle*{1}} 
\put(37,34){\circle*{1}} \put(41,31){\circle*{1}} \put(48,36){\circle*{1}} 
\put(48,35){\circle*{1}} \put(41,38){\circle*{1}} \put(51,34){\circle*{1}} 
\put(50,34){\circle*{1}} \put(45,37){\circle*{1}} \put(52,42){\circle*{1}} 
\put(47,38){\circle*{1}} \put(51,46){\circle*{1}} \put(48,47){\circle*{1}} 
\put(52,45){\circle*{1}} \put(52,46){\circle*{1}} \put(57,47){\circle*{1}} 
\put(52,44){\circle*{1}} \put(58,51){\circle*{1}} \put(56,50){\circle*{1}} 
\put(56,51){\circle*{1}} \put(61,52){\circle*{1}} \put(59,52){\circle*{1}} 
\put(64,56){\circle*{1}} \put(65,51){\circle*{1}} \put(66,51){\circle*{1}} 
\put(62,54){\circle*{1}} \put(70,52){\circle*{1}} \put(72,53){\circle*{1}} 
\put(64,58){\circle*{1}} \put(65,58){\circle*{1}} \put(66,64){\circle*{1}} 
\put(70,64){\circle*{1}} \put(69,67){\circle*{1}} \put(75,68){\circle*{1}} 
\put(73,65){\circle*{1}} \put(74,63){\circle*{1}} \put(76,62){\circle*{1}} 
\put(73,70){\circle*{1}} \put(76,66){\circle*{1}} \put(80,72){\circle*{1}} 
\put(81,72){\circle*{1}} \put(80,71){\circle*{1}} \put(83,73){\circle*{1}} 
\put(80,74){\circle*{1}} \put(87,70){\circle*{1}} \put(82,79){\circle*{1}} 
\put(85,80){\circle*{1}} \put(88,81){\circle*{1}} \put(88,78){\circle*{1}} 
\put(89,79){\circle*{1}} \put(88,77){\circle*{1}} \put(93,83){\circle*{1}} 
\put(90,78){\circle*{1}} \put(91,86){\circle*{1}} \put(93,80){\circle*{1}} 
\put(91,85){\circle*{1}} \put(97,89){\circle*{1}} \put(97,84){\circle*{1}} 
\put(99,84){\circle*{1}} \put(96,85){\circle*{1}} \put(104,89){\circle*{1}} 
\put(97,96){\circle*{1}} \put(100,92){\circle*{1}} \put(102,95){\circle*{1}} 
\put(104,99){\circle*{1}} \put(104,93){\circle*{1}}
\put(175,100){\makebox(0,0)[lt]{$\varrho \approx -0{,}7$}}
\put(289,-3){\circle*{1}} \put(286,-1){\circle*{1}} \put(287,-5){\circle*{1}} 
\put(289,-5){\circle*{1}} \put(285,0){\circle*{1}} \put(285,0){\circle*{1}} 
\put(281,1){\circle*{1}} \put(285,4){\circle*{1}} \put(285,3){\circle*{1}} 
\put(283,1){\circle*{1}} \put(279,2){\circle*{1}} \put(277,5){\circle*{1}} 
\put(282,9){\circle*{1}} \put(273,6){\circle*{1}} \put(272,8){\circle*{1}} 
\put(272,13){\circle*{1}} \put(269,13){\circle*{1}} \put(270,10){\circle*{1}} 
\put(268,10){\circle*{1}} \put(273,17){\circle*{1}} \put(265,13){\circle*{1}} 
\put(265,17){\circle*{1}} \put(272,13){\circle*{1}} \put(270,21){\circle*{1}} 
\put(270,22){\circle*{1}} \put(260,23){\circle*{1}} \put(260,23){\circle*{1}} 
\put(267,26){\circle*{1}} \put(260,21){\circle*{1}} \put(260,29){\circle*{1}} 
\put(264,24){\circle*{1}} \put(260,29){\circle*{1}} \put(254,32){\circle*{1}} 
\put(260,30){\circle*{1}} \put(259,32){\circle*{1}} \put(252,27){\circle*{1}} 
\put(249,35){\circle*{1}} \put(254,30){\circle*{1}} \put(252,38){\circle*{1}} 
\put(249,36){\circle*{1}} \put(246,36){\circle*{1}} \put(250,39){\circle*{1}} 
\put(244,38){\circle*{1}} \put(243,41){\circle*{1}} \put(249,35){\circle*{1}} 
\put(242,36){\circle*{1}} \put(247,46){\circle*{1}} \put(245,44){\circle*{1}} 
\put(237,46){\circle*{1}} \put(245,42){\circle*{1}} \put(244,49){\circle*{1}} 
\put(240,46){\circle*{1}} \put(237,50){\circle*{1}} \put(235,51){\circle*{1}} 
\put(237,45){\circle*{1}} \put(235,51){\circle*{1}} \put(233,53){\circle*{1}} 
\put(231,50){\circle*{1}} \put(230,50){\circle*{1}} \put(230,53){\circle*{1}} 
\put(234,54){\circle*{1}} \put(227,55){\circle*{1}} \put(229,59){\circle*{1}} 
\put(231,55){\circle*{1}} \put(226,61){\circle*{1}} \put(223,62){\circle*{1}} 
\put(220,64){\circle*{1}} \put(227,60){\circle*{1}} \put(226,67){\circle*{1}} 
\put(219,65){\circle*{1}} \put(218,66){\circle*{1}} \put(221,65){\circle*{1}} 
\put(217,66){\circle*{1}} \put(217,73){\circle*{1}} \put(213,73){\circle*{1}} 
\put(213,71){\circle*{1}} \put(211,75){\circle*{1}} \put(215,75){\circle*{1}} 
\put(212,71){\circle*{1}} \put(214,79){\circle*{1}} \put(210,80){\circle*{1}} 
\put(212,79){\circle*{1}} \put(204,78){\circle*{1}} \put(202,77){\circle*{1}} 
\put(207,83){\circle*{1}} \put(203,84){\circle*{1}} \put(202,79){\circle*{1}} 
\put(202,81){\circle*{1}} \put(199,82){\circle*{1}} \put(203,88){\circle*{1}} 
\put(201,82){\circle*{1}} \put(197,86){\circle*{1}} \put(199,88){\circle*{1}} 
\put(195,91){\circle*{1}} \put(195,92){\circle*{1}} \put(195,91){\circle*{1}} 
\put(197,96){\circle*{1}} \put(188,89){\circle*{1}} \put(190,98){\circle*{1}} 
\put(186,98){\circle*{1}} \put(190,99){\circle*{1}}
\end{picture}
\end{center}
\end{enumerate}

\item \textbf{Kovarianzmatrix} des zuf"alligen Vektors $X = (X_1,\,X_2,\, \ldots
,\, X_n)$
\[\left(
\begin{array}{cccc}
\mathrm{Cov}\,(X_1,X_1) & \mathrm{Cov}\,(X_1,X_2) & \cdots & \mathrm{Cov}\,(X_1,X_n) \\
\mathrm{Cov}\,(X_2,X_1) & \mathrm{Cov}\,(X_2,X_2) & \cdots & \mathrm{Cov}\,(X_2,X_n) \\
\vdots & \vdots & \ddots & \vdots \\
\mathrm{Cov}\,(X_n,X_1) & \mathrm{Cov}\,(X_n,X_2) & \cdots & \mathrm{Cov}\,(X_n,X_n) 
\end{array}
\right) = \mathrm{Cov}\,X\]
In der Hauptdiagonalen stehen die Varianzen $\mathrm{Cov}\,(X_i,\,X_i) =
\mathrm{Var}\,(X_i)$, (mit $i = 1,\,2,\,\ldots,\, n)$.

\textbf{Regel} (ohne Beweis): \quad  $\mathrm{det}\,\mathrm{Cov}\,(X) = 0 \
\Leftrightarrow \ P\left\{\sum\limits_{i=1}^n a_i x_i + k = 0\right\} =  1$ 

Mit der Wahrscheinlichkeit 1 (also fast sicher) besteht zwischen den Komponenten
von $X$ eine \emph{lineare Beziehung}.
\end{enumerate}
\end{enumerate}

\subsection{Zuf"allige Prozesse}
\subsubsection{Prozess und Realisierung}

Beispiele zuf"alliger Signale in Natur und Technik:
\begin{itemize}
\item Temperatur, Luftdruck in Abh"angigkeit von der Zeit in einem bestimmten
Punkt der Erdoberfl"ache
\item Neigungswinkel eines Schiffes bei Seegang
\item Durchmesser eines Webfadens in Abh"angigkeit von der L"ange
\item Strom und Spannung in einer Fernsprechleitung
\item Thermisches Rauschen eines Ohmschen Widerstandes
\end{itemize}
Die Wiederholung eines Experiments liefert unterschiedlichen
\emph{Realisierungen}.
% Trivialgrafik kommt vielleicht morgen :-)
\smallskip

Gesucht ist ein mathematisches Modell zur Beschreibung dieser zuf"alligen
Signale.

\subsubsection*{Ausgangspunkt:} 

\begin{minipage}{10cm}
\begin{picture}(250,110)
\multiput(10,30)(0,15){6}{\line(1,0){240}}
\put(5,30){\makebox(0,0)[r]{$1$}}
\put(5,45){\makebox(0,0)[r]{$2$}}
\put(5,60){\makebox(0,0)[r]{$3$}}
\put(5,75){\makebox(0,0)[r]{$4$}}
\put(5,90){\makebox(0,0)[r]{$5$}}
\put(5,105){\makebox(0,0)[r]{$6$}}
\multiput(30,15)(30,0){3}{\line(0,1){95}}
\put(180,15){\line(0,1){95}}
\put(30,5){\makebox(0,0){$1$}}
\put(60,5){\makebox(0,0){$2$}}
\put(90,5){\makebox(0,0){$3$}}
\put(180,5){\makebox(0,0){$t$}}
\put(30,45){\circle*4}
\put(60,75){\circle*4}
\put(90,45){\circle*4}
\put(180,60){\circle*4}
\put(30,45){\color{grau}\line(1,1){30}}
\put(60,75){\color{grau}\line(1,-1){30}}
\put(90,45){\color{grau}\line(3,2){90}}
\put(30,75){\circle*4}
\put(60,60){\circle*4}
\put(90,105){\circle*4}
\put(180,105){\circle*4}
\put(30,75){\color{grau}\line(2,-1){30}}
\put(60,60){\color{grau}\line(2,3){30}}
\put(90,105){\color{grau}\line(2,-1){90}}
\put(195,15){$\longrightarrow T$}
\end{picture}
\end{minipage}%
\begin{minipage}{6cm}
Zuf"alliger Vektor
\[X = (X_1,\,X_2,\,\ldots,\,X_n) = (X_i)_{i\in I}\]

$I$: Indexmenge, hier: Zeitskala $T$

\bigskip
\end{minipage}

\bigskip

Es gilt:
\begin{enumerate}
\renewcommand{\labelenumi}{\alph{enumi})}
\item Die Indexmenge erh"alt die Bedeutung einer Zeitskala $T$.
\item Die Familie $(X_t)_{t\in T}$ mit $T \subset \mathbb Z$ von
Zufallsgr"o"sen $X_t$ hei"st \emph{zuf"alliger Prozess mit diskreter Zeit}.
\item Die Folge $x = (x_t)_{t\in T}$ der auftretenden Werte hei"st
\emph{Realisierung} des zuf"alligen Prozesses mit diskreter Zeit.
\item Verallgemeinerung: Die Familie $X = (X_t)_{t\in T}$ mit $T \subset
\mathbb R$ von Zufallsgr"o"sen $X_t$ hei"st \emph{zuf"alliger Prozess mit
stetiger Zeit}.
\item Die Realisierungen eines zuf"alligen Prozesses mit stetiger Zeit sind
(reelle) Zeitfunktionen.
\end{enumerate}

\bigskip

\begin{minipage}{7.5cm}
\quad 
\begin{picture}(200,80)
\put(0,35){\line(1,0){180}}
\put(50,0){\line(0,1){80}}
\put(150,25){$T\subset \mathbb R$}
\qbezier(00,35)(02,63)(8,65) 
\qbezier(08,65)(12,68)(14,55) 
\qbezier(14,55)(16,48)(20,57) 
\qbezier(20,57)(22,60)(24,57) 
\qbezier(24,57)(26,55)(30,55) 
\qbezier(30,55)(34.6,56)(34,15) 
\qbezier(34,15)(35,10)(38,17) 
\qbezier(38,17)(40,17)(44,40) 
\qbezier(44,40)(48,55)(054,35)
\qbezier(054,35)(058,15)(062,48) 
\qbezier(062,48)(064,70)(066,20) 
\qbezier(066,20)(070,10)(074,40) 
\qbezier(074,40)(076,45)(080,45) 
\qbezier(080,45)(084,45)(084,55) 
\qbezier(084,55)(090,66)(090,12) 
\qbezier(090,12)(092,0)(094,20) 
\qbezier(094,20)(097,30)(100,15) 
\qbezier(100,15)(100,10)(104,10) 
\qbezier(104,10)(108,10)(108,28) 
\qbezier(108,28)(110,35)(116,15) 
\qbezier(116,15)(118,08)(124,50) 
\qbezier(124,50)(126,55)(134,34) 
\qbezier(134,34)(138,28)(142,40) 
\qbezier(0,15)(10,50)(30,50)
\qbezier(30,50)(45,50)(48,60)
\qbezier(48,60)(50,75)(65,75)
\qbezier(65,75)(80,75)(95,60)
\qbezier(95,60)(100,55)(108,40)
\qbezier(108,40)(120,20)(140,25)
\put(95,63){\line(2,1){10}}
\put(107,65){Realisierung}
\put(50,45){\circle*3}
\put(50,66){\circle*3}
\put(53,05){\makebox(0,0){$t  \ \ X_t$}}
\end{picture}
\end{minipage}%
\begin{minipage}{8.5cm}
Wird ein Prozess zu einem festen Zeitpunkt $t$ betrachtet, erh"alt man eine
Zufallsgr"o"se $X_t = X(t)$.
\end{minipage}%

\newpage   % :-/

\subsubsection*{Beispiel:}
\begin{tabular}{l@{ }c@{ }r@{\qquad}c@{: }l}
$X(t)$ &=& $U\cdot (\mathbbm 1(t-V) - \mathbbm 1(t-W))$ & $U$, $V$, $W$&
ZGen mit bekannter Verteilungsfunktion \\[1ex]
 $x(t)$ &=& $u \cdot (\mathbbm 1(t-v) - \mathbbm 1(t-w))$ & $u$, $v$,
$w$ & Werte der obigen Zufallsgr"o"sen
\end{tabular}


\bigskip

\begin{minipage}{8cm}
Schema:
\center
\begin{picture}(150,80)
\put(30,0){\vector(0,1){80}}
\put(0,20){\vector(1,0){150}}
\put(27,70){\makebox(0,0)[r]{$X(t)$}}
\put(140,13){\makebox(0,0)[r]{$t$}}
\put(27,50){\makebox(0,0)[r]{$U$}}
\put(50,13){\makebox(0,0)[c]{$V$}}
\put(95,13){\makebox(0,0)[c]{$W$}}
\put(29,50){\line(1,0){2}}
\multiput(50,19)(45,0){2}{\line(0,1){2}}
\thicklines
\put(30,20){\line(1,0){20}}
\put(50,20){\line(0,1){30}}
\put(50,50){\line(1,0){45}}
\put(95,50){\line(0,-1){30}}
\put(95,20){\line(1,0){20}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
Realisierungen:
\center
\begin{picture}(150,80)
\put(30,0){\vector(0,1){80}}
\put(0,20){\vector(1,0){150}}
\put(27,70){\makebox(0,0)[r]{$x(t)$}}
\put(140,13){\makebox(0,0)[r]{$t$}}
\thicklines
\put(30,20){\line(1,0){20}}
\put(50,20){\line(0,1){30}}
\put(50,50){\line(1,0){45}}
\put(95,50){\line(0,-1){30}}
\put(95,20){\line(1,0){20}}
\put(30,20){\line(1,0){40}}
\put(70,20){\line(0,1){50}}
\put(70,70){\line(1,0){10}}
\put(80,70){\line(0,-1){50}}
\put(80,20){\line(1,0){20}}
\put(30,20){\line(1,0){10}}
\put(40,20){\line(0,-1){10}}
\put(40,10){\line(1,0){50}}
\put(90,10){\line(0,1){10}}
\end{picture}
\end{minipage}

\subsubsection{Verteilungs- und Dichtefunktion}

\begin{minipage}{7.5cm}
\quad 
\begin{picture}(200,80)
\put(0,35){\line(1,0){180}}
\put(150,25){$T\subset \mathbb R$}
\put(145,40){$X(t)$}
\qbezier(00,35)(02,63)(8,65) 
\qbezier(08,65)(12,68)(14,55) 
\qbezier(14,55)(16,48)(20,57) 
\qbezier(20,57)(22,60)(24,57) 
\qbezier(24,57)(26,55)(30,55) 
\qbezier(30,55)(34.6,56)(34,15) 
\qbezier(34,15)(35,10)(38,17) 
\qbezier(38,17)(40,17)(44,40) 
\qbezier(44,40)(48,55)(054,35)
\qbezier(054,35)(058,15)(062,48) 
\qbezier(062,48)(064,70)(066,20) 
\qbezier(066,20)(070,10)(074,40) 
\qbezier(074,40)(076,45)(080,45) 
\qbezier(080,45)(084,45)(084,55) 
\qbezier(084,55)(090,66)(090,12) 
\qbezier(090,12)(092,0)(094,20) 
\qbezier(094,20)(097,30)(100,15) 
\qbezier(100,15)(100,10)(104,10) 
\qbezier(104,10)(108,10)(108,28) 
\qbezier(108,28)(110,35)(116,15) 
\qbezier(116,15)(118,08)(124,50) 
\qbezier(124,50)(126,55)(134,34) 
\qbezier(134,34)(138,28)(142,40) 
\put(50,34){\line(0,1){46}}
\put(50,27){\makebox(0,0){$t_2$}}
\put(50,10){\makebox(0,0){$X(t_2)$}}
\put(50,45){\circle*3}
\put(15,34){\line(0,1){46}}
\put(15,27){\makebox(0,0){$t_1$}}
\put(15,10){\makebox(0,0){$X(t_1)$}}
\put(15,53){\circle*3}
\put(130,34){\line(0,1){46}}
\put(130,44){\circle*3}
\put(130,27){\makebox(0,0){$t_n$}}
\put(130,10){\makebox(0,0){$X(t_n)$}}

\end{picture}
\end{minipage}%
\begin{minipage}{8.5cm}
Wird ein zuf"alliger Prozess $X$ zu festen Zeitpunkten
$t_1,\,t_2,\,\ldots,\,t_n$ betrachtet, erh"alt man einen zuf"alligen Vektor
$(X(t_1),\,X(t_2),\,\ldots,\,X(t_n))$.

\end{minipage}%


\bigskip

"Ubertragung der Definitionen aus 8.1.2:

\begin{enumerate}
\renewcommand{\labelenumi}{\bf \alph{enumi})}
\item \textbf{Verteilungsfunktion}

\begin{tabular}{@{}l@{ }r@{ }l@{}}
zuf. Vektor:&$F_X(\xi_1,\,\xi_2,\,\ldots,\,\xi_n)$&$= P(X_1 < \xi_1,\,X_2 <
\xi_2,\,\ldots,\,X_n < \xi_n)$\\
zuf. Prozess:&$F_X(\xi_1, t_1;\,\xi_2,t_2;\,\ldots;\,\xi_n,t_n)$ &$= P(X_1(t_1) <
\xi_1,\,X_2(t_2) < \xi_2,\,\ldots,X_n(t_n) < \xi_n)$
\end{tabular}

$\to$ $n$-dimensionale Verteilungsfunktion des Prozesses $X$

\smallskip

Sonderf"alle:

\smallskip

\begin{tabular}{@{}l@{\qquad}r@{ }ll@{}}
$n = 1$ & $F_X(\xi,t)$ &$= P(X(t) < \xi)$ & \qquad eindimensionale
Vfkt\\
$n = 2$ & $F_X(\xi_1,t_1;\,\xi_2,t_2)$ &$= P(X(t_1) < \xi_1;\,X(t_2) < \xi_2)$
& \qquad zweidimensionale Vfkt
\end{tabular}

\item\textbf{Dichtefunktion:} 
Wenn sich die $n$-dimensionale Verteilungsfunktion $F_X$ als
\[F_X(\xi_1, t_1;\,\xi_2,t_2;\,\ldots;\,\xi_n,t_n) =
\int\limits_{-\infty}^{\xi_1}\cdots\int\limits_{-\infty}^{\xi_n}
f_X(x_1,t_1;\,x_2,t_2;\,\ldots;\,x_n,t_n) \, dx_n\,\cdots\,dx_1\]
darstellen l"a"st, hei"st $f_X$ $n$-dimensionale Dichtefunktion dieses
Prozesses $X$.
\end{enumerate}

\subsubsection{Vektorprozesse}

Sind $X_1$, $X_2$, \ldots, $X_n$ zuf"allige Prozesse, dann hei"st $X =
(X_1,\,X_2,\,\ldots,\,X_n)$ $n$-dimensionaler \emph{Vektorprozess}.

\subsubsection{Spezielle Momente (einfache Prozesse)}

\paragraph{(1) Erwartungswert}
\[E[X(t)] = \int\limits_{-\infty}^{\infty} x f_X (x,t) \,dx = m_X(t) \qquad
\text{ zeitabh"angig!}\]

\begin{minipage}{7cm}
\begin{picture}(190,110)
\put(0,45){\vector(1,0){190}}
\put(155,35){$T\subset \mathbb R$}
\thicklines
\qbezier(0,45)(21.5,085)(37,085)
\qbezier(37,085)(52.5,085)(75,45)
\qbezier(75,45)(96.5,5)(112,5)
\qbezier(112,5)(127.5,5)(150,45)


\input{incl.tex}

\thinlines
\put(40,44){\line(0,1){55}}
\put(40,38){\makebox(0,0){$t$}}
\put(40,23){\makebox(0,0){$X(t)$}}
\put(40,84.4){\circle*3}
\put(42,90){\makebox(0,0)[bl]{$m_X(t)$}}
\end{picture}
\end{minipage}%
\hfill
\begin{minipage}{8.5cm}
\begin{description}
\item[Beachte:] Der Erwartungswert $m_X(t)$ [dicke Linie] hat im Allgemeinen nichts zu tun mit dem zeitlichen
Mittelwert einer Realisierung
\end{description}
\end{minipage}

\paragraph{(2) Varianz}
\[E\left[(X(t) - m_X(t))^2\right] = \int\limits_{-\infty}^{\infty} (x-m_X(t))^2
f_X(x,t)\,dx = \mathrm{Var}\,(x)\]

\paragraph{(3) Korrelationsfunktion (Autokorrelationsfunktion, AKF)}
\[E\left[X(t_1)X(t_2)\right] =
\int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty} x_1 x_2 \cdot
f_X(x_1,t_1;\,x_2,t_2)\,dx_2\,dx_1 = s_X(t_1,\,t_2) = \psi_{XX}(t_1,\,t_2) \]
\textbf{Eigenschaften:}

\begin{enumerate}
\renewcommand{\labelenumi}{\alph{enumi})}
\item $s_X(t_1, \,t_2) = s_X(t_2,\,t_1)$
\item $s_X(t,t) = E\left[X^2(t)\right] \geq 0$
\end{enumerate}

\paragraph{(4) Kovarianzfunktion}
\begin{multline*}
E\left[(X(t_1) - m_X(t_1))(X(t_2) - m_X(t_2))\right] = \\
\int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty} (x_1-m_X(t_1))(x_2
- m_X(t_2)) f_X(x_1,t_1;\,x_2,t_2)\,dx_2\,dx_1 = \mathrm{Cov}\,(X(t_1),\,X(t_2))
\end{multline*}

\textbf{Eigenschaften:}

\begin{enumerate}
\renewcommand{\labelenumi}{\alph{enumi})}
\item $\mathrm{Cov}\,(X(t_1),\,X(t_2)) = E\left[X(t_1)X(t_2)\right] -
E\left[X(t_1)\right] E[X(t_2)] = s_X(t_1,\,t_2) - m_X(t_1)\cdot m_X(t_2)$
\item $\mathrm{Cov}\,(X(t),\,X(t)) = \mathrm{Var}\,(X(t))$
\end{enumerate}


\paragraph{(5) Kovarianzmatrix}
\[
\mathrm{Cov}\,(X) = \left(
\begin{array}{cccc}
\mathrm{Cov}\,(X(t_1),X(t_1)) & \mathrm{Cov}\,(X(t_1),X(t_2)) & \cdots &
\mathrm{Cov}\,(X(t_1),X(t_n)) \\
\mathrm{Cov}\,(X(t_2),X(t_1)) & \mathrm{Cov}\,(X(t_2),X(t_2)) & \cdots &
\mathrm{Cov}\,(X(t_2),X(t_n)) \\
\vdots & \vdots & \ddots & \vdots \\
\mathrm{Cov}\,(X(t_n),X(t_1)) & \mathrm{Cov}\,(X(t_n),X(t_2)) & \cdots &
\mathrm{Cov}\,(X(t_n),X(t_n)) 
\end{array}
\right)\]

\paragraph{(6) Kreuzkorrelationsfunktion} (zwei Prozesse $X$ und $Y$)
\[E[X(t_1) Y(t_2)] =
\int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty} xy \cdot f_{(XY)}
(x,t_1;\,y,t_2)\,dy\,dx = s_{XY}(t_1,\,t_2) = \psi_{XY}(t_1,\,t_2)\]
\textbf{Eigenschaften:}

\begin{enumerate}
\renewcommand{\labelenumi}{\alph{enumi})}
\item $s_{XY}(t_1,\,t_2) = s_{YX}(t_2,\,t_1)$
\item $s_{XX}(t_1,\,t_2) = s_X(t_1,\,t_2)$ \qquad (AKF)
\end{enumerate}


\subsection{Station"are Prozesse}
\subsubsection{Definitionen und Eigenschaften}

\begin{center}
\begin{picture}(300,100)
\put(0,40){\line(1,0){300}}
\put(270,30){$T \subset \mathbb R$}
\multiput(15,15)(150,0){2}{
\put(0,0){\line(0,1){70}}
\put(25,0){\line(0,1){70}}
\put(65,0){\line(0,1){70}}
}
\put(15,10){\vector(1,0){150}}
\put(165,10){\vector(-1,0){150}}
\put(90,3){\makebox(0,0){$\Delta$}}
\put(16,30){$\scriptstyle t_1$}
\put(166,30){$\scriptstyle t_1+\Delta$}
\put(41,30){$\scriptstyle t_2$}
\put(191,30){$\scriptstyle t_2+\Delta$}
\put(81,30){$\scriptstyle t_n$}
\put(231,30){$\scriptstyle t_n+\Delta$}
\put(2,65){$x$}
\qbezier(0,35)(10,75)(25,75)
\qbezier(25,75)(35,75)(40,65)
\qbezier(40,65)(55,50)(75,65)
\qbezier(75,65)(85,73)(90,35)
\qbezier(75,65)(85,73)(90,35)
\qbezier(90,35)(93,20)(99,20)
\qbezier(99,20)(104,20)(108,25)
\qbezier(108,25)(115,35)(122,25)
\qbezier(122,25)(130,18)(138,30)
\qbezier(138,30)(155,60)(165,60)
\qbezier(165,60)(180,60)(190,75)
\qbezier(190,75)(195,80)(210,67)
\qbezier(210,67)(225,55)(240,60)
\end{picture}
\end{center}

\paragraph{Definition:}  Der zuf"allige Prozess $X$ hei"st \emph{station"ar}, wenn
f"ur beliebige $n$ uund $\Delta$ gilt:
\[F_X(\xi_1,t_1;\,\xi_2,t_2;\,\ldots;\,\xi_n,t_n) =
F_X(\xi_1,t_1+\Delta;\,\xi_2,t_2+\Delta;\,\ldots;\,\xi_n,t_n+\Delta) \]
Entsprechendes gilt f"ur die Dichtefunktion.
\paragraph{Folgerungen}
\begin{description}
\item[ n=1:] In $f_X(x,\,t+\Delta) = f_X(x,\,t)$ ist $\Delta$ beliebig, also
auch $\Delta = -t$.

\smallskip

$\Rightarrow f_X(x,\,t) = f_X(x,\,0)$ \quad zeitunabh"angig

$\Rightarrow E[X(t)] = \int\limits_{-\infty}^{\infty}\! x f_X(x,\,0)\,dx = m_X(0)
= m_X = \mathrm{const}$

\item[ n=2:] In $f_X(x_1,t_1+\Delta;\, x_2,t_2+\Delta) = f_X(x_1,t_1;\, x_2,
t_2)$ ist $\Delta$ beliebig, also auch $\Delta = -t_1$.

\smallskip

$\Rightarrow f_X(x_1,t_1;\, x_2,t_2) =
f_X(x_1,0;\,x_2,\underbrace{t_2-t_1}_{\tau})$

$\Rightarrow s_X(t_1,\,t_2) = E[X(t_1)X(t_2)] = s_X(t_2-t_1) = \boxed{\ 
s_X(\tau) = E[X(t)\cdot X(t+\tau)]\vphantom{\big|} \ }$
\end{description}
\paragraph{Definition:} $X$ hei"st \emph{schwach station"ar} (station"ar im
weiteren Sinne), wenn


\begin{enumerate}
\renewcommand{\labelenumi}{\alph{enumi})}
\item $e[x(t)] = m_x = \mathrm{const}$
\item $e[x(t_1)x(t_2)] = s_x(t_1,\,t_2) = s_x(t_2 - t_1) = s_x(\tau)$
\item $e\!\left[x^2(t)\right] < \infty$
\end{enumerate}

Im weiteren werden in 8.3 station"are Prozesse mit $m_X = 0$ betrachtet.

\subsubsection{Korrelationsfunktionen}
\paragraph{Eigenschaften:}

\begin{enumerate}
\renewcommand{\labelenumi}{\alph{enumi})}
\item $s_X(\tau) = s_X(-\tau)$ \quad (gerade Funktion)
\item $|s_X(\tau)| \leq s_X(0)$ \quad \ (s. Aufgabe 8.21)
\end{enumerate}
\paragraph{Typische Verl"aufe:}\hspace*{\fill}\\
\begin{minipage}{5cm}
\center
\begin{picture}(120,90)
\put(60,0){\vector(0,1){80}}
\put(0,20){\vector(1,0){120}}
\put(58,70){\makebox(0,0)[r]{$s_X(\tau)$}}
\put(110,13){\makebox(0,0)[c]{$\tau$}}
\qbezier(10,25)(40,25)(59.75,65)
\qbezier(59.75,65)(80,25)(110,25)
\end{picture}
\end{minipage}%
\hfill
\begin{minipage}{5cm}
\center
\begin{picture}(120,90)
\put(60,0){\vector(0,1){80}}
\put(0,20){\vector(1,0){120}}
\put(58,70){\makebox(0,0)[r]{$s_X(\tau)$}}
\put(110,13){\makebox(0,0)[c]{$\tau$}}
\qbezier(50,50)(60,70)(70,50)
\qbezier(10,25)(35,25)(50,50)
\qbezier(70,50)(85,25)(110,25)
\end{picture}
\end{minipage}%
\hfill
\begin{minipage}{5cm}
\center
\begin{picture}(120,90)
\put(60,0){\vector(0,1){80}}
\put(0,20){\vector(1,0){120}}
\put(58,70){\makebox(0,0)[r]{$s_X(\tau)$}}
\put(110,13){\makebox(0,0)[c]{$\tau$}}
\qbezier(56,50)(60,70)(64,50)

\qbezier(56,50)(50,12)(45,12)
\qbezier(45,12)(43,12)(40,20)
\qbezier(40,20)(38,25)(35,25)
\qbezier(35,25)(33,25)(30,18)
\qbezier(30,18)(25,11)(20,18)

\qbezier(64,50)(70,12)(75,12)
\qbezier(75,12)(77,12)(80,20)
\qbezier(80,20)(82,25)(85,25)
\qbezier(85,25)(87,25)(90,18)
\qbezier(90,18)(95,11)(100,18)
\end{picture}
\end{minipage}%

\paragraph{Anschauliche Erkl"arung der AKF}

\begin{center}
\begin{picture}(310,90)
\put(0,40){\line(1,0){300}}
\put(270,30){$T \subset \mathbb R$}
\put(15,10){
\put(0,0){\line(0,1){75}}
\put(25,0){\line(0,1){75}}
\put(165,0){\line(0,1){75}}
}
\put(17,30){$\scriptstyle t$}
\put(42,30){$\scriptstyle t+\tau_1$}
\put(182,30){$\scriptstyle t+\tau_2$}
\qbezier(0,35)(10,75)(25,75)
\qbezier(25,75)(35,75)(40,65)
\qbezier(40,65)(55,50)(75,65)
\qbezier(75,65)(85,73)(90,35)
\qbezier(75,65)(85,73)(90,35)
\qbezier(90,35)(93,20)(99,20)
\qbezier(99,20)(104,20)(108,25)
\qbezier(108,25)(115,35)(122,25)
\qbezier(122,25)(130,18)(138,30)
\qbezier(138,30)(155,60)(165,60)
\qbezier(165,60)(180,60)(190,75)
\qbezier(190,75)(195,80)(210,67)
\qbezier(210,67)(225,55)(240,60)

\qbezier(0,60)(15,65)(35,55)
\qbezier(35,55)(45,50)(65,60)
\qbezier(65,60)(75,63)(80,50)
\qbezier(80,50)(85,40)(110,55)
\qbezier(110,55)(120,60)(125,15)
\qbezier(125,15)(129,5)(160,25)
\qbezier(160,25)(180,35)(195,15)
\qbezier(195,15)(210,0)(240,20)

\qbezier(0,15)(10,25)(25,15)
\qbezier(25,15)(35,10)(50,20)
\qbezier(50,20)(60,28)(70,15)
\qbezier(70,15)(78,08)(85,65)
\qbezier(85,65)(88,75)(120,55)
\qbezier(120,55)(140,40)(180,60)
\qbezier(180,60)(210,75)(240,55)

\put(15,19.2){\circle*3}
\put(08,22){3}
\put(15,61){\circle*3}
\put(17,51){2}
\put(15,69.5){\circle*3}
\put(08,71){1}

\put(40,14.5){\circle*3}
\put(33,17){3}
\put(40,53.2){\circle*3}
\put(42,44){2}
\put(40,65){\circle*3}
\put(42,67){1}

\put(180,27){\circle*3}
\put(180,60){\circle*3}
\put(180,64){\circle*3}

\put(173,18){1}
\put(182,50){3}
\put(173,67){2}


\end{picture}
\end{center}

\bigskip

\begin{minipage}{5cm}
\center
\begin{picture}(120,100)
\put(60,0){\vector(0,1){100}}
\put(0,50){\vector(1,0){120}}
\put(58,90){\makebox(0,0)[r]{$x(t+\tau)$}}
\put(120,42){\makebox(0,0)[r]{$x(t)$}}
\put(20,10){\line(1,1){80}}
\put(90,80){\circle*3}
\put(88,87){\makebox(0,0){1}}
\put(78,77){\makebox(0,0){2}}
\put(38,37){\makebox(0,0){3}}
\put(80,70){\circle*3}
\put(40,30){\circle*3}
\end{picture}

$\tau = 0$ \quad maximal korreliert
\end{minipage}%
\hfill
\begin{minipage}{5cm}
\center
\begin{picture}(120,100)
\put(60,0){\vector(0,1){100}}
\put(0,50){\vector(1,0){120}}
\put(58,90){\makebox(0,0)[r]{$x(t+\tau)$}}
\put(120,42){\makebox(0,0)[r]{$x(t)$}}
\put(20,10){\line(1,1){80}}
\put(90,75){\circle*3}
\put(96,76){\makebox(0,0){1}}
\put(86,56){\makebox(0,0){2}}
\put(43,18){\makebox(0,0){3}}
\put(80,60){\circle*3}
\put(40,25){\circle*3}
\end{picture}

$\tau = \tau_1$ \quad stark korreliert
\end{minipage}%
\hfill
\begin{minipage}{5cm}
\center
\begin{picture}(120,100)
\put(60,0){\vector(0,1){100}}
\put(0,50){\vector(1,0){120}}
\put(58,90){\makebox(0,0)[r]{$x(t+\tau)$}}
\put(120,42){\makebox(0,0)[r]{$x(t)$}}
\put(20,10){\line(1,1){80}}
\put(90,40){\circle*3}
\put(90,32){\makebox(0,0){1}}
\put(78,87){\makebox(0,0){2}}
\put(40,62){\makebox(0,0){3}}
\put(80,80){\circle*3}
\put(40,70){\circle*3}
\end{picture}

$\tau = \tau_2$ \quad schwach korreliert
\end{minipage}%

\subsubsection{Leistungsdichtespektrum}

Sei $s_X(\tau)$ "uberall stetig und absolut integrierbar. Dann sei
\[S_X(\omega) = \int\limits_{-\infty}^{\infty} s_X(\tau) \cdot e^{j\omega
\tau}\,d\tau, \qquad s_X(\tau) = \frac 1 {2\pi} \int\limits_{-\infty}^{\infty}
S_X(\omega) \cdot e^{j\omega\tau}\,d\omega. \]
Die Bildfunktion $S_X(\omega)$ hei"st \emph{Leistungsdichtespektrum} (Theorem
von \textsc{Wiener} und \textsc{\foreignlanguage{russian}{Khinchin}}).

\paragraph{Bedeutung von $S_X(\omega)$:}

\begin{itemize}
\item leicht messtechnisch erfassbar
\item einfache Zusammenh"ange bei linearen Systemen
\end{itemize}

\paragraph{Eigenschaften von $S_X(\omega)$:}

\begin{enumerate}
\renewcommand{\labelenumi}{(\arabic{enumi})}
\item $S_X(\omega) = S_X(-\omega)$ \qquad (gerade Funktion)
\item $S_X(\omega) \geq 0$	\qquad\qquad\quad  (reell)
\item $E[X^2(t)] = S_X(0) = \frac 1 2 \int\limits_{-\infty}^{\infty}
S_X(\omega) \underbrace{e^{-j\omega \tau}}_1 \,d\omega = \frac{1}{2\pi}
\int\limits_{-\infty}^{\infty} S_X(\omega)\,d\omega \geq 0$
\end{enumerate}

\paragraph{Typische Verl"aufe:} (1--3, 4: AKF von 3., wei"ses Rauschen)\hspace*{\fill}\\
\begin{minipage}{4cm}
\center
\begin{picture}(100,90)
\put(50,0){\vector(0,1){80}}
\put(0,10){\vector(1,0){100}}
\put(48,70){\makebox(0,0)[r]{$\scriptstyle S_X(\omega)$}}
\put(93,4){\makebox(0,0)[c]{$\omega$}}
\qbezier(5,20)(30,25)(40,40)
\qbezier(40,40)(50,56)(60,40)
\qbezier(60,40)(70,25)(95,20)
\end{picture}
\end{minipage}%
\begin{minipage}{4cm}
\center
\begin{picture}(100,90)
\put(50,0){\vector(0,1){80}}
\put(0,10){\vector(1,0){100}}
\put(48,70){\makebox(0,0)[r]{$\scriptstyle S_X(\omega)$}}
\put(93,4){\makebox(0,0)[c]{$\omega$}}
\qbezier(0,30)(10,30)(20,40)
\qbezier(20,40)(30,54)(40,40)
\qbezier(40,40)(50,26)(60,40)
\qbezier(60,40)(70,54)(80,40)
\qbezier(80,40)(90,30)(100,30)
\end{picture}
\end{minipage}%
\begin{minipage}{4cm}
\center
\begin{picture}(100,90)
\put(50,0){\vector(0,1){80}}
\put(0,10){\vector(1,0){100}}
\put(48,70){\makebox(0,0)[r]{$\scriptstyle S_X(\omega)$}}
\put(93,4){\makebox(0,0)[c]{$\omega$}}
\put(5,40){\line(1,0){90}}
\put(53,43){$S_0$}
\end{picture}
\end{minipage}%
\begin{minipage}{4cm}
\center
\begin{picture}(100,90)
\put(50,0){\vector(0,1){80}}
\put(0,10){\vector(1,0){100}}
\put(48,70){\makebox(0,0)[r]{$\scriptstyle s_X(\tau)$}}
\put(93,4){\makebox(0,0)[c]{$\tau$}}
\put(50,10){\thicklines\vector(0,1){40}}
\put(53,30){$S_0\cdot \delta(\tau)$}
\end{picture}
\end{minipage}%

\bigskip

\textbf{Definition:} Ein zuf"alliger Prozess mit $S_X(\omega) = S_0 =
\mathrm{const}$ hei"st \emph{wei"ses Rauschen}. Idealisierung, weil $E[X^2(t)]
\to \infty$.

\subsubsection{Kreuzkorrelationsfunktion und Kreuzleistungsdichtespektrum}

Zwei station"are Prozesse $X$ und $Y$.  \[f_{(X,Y)}(x,t_1;\,y,t_2) = f_{(X,Y)}
(x,t_1+\Delta;\, y;t_2+\Delta)\] (\emph{station"ar verbundene Prozesse}). Dann
gilt analog zu 8.3.1: \[s_{XY}(t_1,\,t_2) = E[X(t_1) Y(t_2)] =
s_{XY}(0,t_2-t_1) = s_{XY}(\tau) \] mit den Eigenschaften: \quad $s_{XY}(\tau)
= s_{YX}(-\tau)$ \quad und \quad $s_{XY}(-\tau) = s_{YX}(\tau)$

\paragraph{Definition:} Kreuzleistungsdichtespektrum
\[S_{XY}(\omega) = \int\limits_{-\infty}^{\infty} s_{XY} (\tau) e^{-j\omega
\tau}\, d\tau , \qquad s_{XY}(\tau) = \frac 1 {2\pi}
\int\limits_{-\infty}^{\infty} S_{XY}(\omega) e^{j\omega \tau}\, d\omega \]

% Beispiele fuer Prozessrealisierungen. Feine Folien von Meister Hoffmann. Zu
% viel Arbeit das zu reproduzieren...

\subsection{Spezielle Prozesse}
\subsubsection{Gau"s-Prozesse}
Ein zuf"alliger Prozess hei"st \emph{Gau"s-Prozess} oder \emph{normaler
Prozess}, falls:
\[f_X(x_1,t_1;\, \ldots ;\, x_n,t_n) = \frac 1 {\sqrt{(2\pi)^n \det C}}
\exp\left\{- \frac 1 2 (x-m) C^{-1} (x-m)'  \right\}\]
$(x-m) = \big(x_1 - m_X(t_1) \quad x_2 - m_X(t_2) \quad \cdots \quad x_n -
m_X(t_n)\big)$ \qquad Zeilenvektor

\bigskip

$(x-m)' = (x-m)^T = \begin{pmatrix}x_1 - m_X(t_1) \\ x_2 - m_X(t_2) \\ \cdots \\ x_n
- m_X(t_n)\end{pmatrix}$ \qquad Spaltenvektor

\bigskip
$
C = 
\begin{pmatrix}
\mathrm{Cov}\,(X(t_1),X(t_1)) & \cdots &
\mathrm{Cov}\,(X(t_1),X(t_n)) \\
\mathrm{Cov}\,(X(t_2),X(t_1)) & \cdots &
\mathrm{Cov}\,(X(t_2),X(t_n)) \\
\vdots &  \ddots & \vdots \\
\mathrm{Cov}\,(X(t_n),X(t_1)) &  \cdots &
\mathrm{Cov}\,(X(t_n),X(t_n)) 
\end{pmatrix}
$\qquad Kovarianzmatrix

\bigskip
\smallskip

$\mathrm{Cov}\,(X(t_i),X(t_j)) = s_X(t_i,\,t_j) - m_X(t_i)\cdot m_X(t_j)$
\begin{description}
\item[Beachte:] Der Gau"s-Prozess ist durch $m_X(t)$ und $s_X(t_1,\,t_2)$
vollst"andig charakterisiert.
\end{description} 

\subsubsection{Markov-Prozesse}
Folge aufeinanderfolgender Zeitpunkte: $t_1 < t_2 < t_3 < \cdots < t_n$

\begin{description}
\item[Definition 1:] Ein Prozess $X$ hei"st \emph{rein stochastisch} (ohne
Ged"achtnis), falls
\[f_X(x_n\,t_n | \underbrace{x_1,t_1;\,x_2,t_2;\,\ldots;\,
x_{n-1},t_{n-1}}_{\text{bekannte Vergangenheit}}) = f_X(x_n\,t_n)\]
z.B. W"urfeln.

\item[Definition 2:] Ein Prozess hei"st \emph{Markov-Prozess}, wenn
\[f_X(x_n\,t_n | x_1,t_1;\,x_2,t_2;\,\ldots;\,
x_{n-1},t_{n-1}) =
f_X(x_n\,t_n|x_{n-1},t_{n-1})\]
z.B. Automat  

\item[Beispiel:] Wiener-Prozess (Brausche Bewegung); $T = [0,\,\infty)$
\[f_X(x,t) = \left\{\begin{array}{ll}\delta(x) & t = 0\\\frac{1}{\sqrt{2\pi}}
\exp\left(-\frac{x^2}{2t}\right) & t > 0 \end{array}\right. \qquad \ \]
\[f_X(x_2,t_2|x_1,t_1) = \left\{ \begin{array}{ll} \delta(x_2 - x_1) & t_2 = t_1
\\ \frac{1}{\sqrt{2\pi (t_2 - t_1)}}
\exp\left[-\frac{(x_2-x_1)^2}{2(t_2-t_1)}\right] & \text{sonst} \end{array}\right.\] 
\end{description} 

\newpage

\section{Statische Systeme}
\subsection{Abbildung von Zufallsgr"o"sen}
\subsubsection{Determinierte Systemabbildung}

\begin{minipage}{8cm}
\begin{picture}(225,70)
\put(0,29){${X}\left\{\!\!\begin{array}{c}X_1\\X_2\\\vdots\\X_l\end{array}\right.$}
\put(170,29){$\left.\begin{array}{c}Y_1\\Y_2\\\vdots\\Y_m\end{array}\!\!\right\}
Y $}
\put(0,-10){
\multiput(0,0)(130,0){2}{\put(40,19){\circle{2}}
\multiput(40,52)(0,13){2}{\circle{2}}}
\multiput(0,0)(109,0){2}{
\multiput(41,52)(0,13){2}{\line(1,0){19}}
\put(41,19){\line(1,0){19}}}
\multiput(60,10)(90,0){2}{\line(0,1){64}}
\multiput(60,10)(0,64){2}{\line(1,0){90}}
\multiput(45,30.3)(116,0){2}{$\vdots$}
\put(105,52){\makebox(0,0){\Huge $\Phi$}}
\put(105,32){\makebox(0,0){$y = \Phi(x)$}}
}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\paragraph{Definition:} Ein statistisches System hei"st \emph{determiniert},
falls f"ur alle $\omega \in \Omega$ gilt, da"s mit $y = Y(\omega)$ und $x =
X(\omega)$ gilt: 
\[y = \Phi(x)\]
\end{minipage}

\bigskip

[Stochastische Systemabbildung $\to$ 9.3.1]

\subsubsection{Transformation der Dichtefunktion}

\begin{description}
\item[gegeben:] Zuf"alliger Vektor $X$ mit $F_X$ oder $f_X$, Systemabbildung
$\Phi$
\item[gesucht:] $F_Y$ oder $f_y$ des zuf"alligen Vektors $Y$ am Systemausgang
\item[Zun"achst:] L"osung f"ur den Sonderfall $l = m = 2$ und $\Phi$ bijektiv.
\end{description}

\begin{minipage}{6cm}
\center
\begin{picture}(170,55)
\multiput(60,0)(50,0){2}{\line(0,1){50}}
\multiput(60,0)(0,50){2}{\line(1,0){50}}
\put(85,35){\makebox(0,0){\LARGE$\Phi$}}
\put(85,15){\makebox(0,0){bijektiv}}
\multiput(40,10)(0,30){2}{\circle2}
\multiput(41,10)(0,30){2}{\line(1,0){19}}
\multiput(130,10)(0,30){2}{\circle2}
\multiput(110,10)(0,30){2}{\line(1,0){19}}
\put(23,25){\makebox(0,0){$X\left\{\!\!\!\begin{array}{l}X_1\\[3ex]X_2\end{array} \right. $}}
\put(146,25){\makebox(0,0){$\left.\begin{array}{l}Y_1\\[3ex]Y_2\end{array}\!\!\!\right\}
Y $}}
\end{picture}
\end{minipage}%
\begin{minipage}{10cm}
\center $Y = \Phi(X)$ bestehe aus den Teilabbildungen
\begin{align*}
Y_1 &= \varphi_1 (X_1,\,X_2)\\
Y_2 &= \varphi_2 (X_1,\, X_2)
\end{align*}
\end{minipage}

\bigskip

Dann gilt f"ur die Werte der Zufallsgr"o"sen $Y_1 = \varphi(x_1,\,x_2)$ und $Y_2
= \varphi(x_1,x_2)$:

\begin{center}
\begin{picture}(325,100)
\multiput(0,0)(200,0){2}{
\put(20,10){\vector(0,1){90}}
\put(15,15){\vector(1,0){110}}
\put(17,90){\makebox(0,0)[r]{$\mathbb R$}}
\put(120,8){\makebox(0,0)[r]{$\mathbb R$}}
}

\put(17,60){\makebox(0,0)[r]{$X_2$}}
\multiput(19,60)(4,0){11}{\line(1,0){2}}
\put(60,8){\makebox(0,0)[c]{$X_1$}}
\multiput(60,14)(0,4){12}{\line(0,1){2}}
\put(60,60){\circle*2}
\put(59,62){\makebox(0,0)[br]{$X$}}
\put(60,60){\oval(50,40)}

\put(56,95){\makebox(0,0){$\Phi^{-1}(B)$}}
\put(50,90){\line(1,-1){10}}

\put(217,55){\makebox(0,0)[r]{$Y_2$}}
\multiput(219,55)(4,0){13}{\line(1,0){2}}
\put(268,8){\makebox(0,0)[c]{$Y_1$}}
\multiput(268,14)(0,4){11}{\line(0,1){2}}
\put(268,55){\circle*2}
\put(272,57){\makebox(0,0)[bl]{$Y$}}
\put(268,55){\oval(55,45)}

\qbezier(63,62)(165,80)(265,57)
\put(265,57){\vector(4,-1){0}}
\put(155,76){\makebox(0,0)[c]{\Large$\Phi$}}
\end{picture}
\end{center}

% mmh, X_1 vs. x_1 .. 

Da $\Phi$ bijektiv sein soll, folgt:
\[\left.\begin{array}{l}
X_1 = {\varphi_1}^{-1} (Y_1,\, Y_2)\\
X_2 = {\varphi_2}^{-1} (Y_1,\, Y_2)
\end{array}\right\} \quad X = \Phi^{-1}(Y)\]
Ansatz: $P(Y \in B) = P(X \in \Phi^{-1}(B))$, mit 
Variablentransformation ($\to$ Analysis)
\[\iint_{(B)} \underbrace{f_Y(y_1,y_2)}_{\text{gesucht}}\,dy_2\,dy_1 =
\iint_{(\Phi^{-1}(B))} \underbrace{f_X(x_1,x_2)}_{\text{bekannt}}\,dx_2\,dx_1
= \iint\frac{f_X({\varphi_1}^{-1}(y_1,y_2), {\varphi_2}^{-1}(y_1,y_2))}
{\left| \frac{\partial(\varphi_1, \varphi_2)}{\partial
(x_1,x_2)}\right|}\,dy_2\,dy_1\]
mit der sogenannten \emph{Funktionaldeterminante}:
\[\left| \frac{\partial(\varphi_1, \varphi_2)}{\partial
(x_1,x_2)}\right| =
\left| \det \begin{pmatrix} \frac{\partial \varphi_1(x_1,x_2)}{\partial x_1}
& \frac{\partial \varphi_1(x_1,x_2)}{\partial x_2} \\[1ex]
\frac{\partial \varphi_2(x_1,x_2)}{\partial x_1} &
\frac{\partial \varphi_2(x_1,x_2)}{\partial x_2}
\end{pmatrix}
\right|
\]

Dann gilt umso genauer, je kleiner $B$, aber auch allgemein:
\[f_Y(y_1,y_2) = \left(\frac{f_X(x_1,x_2)}{\frac{\partial
\varphi_1(x_1,x_2)}{\partial(x_1,x_2)}}\right)_{\substack{
x_1 = {\varphi_1}^{-1}(y_1,y_2)\\ x_2 = {\varphi_2}^{-1}(y_1,y_2)
}}\]
Sonderfall $l = m =  1$:
\[f_Y(y) = \left(\frac{f_X(x)}{\left|\frac{\partial \varphi}{\partial
x}\right|}\right)_{x=\varphi^{-1}(y)}\]

\subsubsection*{Beispiele}
\begin{enumerate}
\item Beispiel: $l = m = 1$ \qquad
\raisebox{-8pt}{    % :)
\begin{picture}(100,20)
\put(0,10){\makebox(0,0)[l]{$X$}}
\put(12,10){\circle{2}}
\put(13,10){\line(1,0){17}}
\multiput(30,0)(30,0){2}{\line(0,1){20}}
\multiput(30,0)(0,20){2}{\line(1,0){30}}
\put(45,10){\makebox(0,0){$(...)^3$}}
\put(60,10){\line(1,0){17}}
\put(78,10){\circle{2}}
\put(82,10){\makebox(0,0)[l]{$Y$}}
\end{picture}}
\qquad $Y = \varphi(X) = X^3$
\begin{description}
\item[gegeben:]\hspace*{\fill}\\
\begin{minipage}{6cm} 
\center
\[f_X(x) = \left\{\begin{array}{ll}\frac 1 {b-1} &  a \leq x \leq b \\ 0 &
\text{sonst}\end{array}\right. \]

\bigskip
\end{minipage}%
\begin{minipage}{6cm} 
\begin{picture}(100,60)
\put(30,10){\vector(0,1){50}}
\put(25,15){\vector(1,0){75}}
\put(29,35){\line(1,0){2}}
\put(28,35){\makebox(0,0)[r]{$\frac 1 {b-a}$}}
\put(28,55){\makebox(0,0)[r]{$\scriptstyle f_X(x)$}}
\multiput(50,14)(0,4){5}{\line(0,1){2}}
\multiput(70,14)(0,4){5}{\line(0,1){2}}
\thicklines
\put(27.5,15){\line(1,0){22.5}}
\put(50,35){\line(1,0){20}}
\put(70,15){\line(1,0){20}}
\put(50,7){\makebox(0,0)[b]{$\scriptstyle a$}}
\put(70,7){\makebox(0,0)[b]{$\scriptstyle b$}}
\put(95,7){\makebox(0,0)[b]{$\scriptstyle x$}}
\end{picture}
\end{minipage}%

\item[gesucht:] $f_Y(y)$
\end{description}
\begin{enumerate}
\renewcommand{\labelenumii}{\arabic{enumii}.}
\item $y = \varphi(x) = x^3$
\item Funktionaldeterminante: $\left|\frac{d\varphi(x)}{dx}\right| = 3x^2$
\item Umkehrfunktion: $x = \varphi^{-1}(y) = \sqrt[3]{y}$
\item Einsetzen $\to$ Dichte

\begin{minipage}{8cm}
\[\Rightarrow \quad f_{Y}(y) = \left\{\begin{array}{ll} \frac{1}{b-a}
\frac{1}{3(\sqrt[3]{y})^2} & a^3 \leq y \leq b^3 \\ 0 & \text{sonst}
\end{array}\right.\]  
\end{minipage}%
\begin{minipage}{5cm}
\begin{picture}(100,60)
\put(30,10){\vector(0,1){50}}
\put(25,15){\vector(1,0){75}}
\put(28,55){\makebox(0,0)[r]{$\scriptstyle f_Y(y)$}}
\multiput(50,14)(0,4){8}{\line(0,1){2}}
\multiput(70,14)(0,4){4}{\line(0,1){2}}
\thicklines
\put(27.5,15){\line(1,0){22.5}}
\qbezier(50,45)(55,30)(70,30)
\put(70,15){\line(1,0){20}}
\put(50,7){\makebox(0,0)[b]{$\scriptstyle a$}}
\put(70,7){\makebox(0,0)[b]{$\scriptstyle b$}}
\put(95,7){\makebox(0,0)[b]{$\scriptstyle x$}}
\end{picture}
\end{minipage}%

\end{enumerate}


\item Beispiel: $l = 2$, $m = 1$. \quad $Y_1 = \varphi_1(X_1,X_2) = X_1 + X_2$, \quad 
$Y_2 = \varphi_2(X_1,X_2) = X_2$

\textbf{gegeben:} \ $f_X(x_1,x_2)$, \quad \textbf{gesucht:} \ $f_Y(y)$


\begin{enumerate}
\renewcommand{\labelenumii}{\arabic{enumii}.}
\item Werte: \qquad $y_1 = \varphi_1(x_1,x_2) = x_1 + x_2, \qquad y_2 =
\varphi_2(x_1,x_2) = x_2$

\item Funktionaldeterminante
\[\frac{\partial(\varphi_1,\varphi_2)}{\partial(x_1,x_2)} =
\left|\begin{matrix}
\frac{\partial \varphi_1}{\partial x_1} & \frac{\partial \varphi_2}{\partial
x_2}\\
\frac{\partial \varphi_2}{\partial x_1} & \frac{\partial \varphi_2}{\partial
x_2} 
\end{matrix}\right| = \left|\begin{matrix}1 & 1 \\ 0 & 1\end{matrix}\right| =
1\]
\item Umkehrfunktion
\[x_1 = {\varphi_1}^{-1}(y_1,y_2) = y_1 - y_2 \qquad x_2 =
{\varphi_2}^{-1}(y_1, y_2) = y_2\]
\item Einsetzen $\to$ Dichte
\[f_Y(y_1,y_2) = \left(\frac{f_X(x_1,x_2)}{1}\right)_{\substack{x_1 = y_1 -
y_2\\x_2 = y_2}} = f_X(y_1 - y_2, y_2) \]
\item "Ubergang zur Randdichte
\[f_Y(y) = f_{Y_1}(y) = \int\limits_{-\infty}^{\infty} f_Y(y_1,y_2)\,dy_2 =
\int\limits_{-\infty}^{\infty} f_X(y_1-y_2,y_2)\,dy_2 \]

Sonderfall: $x_1,\,x_2$ unabh"angig $\to f_X(x_1,x_2) = f_{X_1}(x_1)\cdot
f_{X_2}(x_2)$
\[f_Y(y) = \int\limits_{-\infty}^{\infty} f_{X_1}(y_1-y_2)\cdot f_{X_2}(y_2) \,
dy_2 = (f_{X_1} * f_{X_2})(y) \]

Bei der Summation unabh"angiger ZGen werden ihre Dichtefunktionen
gefaltet.

\end{enumerate}
\smallskip

\textbf{Konkreter Fall:} 

\begin{picture}(425,150)
\multiput(0,0)(0,70){2}{
\put(35,10){\vector(0,1){60}}
\put(30,15){\vector(1,0){90}}
\thicklines
\put(32.5,15){\line(1,0){2.5}}
\multiput(35,15)(0,4){6}{\line(0,1){2}}
\multiput(85,15)(0,4){6}{\line(0,1){2}}
\put(35,40){\line(1,0){50}}
\put(85,15){\line(1,0){20}}
}
\put(33,40){\makebox(0,0)[r]{$\scriptstyle \frac 1 a$}}
\put(33,60){\makebox(0,0)[r]{$\scriptstyle f_{X_2}(x_2)$}}
\put(113,9){\makebox(0,0)[c]{$\scriptstyle x_2$}}
\put(85,9){\makebox(0,0)[c]{$\scriptstyle a$}}
\put(33,110){\makebox(0,0)[r]{$\scriptstyle \frac 1 a$}}
\put(33,130){\makebox(0,0)[r]{$\scriptstyle f_{X_1}(x_1)$}}
\put(113,79){\makebox(0,0)[c]{$\scriptstyle x_1$}}
\put(85,79){\makebox(0,0)[c]{$\scriptstyle a$}}
% addition

\put(158,40){\makebox(0,0)[r]{$X_2$}}
\put(158,110){\makebox(0,0)[r]{$X_1$}}
\multiput(160,40)(0,70){2}{\circle2}
\multiput(161,40)(0,70){2}{\line(1,0){19}}
\put(180,40){\vector(0,1){27.5}}
\put(180,110){\vector(0,-1){27.5}}
\put(180,75){\circle{15}}
\put(180,75){\makebox(0,0){$+$}}
\put(187.5,75){\line(1,0){22.5}}
\put(211,75){\circle2}
\put(213,75){\makebox(0,0)[l]{$Y$}}
\put(260,40){\vector(1,0){160}}
\put(265,35){\vector(0,1){80}}

\put(263,105){\makebox(0,0)[r]{$f_{Y}(y)$}}
\put(263,80){\makebox(0,0)[r]{$\frac 1 a$}}
\put(264,80){\line(1,0){2}}
\thicklines
\put(265,40){\line(3,2){60}}
\put(325,80){\line(3,-2){60}}
\thinlines
\multiput(325,39)(60,0){2}{\line(0,1){2}}
\put(325,30){\makebox(0,0)[b]{$a$}}
\put(385,30){\makebox(0,0)[b]{$2a$}}
\put(411,30){\makebox(0,0)[b]{$y$}}
\end{picture}

\bigskip

z.B. Fertigungstoleranzen von Widerst"anden,
Ann"aherung an die Normalverteilung

\begin{minipage}{8cm}
\center
\begin{picture}(62,30)
\multiput(0,5)(62,0){2}{\circle2}
\multiput(1,5)(40,0){2}{\line(1,0){20}}
\multiput(21,0)(0,10){2}{\line(1,0){20}}
\multiput(21,0)(20,0){2}{\line(0,1){10}}
\put(31,14){\makebox(0,0)[b]{$R$}}
\end{picture}
\[R = (100 \pm 10)\,\Omega\]
\end{minipage}%
\begin{minipage}{6cm}
\center
\begin{picture}(160,60)
\put(0,15){\vector(1,0){160}}
\multiput(30,14)(45,0){3}{\line(0,1){2}}
\put(30,4){\makebox(0,0)[b]{$90$}}
\put(75,4){\makebox(0,0)[b]{$100$}}
\put(120,4){\makebox(0,0)[b]{$110$}}
\put(150,0){\makebox(0,0)[b]{$R/\Omega$}}
\thicklines
\multiput(5,15)(115,0){2}{\line(1,0){25}}
\put(30,45){\line(1,0){90}}
\multiput(30,15)(0,4){8}{\line(0,1){2}}
\multiput(120,15)(0,4){8}{\line(0,1){2}}
\end{picture}
\end{minipage}

\bigskip

\begin{minipage}{8cm}
\center
\begin{picture}(102,30)
\multiput(0,5)(102,0){2}{\circle2}
\multiput(1,5)(40,0){3}{\line(1,0){20}}
\multiput(21,0)(0,10){2}{\line(1,0){20}}
\multiput(21,0)(20,0){2}{\line(0,1){10}}
\multiput(61,0)(0,10){2}{\line(1,0){20}}
\multiput(61,0)(20,0){2}{\line(0,1){10}}
\put(31,14){\makebox(0,0)[b]{$R$}}
\put(71,14){\makebox(0,0)[b]{$R$}}
\end{picture}
\[R = (200 \pm 20)\,\Omega\]
\end{minipage}%
\begin{minipage}{6cm}
\center
\begin{picture}(160,60)
\put(0,15){\vector(1,0){160}}
\multiput(30,14)(45,0){3}{\line(0,1){2}}
\put(30,4){\makebox(0,0)[b]{$180$}}
\put(75,4){\makebox(0,0)[b]{$200$}}
\put(120,4){\makebox(0,0)[b]{$220$}}
\put(150,0){\makebox(0,0)[b]{$R/\Omega$}}
\thicklines
\multiput(5,15)(115,0){2}{\line(1,0){25}}
\put(30,15){\line(3,2){45}}
\put(75,45){\line(3,-2){45}}
\end{picture}
\end{minipage}

\bigskip

\begin{minipage}{8cm}
\center
\begin{picture}(142,30)
\multiput(0,5)(142,0){2}{\circle2}
\multiput(1,5)(40,0){4}{\line(1,0){20}}
\multiput(21,0)(0,10){2}{\line(1,0){20}}
\multiput(21,0)(20,0){2}{\line(0,1){10}}
\multiput(61,0)(0,10){2}{\line(1,0){20}}
\multiput(61,0)(20,0){2}{\line(0,1){10}}
\multiput(101,0)(0,10){2}{\line(1,0){20}}
\multiput(101,0)(20,0){2}{\line(0,1){10}}
\put(31,14){\makebox(0,0)[b]{$R$}}
\put(71,14){\makebox(0,0)[b]{$R$}}
\put(111,14){\makebox(0,0)[b]{$R$}}
\end{picture}
\[R = (300 \pm 30)\,\Omega\]
\end{minipage}%
\begin{minipage}{6cm}
\center
\begin{picture}(160,60)
\put(0,15){\vector(1,0){160}}
\multiput(30,14)(45,0){3}{\line(0,1){2}}
\put(30,4){\makebox(0,0)[b]{$270$}}
\put(75,4){\makebox(0,0)[b]{$300$}}
\put(120,4){\makebox(0,0)[b]{$330$}}
\put(150,0){\makebox(0,0)[b]{$R/\Omega$}}
\thicklines
\qbezier(25,16)(45,16)(53,27)
\qbezier(53,27)(60,40)(75,40)
\qbezier(97,27)(90,40)(75,40)
\qbezier(125,16)(105,16)(97,27)
\end{picture}
\end{minipage}

\item Beispiel: $l = m = 1$, aber $\varphi$ nicht bijektiv.

\begin{minipage}{7cm}
\center

\bigskip

\begin{picture}(110,40)
\put(0,20){\makebox(0,0)[l]{$X$}}
\put(110,20){\makebox(0,0)[r]{$Y$}}
\multiput(14,20)(82,0){2}{\circle{2}}
\multiput(15,20)(65,0){2}{\line(1,0){15}}
\multiput(30,0)(0,40){2}{\line(1,0){50}}
\multiput(30,0)(50,0){2}{\line(0,1){40}}
\put(35,10){\vector(1,0){40}}
\put(40,08){\vector(0,1){25}}
\put(50,5){$\scriptstyle x_0$}
\thicklines
\put(35,10){\line(1,0){19}}
\put(54,10){\line(1,1){15}}
\end{picture}

\bigskip

Einweggleichrichter mit Vorspannung
\end{minipage}%
\begin{minipage}{7cm}
\center
\[Y = \varphi(X) = \left\{\begin{array}{ll} 0 & X \leq x_0\\ aX-b & X > x_0
\end{array}\right.  \]
mit $a$, $b > 0$
\end{minipage}

\begin{description}
\item[gegeben:] $f_X(x) = \frac 1 {\sqrt{2\pi}} e^{-\frac 1 2 x^2}$
\item[gesucht:] $f_Y(y)$
\end{description}

Betrachtung der Kennlinie:

\begin{enumerate}
\renewcommand{\labelenumii}{\arabic{enumii}.}
\item $P\{Y < 0\} = 0$
\item $P\{Y = 0\} = P\{X < x_0\} = \int\limits_{-\infty}^{\infty}f_X(x)\,dx =
\frac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^{\infty} e^{-\frac 1 2 x^2}\,dx =
p_0$ (Tabelle)
\item $P\{Y > 0\}: \quad\varphi$ ist bijektiv
\end{enumerate}
\begin{tabbing}
Funktionaldeterminantelala \= lala \kill
Werte: \> $y = \varphi(x) = a\cdot x + b$\\[0.5ex]

Funktionaldeterminante: \> $\frac{\partial \varphi}{\partial x} = a$\\[1ex]

Umkehrfunktion: \> $x = \varphi^{-1}(y) = \frac 1 a (y+b)$\\[0.2ex]

Dichte: \> $f_Y(y) = \frac 1 {\sqrt{2\pi}} \frac 1 a e^{-\frac 1 2 \cdot \frac 1
{a^2}(y+b)^2} \qquad y > 0$, sonst 0.\\
\end{tabbing}
Ergebnis ist eine \emph{gemischte Dichte}.
% trivialgrafik f_Y ausgelassen
\end{enumerate}

\subsubsection{Vorgeschriebene Verteilungsfunktion}

\begin{minipage}{7cm}
\center
\begin{picture}(150,40)
\put(27,20){\makebox(0,0)[r]{$F_X(x)$}}
\put(114,20){\makebox(0,0)[l]{$F_Y(y)$}}
\put(70,20){\makebox(0,0)[c]{$\varphi = \mathop?$}}
\multiput(29,20)(82,0){2}{\circle2}
\multiput(30,20)(60,0){2}{\line(1,0){20}}
\multiput(50,05)(0,30){2}{\line(1,0){40}}
\multiput(50,05)(40,0){2}{\line(0,1){30}}
\end{picture}
\end{minipage}%
\begin{minipage}{9cm}
$l = m = 1$.
\textbf{Gegeben:} $F_X(x)$, \textbf{gew"unscht:} $F_Y(y)$.

\smallskip

 L"osung unter der Voraussetzung, dass Systemabbildung bijektiv ist.
\end{minipage}%

\begin{minipage}{8cm}
\center
\begin{picture}(120,120)
\put(0,50){\vector(1,0){120}}
\put(60,0){\vector(0,1){100}}
\put(110,47){\makebox(0,0)[t]{$\mathbb R$}}
\put(57,90){\makebox(0,0)[r]{$\mathbb R$}}
\qbezier(10,20)(20,55)(60,55)
\qbezier(60,55)(90,55)(100,90)
\multiput(59,65)(4,0){7}{\line(1,0){2}}
\multiput(87,49)(0,4){4}{\line(0,1){2}}
\put(57,65){\makebox(0,0)[r]{$y$}}
\put(87,47){\makebox(0,0)[t]{$x$}}
\thicklines
\put(0,50){\line(1,0){87}}
\put(60,0){\line(0,1){65}}
\end{picture}

\end{minipage}%
\begin{minipage}{7cm}
\begin{align*}
P\{X < x\} &= P\{Y < y\}\\
F_X(x) &= F_Y(y)\\
F_X(x) &= F_Y(\varphi(x))
\end{align*}
\[\boxed{\quad \varphi(x) = {F_Y}^{-1}(F_X(x)) \vphantom{\frac a a } \quad} \]
\end{minipage}%

\subsubsection*{Beispiel:}

\begin{minipage}{8cm}
\center
\begin{picture}(120,70)
\put(0,15){\vector(1,0){120}}
\put(30,10){\vector(0,1){60}}
\put(27,60){\makebox(0,0)[r]{$f_X(x)$}}
\put(110,12){\makebox(0,0)[t]{$x$}}
\put(80,12){\makebox(0,0)[t]{$1$}}
\put(80,14){\line(0,1){2}}
\put(27,45){\makebox(0,0)[r]{$1$}}
\put(29,45){\line(1,0){2}}
\thicklines
\put(5,15){\line(1,0){25}}
\multiput(30,15)(0,4){8}{\line(0,1){2}}
\put(30,45){\line(1,0){50}}
\multiput(80,15)(0,4){8}{\line(0,1){2}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\center
\begin{picture}(120,70)
\put(0,15){\vector(1,0){120}}
\put(30,10){\vector(0,1){60}}
\put(27,60){\makebox(0,0)[r]{$f_Y(y)$}}
\put(110,12){\makebox(0,0)[t]{$y$}}
\put(27,45){\makebox(0,0)[r]{$1$}}
\put(29,45){\line(1,0){2}}
\thicklines
\put(5,15){\line(1,0){25}}
\multiput(30,15)(0,4){8}{\line(0,1){2}}
\qbezier(30,45)(45,16)(100,16)
\end{picture}
\end{minipage}%

\begin{minipage}{8cm}
\[f_X(x) = \left\{\begin{array}{l@{\qquad}l}1 & 0 < x < 1\\ 0 &
\text{sonst}\end{array}\right.\]
\end{minipage}%
\begin{minipage}{8cm}
\[f_Y(y) = \left\{\begin{array}{l@{\qquad}l}e^{-y} & y > 0\\ 0 &
y \leq 0\end{array}\right.\]
\end{minipage}%

\bigskip

\begin{minipage}{8cm}
\center
\begin{picture}(120,70)
\put(0,15){\vector(1,0){120}}
\put(30,10){\vector(0,1){60}}
\put(27,60){\makebox(0,0)[r]{$F_X(x)$}}
\put(110,12){\makebox(0,0)[t]{$x$}}
\put(80,12){\makebox(0,0)[t]{$1$}}
\put(80,14){\line(0,1){2}}
\put(27,45){\makebox(0,0)[r]{$1$}}
\multiput(29,45)(4,0){15}{\line(1,0){2}}
\multiput(80,15)(0,4){8}{\line(0,1){2}}
\thicklines
\put(5,15){\line(1,0){25}}
\put(30,15){\line(5,3){50}}
\put(80,45){\line(1,0){30}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\center
\begin{picture}(120,70)
\put(0,15){\vector(1,0){120}}
\put(30,10){\vector(0,1){60}}
\put(27,60){\makebox(0,0)[r]{$F_Y(y)$}}
\put(110,12){\makebox(0,0)[t]{$y$}}
\put(27,45){\makebox(0,0)[r]{$1$}}
\multiput(29,45)(4,0){18}{\line(1,0){2}}
\thicklines
\put(5,15){\line(1,0){25}}
\qbezier(30,15)(45,44)(100,44)
\end{picture}
\end{minipage}%

\begin{minipage}{8cm}
\[F_X(x) = \left\{\begin{array}{l@{\qquad}l}0 & x \leq 0\\ 
x & 0 < x < 1 \\ 1 & x \geq 1
\end{array}\right.\]
\end{minipage}%
\begin{minipage}{8cm}
\[F_Y(y) = \left\{\begin{array}{l@{\qquad}l}
0 & y \leq 0\\
1-e^{-y} & y > 0
\end{array}\right.\]
\end{minipage}%

\subsubsection*{Berechnung der Umkehrfunktion}
\vspace{-2.5ex}
\begin{minipage}{8cm}
\begin{align*}
F_Y(y) = 1 - e^{-y} &= z\\
e^{-y} &= 1 - z\\
y &= \ln \frac 1 {1-z} = {F_Y}^{-1}(z)  
\end{align*}
\end{minipage}%
\begin{minipage}{8cm}
\[\varphi(x) = {F_Y}^{-1}(F_X(x)) = \ln \frac 1{1 - F_X(x)}\]
\end{minipage}%

\bigskip
\bigskip

Praktisch kommt nur vor: $0 < x < 1$, d.h. $F_X(x) = x$
\[\boxed{\quad \varphi(x) = \ln \frac 1 {1-x} , \qquad 0 < x < 1 \quad}\]

\subsubsection{Erwartungswert am Systemausgang}

\begin{minipage}{8cm}
\center
\begin{picture}(170,55)
\multiput(60,0)(50,0){2}{\line(0,1){50}}
\multiput(60,0)(0,50){2}{\line(1,0){50}}
\put(85,35){\makebox(0,0){\LARGE$\Phi$}}
\put(85,15){\makebox(0,0){gegeben}}
\multiput(40,10)(0,30){2}{\circle2}
\multiput(41,10)(0,30){2}{\line(1,0){19}}
\multiput(130,10)(0,30){2}{\circle2}
\multiput(110,10)(0,30){2}{\line(1,0){19}}
\put(23,25){\makebox(0,0){$X\left\{\!\!\!\begin{array}{c}X_1\\\vdots\\X_l\end{array} \right. $}}
\put(146,25){\makebox(0,0){$\left.\begin{array}{c}Y_1\\\vdots\\Y_m\end{array}\!\!\!\right\}
Y $}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\begin{description}
\item[gegeben:] $f_X$, $\Phi$, $Y = (Y_1,\,Y_2,\,\ldots,\, Y_m)$
\item[gesucht:] $E(Y) = (E(Y_1),\, E(Y_2),\, \ldots , \, E(Y_m))$
\end{description}
\end{minipage}

\bigskip

\[Y_i = \varphi_i(X) = \varphi_i(X_1,\,X_2,\,\ldots,\, X_l) \qquad (i =
1,\,\ldots,\, m)\]
\[E(Y_1) = \int\limits_{-\infty}^{\infty} y_i \cdot f_{Y_i}(y_i) \, dy_i \qquad
\Rightarrow \text{ m"uhsam, da }f_{Y_i}\text{ berechnet werden muss.}\]
\paragraph{Einfacher gilt:}
\[\boxed{\quad E(Y_i) = E(\varphi(X_1,\,\ldots,\, X_l)) =
\int\limits_{-\infty}^{\infty} \cdots \int\limits_{-\infty}^{\infty}
\varphi_i(x_1,\,\ldots,\, x_l) \cdot f_X(x_1,\,\ldots,\,x_l)\,dx_1\ldots dx_l  \quad}\]

\subsubsection*{Bekannte Sonderf"alle}
\[
\begin{array}{l@{\ }c@{\ }l@{\qquad}l@{\ }l@{\ }l@{\ }l@{\qquad}l}
\varphi(X) &=& X   & E(\varphi(X)) &= & E(X) &= \int\limits_{-\infty}^{\infty}
x f_X(x)\,dx & \text{s. 8.1.1}\\
\varphi(X) &=& X^2   & E(\varphi(X)) &= & E(X^2) &= \int\limits_{-\infty}
^{\infty} x^2 f_X(x)\,dx & \text{s. 8.1.1}\\
\varphi(X) &=& X_1X_2   & E(\varphi(X_1,\,X_2)) &= & E(X_1X_2) &= 
\int\limits_{-\infty} ^{\infty} \int\limits_{-\infty} ^{\infty} x_1x_2
f_X(x_1,x_2)\,dx_1\,dx_2 & \text{s. 8.1.2}
\end{array}
\]

\subsection{Abbildungen zuf"alliger Prozesse}
\subsubsection{Determinierte Prozessabbildung}
\subsubsection*{Definitionen:}
\begin{enumerate}
\item $\mathbb X$: Menge aller $l$-dimensionalen Eingabevektorprozesse, \ \ $X =
(X_1,\,X_2,\,\ldots,\,X_l)$


$\mathbb Y$: Menge aller $m$-dimensionalen Ausgabevektorprozesse, $Y =
(Y_1,\,Y_2,\,\ldots,\,Y_m)$

\item Prozessabbildung: $\Phi: \mathbb X \to \mathbb Y$, $\Phi(X) = Y$ 

\item Determinierte Prozessabbildung: $\Phi(x) = y$

(Ausgaberealisierung ist durch Eingaberealisierung festgelegt)

\item Statische determinierte Prozessabbildung: $\Phi(X(t)) = Y(t)$ oder
$\Phi(x(t)) = y(t)$

$\Rightarrow$ Rechenmethoden aus 9.1 k"onnen auf Prozesse "ubertragen werden
\end{enumerate}


\subsubsection{Transformation der Dichtefunktion}

\begin{minipage}{8cm}
\center
\begin{picture}(150,45)
\put(27,20){\makebox(0,0)[r]{$X$}}
\put(-10,29){\makebox(0,0)[c]{Prozess}}
\put(-10,15){\makebox(0,0)[c]{mit $f_X$}}
\put(114,20){\makebox(0,0)[l]{$Y$}}
\put(155,29){\makebox(0,0)[c]{Prozess}}
\put(155,15){\makebox(0,0)[c]{mit $f_Y=\mathop?$}}
\put(70,20){\makebox(0,0)[c]{$\varphi$}}
\multiput(29,20)(82,0){2}{\circle2}
\multiput(30,20)(60,0){2}{\line(1,0){20}}
\multiput(50,05)(0,30){2}{\line(1,0){40}}
\multiput(50,05)(40,0){2}{\line(0,1){30}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\center

Sei zun"achst $l = m  = 1$.
\[Y = \varphi(X), \quad \varphi \text{ sei bijektiv}\]

\end{minipage}%

\begin{description}
\item[1. Schritt:] eindimensionale Dichte $f_Y(y,t) = \mathop?$. \quad $t$ fest: $\underbrace{Y(t)}_{\text{ZG}} =
\varphi(\underbrace{X(t)}_{\text{ZG}})$, $y(t) = \varphi(x(t))$. 

Damit Situation
wie in 9.1.2: $f_Y(y) =
\left(\frac{f_X(x)}{\left|\frac{d\varphi(x)}{dx}\right|}\right)_{x=\varphi^{-1}(y)}
\Rightarrow f_Y(y,t) =
\left(\frac{f_X(x,t)}{\left|\frac{d\varphi(x)}{dx}\right|}\right)_{x=\varphi^{-1}(y)}
$

\item[Schritt 2:] $f_Y(y_1,t_1;\,y_2,t_2) =\mathop?$

\begin{center}
\begin{picture}(320,60)
\put(0,10){\makebox(0,0)[l]{$t_2$ fest:}}
\put(0,40){\makebox(0,0)[l]{$t_1$ fest:}}
\put(67,10){\makebox(0,0)[r]{$X(t_2)$}}
\put(67,40){\makebox(0,0)[r]{$X(t_1)$}}
\multiput(70,10)(0,30){2}{\circle{2}}
\multiput(71,10)(0,30){2}{\line(1,0){19}}
\multiput(90,0)(0,30){2}{\line(0,1){20}}
\multiput(90,0)(0,30){2}{\line(1,0){30}}
\multiput(90,20)(0,30){2}{\line(1,0){30}}
\multiput(120,0)(0,30){2}{\line(0,1){20}}
\multiput(120,10)(0,30){2}{\line(1,0){19}}
\put(105,10){\makebox(0,0)[c]{$\varphi$}}
\put(105,40){\makebox(0,0)[c]{$\varphi$}}
\multiput(140,10)(0,30){2}{\circle{2}}
\put(143,10){\makebox(0,0)[l]{$Y(t_2)$}}
\put(143,40){\makebox(0,0)[l]{$Y(t_1)$}}
\multiput(80,-5)(0,4){15}{\line(0,1){2}}  % :-/
\multiput(80,-5)(4,0){13}{\line(1,0){2}}  
\multiput(130,-3)(0,4){15}{\line(0,1){2}}
\multiput(80,55)(4,0){13}{\line(1,0){2}}  
\put(200,10){\makebox(0,0)[l]{$y_1 = \varphi(x_1) = \varphi_1(x_1,\,x_2)$}}
\put(200,40){\makebox(0,0)[l]{$y_2 = \varphi(x_2) = \varphi_2(x_1,\,x_2)$}}
\end{picture}
\end{center}%
Mit 9.1.2.: 
\[f_Y(y_1,y_2) = \left(\frac{f_X(x_1,x_2)}{\left|\frac{\partial
(\varphi_1,\varphi_2)}{\partial(x_1,x_2)}\right|}\right)_{\substack{
x_1 = {\varphi_1}^{-1}(y_1,y_2)\\ x_2 = {\varphi_2}^{-1}(y_1,y_2)
}}\text{, wobei }\]

\[
\frac{\partial (\varphi_1,\varphi_2)}{\partial(x_1,x_2)} =
\begin{vmatrix}
\frac{\partial \varphi_1}{\partial x_1} & 
\frac{\partial \varphi_1}{\partial x_2}\\[1ex] 
\frac{\partial \varphi_2}{\partial x_1} & 
\frac{\partial \varphi_2}{\partial x_2}
\end{vmatrix} =
\begin{vmatrix}
\frac{\partial \varphi_1}{\partial x_1} & 
0 \\[1ex] 0 & \frac{\partial \varphi_2}{\partial x_2}
\end{vmatrix} =
\frac{\partial \varphi_1}{\partial x_1} \cdot \frac{\partial
\varphi_2}{\partial x_2}
\]

\[\Rightarrow \quad \boxed{\quad
f_Y(y_1,t_1;\, y_2,t_2) = \left(\frac{f_X(x_1,t_1;\,x_2,t_2)}
{\left|\frac{\partial \varphi(x_1)}{\partial x_1} \cdot \frac{\partial
\varphi(x_2)}{\partial x_2}
\right|}\right)_{\substack{
x_1 = {\varphi}^{-1}(y_1)\\ x_2 = {\varphi}^{-1}(y_2)
}}
\quad}\]
\item[Schritt 3:]
\[\boxed{\quad
f_Y(y_1,t_1;\,\ldots;\, y_n,t_n) = \left(\frac{f_X(x_1,t_1;\,\ldots;\,x_n,t_n)}
{\left|\frac{\partial \varphi(x_1)}{\partial x_1} \cdots \frac{\partial
\varphi(x_n)}{\partial x_n}
\right|}\right)_{\substack{
x_i = {\varphi}^{-1}(y_i)\\ i = 1,\ldots,n
}}
\quad}\]

\end{description}

\paragraph{Beispiel:} (Fortsetzung von 9.1.2)

\bigskip

\qquad\raisebox{-8pt}{    % :)
\begin{picture}(100,20)
\put(0,10){\makebox(0,0)[l]{$X$}}
\put(12,10){\circle{2}}
\put(13,10){\line(1,0){17}}
\multiput(30,0)(30,0){2}{\line(0,1){20}}
\multiput(30,0)(0,20){2}{\line(1,0){30}}
\put(45,10){\makebox(0,0){$(...)^3$}}
\put(60,10){\line(1,0){17}}
\put(78,10){\circle{2}}
\put(82,10){\makebox(0,0)[l]{$Y$}}
\end{picture}}
\qquad $Y = \varphi(X) = X^3$\qquad ist bijektiv

\begin{enumerate}
\item $t$ fest: \quad $y = \varphi(x) = x^3$

Funktionaldeterminante: \  $\frac{d \varphi(x)}{d x} = 3x^2$

Umkehrfunktion: \quad\quad\qquad $x = \varphi^{-1}(y) = \sqrt[3]{y}$

$\Rightarrow$ Dichte: $f_Y(y,t) =
\left(\frac{f_X(x,t)}{\left|\frac{d\varphi(x)}{dx}\right|}\right)_{x=\varphi^{-1}(y)}
= \left(\frac{f_X(x,t)}{3x^2}\right)_{x=\sqrt[3]y} = \frac{f_X(\sqrt[3]y,t)}{3
\sqrt[3]{y^2}}$
\item $t_1$, $t_2$ fest.
\[\begin{array}{l@{\ }c@{\ }l@{\ }c@{\ }l@{\qquad}l@{\ }c@{\ }l@{\qquad}l@{\ }c@{\ }l@{\ }c@{\ }l}
y_1 &=&\varphi(x_1) &=& {x_1}^3 & \frac{\partial \varphi(x_1)}{\partial x_1}
&=& 3{x_1}^2 & x_1 &=& \varphi^{-1}(y_1) &=& \sqrt[3]{y_1}\\
y_2 &=&\varphi(x_2) &=& {x_2}^3 & \frac{\partial \varphi(x_2)}{\partial x_2}
&=& 3{x_2}^2 & x_2 &=& \varphi^{-1}(y_2) &=& \sqrt[3]{y_2}
\end{array}
\]
\[f_y(y_1,t_1;\,y_2,t_2) = \left(\frac{f_X(x_1,t_1;y_2,t_2)}{3{x_1}^2 \cdot
3{x_2}^2}\right)_{\substack{x_1 = \sqrt[3]{y_1}\\x_2 = \sqrt[3]{y_2}}} =
\frac{f_X(\sqrt[3]{y_1},t_1;\,\sqrt[3]{y_2}, t_2)}{9(\sqrt[3]{y_1 y_2})^2}\]
$n$-dimensionale Dichte analog.
\end{enumerate}

\subsubsection{Mittelwert und Korrelationskoeffizient am Systemausgang}
\begin{minipage}{8cm}
\center
\begin{picture}(150,45)
\put(27,20){\makebox(0,0)[r]{Prozess $X$}}
\put(114,20){\makebox(0,0)[l]{Prozess $Y$}}
\put(70,20){\makebox(0,0)[c]{$\varphi$}}
\multiput(29,20)(82,0){2}{\circle2}
\multiput(30,20)(60,0){2}{\line(1,0){20}}
\multiput(50,05)(0,30){2}{\line(1,0){40}}
\multiput(50,05)(40,0){2}{\line(0,1){30}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\center
\begin{description}
\item[gesucht:] $m_Y(t)$, $s_Y(t_1,t_2)$
\end{description}
\end{minipage}%

\bigskip

Unter 9.1.4:
\[E(Y_i) = E(\varphi(X_1,\,\ldots,\, X_l)) =
\int\limits_{-\infty}^{\infty} \cdots \int\limits_{-\infty}^{\infty}
\varphi_i(x_1,\,\ldots,\, x_l) \cdot f_X(x_1,\,\ldots,\,x_l)\,dx_1\ldots dx_l\]
Daraus folgt speziell:
\[m_Y(t) = E(Y(t)) = E(\varphi(X(t))) =
\int\limits_{-\infty}^{\infty}\varphi(x) f_X(x,t)\,dx \]
\begin{align*}
s_Y(t_1,t_2) &= E(Y(t_1) Y(t_2)) = E(\varphi(X(t_1)) \varphi(X(t_2)))\\
& =
\int\limits_{-\infty}^{\infty} \int\limits_{-\infty}^{\infty}
\varphi(x_1)\varphi(x_2)\cdot f_X(x_1,t_1;\,x_2,t_2)\,dx_1\,dx_2
\end{align*}

\subsection{Stochastische statische Systeme}
\subsubsection{Stochastische Systemabbildung}

\begin{minipage}{8cm}
\center
\begin{picture}(150,45)
\put(25,20){\makebox(0,0)[r]{ZG $X$}}
\put(125,20){\makebox(0,0)[l]{ZG $Y$}}
\put(75,25){\makebox(0,0)[c]{\tiny stochastische}}
\put(75,15){\makebox(0,0)[c]{\tiny Systemabb.}}
\multiput(29,20)(92,0){2}{\circle2}
\multiput(30,20)(70,0){2}{\line(1,0){20}}
\multiput(50,05)(0,30){2}{\line(1,0){50}}
\multiput(50,05)(50,0){2}{\line(0,1){30}}
\end{picture}

\bigskip

\begin{minipage}{3.5cm}
Eingabe $x$ (fest)  
\end{minipage}%
\begin{minipage}{1cm}
\center
$\Rightarrow$
\end{minipage}%
\begin{minipage}{3.5cm}
ZG $Y$ mit von $x$ abh. Dichte $f(y|x)$
\end{minipage}%
\end{minipage}%
\begin{minipage}{8cm}
Die Systemabbildung $\varphi$ hei"st \emph{stochastisch}, wenn
\[\boxed{\quad f(y|x) = \frac{f_{(X,Y)}(x,y)}{f_X(x)}. \quad}\]
\end{minipage}%

\subsubsection*{Folgerungen:}
\begin{enumerate}
\item Dichte am Ausgang:

\vspace{-2ex}

\begin{minipage}{10cm}
\[\boxed{\quad f_Y(y) = \int\limits_{-\infty}^{\infty} f_{(X,Y)}(x,y)\,dx =
\int\limits_{-\infty}^{\infty}d(y|x)\cdot f_X(x)\,dx \quad}\]
\end{minipage}%
\begin{minipage}{5cm}
\center

\bigskip

Die stochastische Systemabbildung wird durch $f(\cdot | \cdot)$ dargestellt.
\end{minipage}%

\item Determiniertes System als Sonderfall des stochastischen Systems

\begin{minipage}{5cm}
\begin{picture}(125,95)
\put(25,10){\vector(0,1){80}}
\put(20,15){\vector(1,0){100}}
\put(23,80){\makebox(0,0)[r]{$f(x|y)$}}
\put(112,8){\makebox(0,0)[c]{$y$}}
\put(70,14){\line(0,1){2}}
\put(70,8){\makebox(0,0)[c]{$y_1$}}
\put(125,50){\makebox(0,0)[c]{$\Rightarrow$}}
\thicklines
\qbezier(30,20)(45,20)(52,35)
\qbezier(52,35)(60,50)(70,50)
\qbezier(88,35)(80,50)(70,50)
\qbezier(110,20)(95,20)(88,35)
\end{picture}
\end{minipage}%
\begin{minipage}{5cm}
\begin{picture}(125,95)
\put(25,10){\vector(0,1){80}}
\put(20,15){\vector(1,0){100}}
\put(23,80){\makebox(0,0)[r]{$f(x|y)$}}
\put(112,8){\makebox(0,0)[c]{$y$}}
\put(70,14){\line(0,1){2}}
\put(70,8){\makebox(0,0)[c]{$y_1$}}
\put(125,50){\makebox(0,0)[c]{$\Rightarrow$}}
\thicklines
\qbezier(30,20)(55,20)(60,35)
\qbezier(60,35)(65,60)(70,60)
\qbezier(70,60)(75,60)(80,35)
\qbezier(80,35)(85,20)(110,20)
\end{picture}
\end{minipage}%
\begin{minipage}{5cm}
\begin{picture}(125,95)
\put(25,10){\vector(0,1){80}}
\put(20,15){\vector(1,0){100}}
\put(23,80){\makebox(0,0)[r]{$f(x|y)$}}
\put(112,8){\makebox(0,0)[c]{$y$}}
\put(70,14){\line(0,1){2}}
\put(70,8){\makebox(0,0)[c]{$y_1 = \varphi(x)$}}
\put(74,70){\makebox(0,0)[l]{$\delta(y-y_1)$}}
\thicklines
\put(70,15){\vector(0,1){60}}
\end{picture}
\end{minipage}%
\end{enumerate}
\begin{align*}
f_Y(y) &= \int\limits_{-\infty}^{\infty} \delta(y-\varphi(x)) \cdot f_X(x) \,
dx & & & \varphi(x) := u,\ \frac{du}{dx} = \varphi'(x)\\
&= \int\limits_{-\infty}^{\infty} \delta(y-u)\cdot
\left(\frac{f_X(x)}{|\varphi'(x)|}\right)_{x = \varphi'(u)}\,du
\end{align*}

\subsubsection{Erwartungswert und bedingter Erwartungswert}

\[E(Y) = \int\limits_{-\infty}^{\infty} y \cdot f_Y(y) \, dy =
\int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty} f(y|x) \cdot
f_X(x)\, dx \, dy =
 \int\limits_{-\infty}^{\infty} \underbrace{\int\limits_{-\infty}^{\infty}
f(y|x) dy}_{\substack{\Psi(x) = E(Y|x)\\[0.5ex]\text{bed. Erwartungswert}}}
f_X(x)\, dx\]
\[\boxed{\quad E(Y) = \int\limits_{-\infty}^{\infty} \Psi(x) \cdot  f_X(x)\,dx \quad}\]

\paragraph{Beispiel:} System, gegeben: $f_X(x)$, $f(x|y)$, gesucht: $f_Y(y)$,
$E(Y)$.

\begin{enumerate}
\item gegebene Gleichverteilung am Eingang

\begin{minipage}{8cm} 
\center
\[f_X(x) = \left\{\begin{array}{ll}\frac 1 {b-1} &  a \leq x \leq b \\ 0 &
\text{sonst}\end{array}\right., \quad 0 < a < b \]

\bigskip
\end{minipage}%
\begin{minipage}{7cm} 
\center
\begin{picture}(100,60)
\put(30,10){\vector(0,1){50}}
\put(25,15){\vector(1,0){75}}
\put(29,35){\line(1,0){2}}
\put(28,35){\makebox(0,0)[r]{$\frac 1 {b-a}$}}
\put(28,55){\makebox(0,0)[r]{$\scriptstyle f_X(x)$}}
\multiput(50,14)(0,4){5}{\line(0,1){2}}
\multiput(70,14)(0,4){5}{\line(0,1){2}}
\thicklines
\put(27.5,15){\line(1,0){22.5}}
\put(50,35){\line(1,0){20}}
\put(70,15){\line(1,0){20}}
\put(50,7){\makebox(0,0)[b]{$\scriptstyle a$}}
\put(70,7){\makebox(0,0)[b]{$\scriptstyle b$}}
\put(95,7){\makebox(0,0)[b]{$\scriptstyle x$}}
\end{picture}
\end{minipage}%

\item Systemabbildung

\begin{minipage}{8cm} 
\center
\[f(y|x) = \left\{\begin{array}{ll}|x| \cdot e^{-|x|y} &  y > 0 \\ 0 &
y < 0\end{array}\right.\]

\bigskip
\end{minipage}%
\begin{minipage}{7cm} 
\center
\begin{picture}(100,60)
\put(30,10){\vector(0,1){50}}
\put(25,15){\vector(1,0){75}}
\multiput(29,30)(0,15){2}{\line(1,0){2}}
\put(28,30){\makebox(0,0)[r]{$\scriptstyle 1$}}
\put(28,45){\makebox(0,0)[r]{$\scriptstyle 2$}}
\put(28,55){\makebox(0,0)[r]{$\scriptstyle f(y|x)$}}
\put(34,41){\makebox(0,0)[l]{$\scriptstyle f(y|2)$}}
\put(55,22){\makebox(0,0)[b]{$\scriptstyle f(y|1)$}}
\thicklines
\qbezier(30,30)(40,16)(90,16)
\qbezier(30,45)(35,16)(50,16)
\end{picture}
\end{minipage}%

\item Dichte
\[f_Y(y) = \int\limits_{-\infty}^{\infty} f(y|x) \,f_X(x)\,dx = \left\{
\begin{array}{ll} 0 & y \leq 0 \\ \int\limits_{-\infty}^{\infty} \frac 1 {b-a}
x e^{-xy}\,dy = \frac{e^{-ay}(ay+1)-e^{-by}(by+1)}{(b-a)y^2} & y > 0\end{array}\right.\]

\item Erwartungswerte
\[\Psi(x) = E(Y|x) = \int\limits_{-\infty}^{\infty} y\,f(y|x)\,dy
\stackrel{y>0}{=}
\int\limits_0^{\infty} y |x| e^{-|x|y}\,dy = [\ldots] = \frac{1}{|x|}\]
\[E(Y) = \int\limits_{-\infty}^{\infty} \Psi(x) f_X(x)\,dx = \int\limits_a^b
\frac 1 x \frac 1 {b-a}\,dx = \frac 1 {b-a} \ln \frac b x\]
\end{enumerate}

\subsubsection{Stochastische Prozessabbildung}

\begin{minipage}{8cm}
\center
\begin{picture}(150,45)
\put(27,20){\makebox(0,0)[r]{Prozess $X$}}
\put(114,20){\makebox(0,0)[l]{Prozess $Y$}}
\put(70,20){\makebox(0,0)[c]{$f(\cdot|\cdot)$}}
\multiput(29,20)(82,0){2}{\circle2}
\multiput(30,20)(60,0){2}{\line(1,0){20}}
\multiput(50,05)(0,30){2}{\line(1,0){40}}
\multiput(50,05)(40,0){2}{\line(0,1){30}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\center
\begin{description}
$l = m = 1$

$f_X(x)$ bekannt, $f_Y = \mathop?$
\end{description}
\end{minipage}%

\bigskip

Analog zu 9.3.1 gilt:
\[f_Y(y_1,t_1;\,\ldots\,;y_n,t_n) = \int\limits_{-\infty}^{\infty} \cdots 
\int\limits_{-\infty}^{\infty}
\underbrace{f(y_1,\,\ldots,\,y_n|x_1,\,\ldots,\,x_n)}_{\substack{f(y_1|x_1) 
\cdots f(y_n|x_n)\\[0.5ex]\text{ergibt sich aus der Eigenschaft}\\[0.5ex]\text{da"s System statisch
ist}}} f_X(x_1,t_1;\,\ldots;\, x_n,t_n)\,dx_1\cdots dx_n \]

\section{Dynamische Systeme}
\subsection{Analysis zuf"alliger Prozesse}
\subsubsection{Konvergenz im quadratischen Mittel}
\begin{description}
\item[Definition:] Menge aller Zufallsgr"o"sen mit endlichem quadratischen
Mittelwert
\[\mathbb L_2 = \left\{X | E(X^2) < \infty \right\}\]
\item[Eigenschaften:]\mbox{}

\begin{enumerate}
\item $\mathbb L_2$ bildet einen lineare Raum
\item Norm $||X|| =\sqrt{E(X^2)}$\quad (vgl. 8.1.1)
\item "`Abstand"' zweier Zufallsgr"o"sen: $||X_1 - X_2|| =
\sqrt{E((X_1-X_2)^2)}$

\quad $\leadsto ||X_1 - X_2|| = 0 \Leftrightarrow P\{X_1 = X_2\}
= 1$
\end{enumerate}

\item[Definition:] Die Folge $(X_i)_{i\in\mathbb N}$ von Zufallsgr"o"sen hei"st
\emph{konvergent im quadratischen Mittel} (i.q.M.) gegen die Zufallsgr"o"se
$X_i$ falls
\[||X_i - X|| \to 0 \quad \text{f"ur} \quad i \to \infty.\]
Schreibweise:
\[\boxed{\quad \vphantom{\int} \mathop{\mathrm{l.i.m.}}\limits_{i\to\infty} X_i
= X \quad} \qquad\quad \text{l.i.m = "`limes in medio"', "`limit in mean"'}\]
\item[Wichtige Regel:]
\[E(X) = E\Big(\underbrace{\mathop{\mathrm{l.i.m.}}\limits_{i\to\infty}
X_i}_{\substack{\text{Grenzwert}\\\text{i.q.M.}}}\Big) =
\underbrace{\lim\limits_{i\to\infty}
E(X_i)}_{\substack{\text{gew"ohnlicher}\\\text{Mittelwert}}} \]
\end{description}

\subsubsection{Stetigkeit im quadratischen Mittel}
\begin{description}
\item[Definition:] Ein zuf"alliger Prozess $X = (X_t)_{t\in T}$ hei"st
\emph{Prozess zweiter Ordnung}, falls f"ur alle $t \in T$ gilt:
\[X_t \ X(t) \in \mathbb L_2\]
(Prozess hat f"ur jeden endlichen Zeitpunkt einen endlichen quadratischen
Mittelwert). Das wird weiterhin vorausgesetzt.

\item[Definition:] Ein zuf"alliger Prozess $X$ hei"st \emph{stetig im
quadrat. Mittel}, falls f"ur alle $t \in T$ gilt:
\[\mathop{\mathrm{l.i.m.}}\limits_{\tau\to 0} X(t+\tau) = X(t) \qquad
\text{bzw.} \qquad ||X(t+\tau) - X(t)|| \to 0 \quad \text{f"ur} \quad \tau \to
0 \]
Der zuf"allige Prozess $X$ ist genau dann stetig i.q.M., wenn seine
Korrelationsfunktion $s_X(t_1,t_2)$ in gew"ohnlichem Sinne stetig ist f"ur alle
$t_1$, $t_2$.
\end{description}

\paragraph{Beispiel 1:} $X(t) = X_1 \cdot \cos \omega_0 t + X_2 \cdot \sin
\omega_0 t$.

\smallskip

$X_1$, $X_2$ unabh"angige ZGen, $E(X_1)=E(X_2)=0$, $E({X_1}^2) =
E({X_2}^2) = \sigma^2$

\smallskip

($\to$ "Ubungsaufgabe 8.20)\quad 
$\to  s_X(t_1,t_2) = \sigma^2 \cdot \cos \omega_0(t_2-t_1)$

\smallskip

$s_X$ ist stetig im gew"ohnlichen Sinne $\Rightarrow X(t)$ ist stetig i.q.M.

\paragraph{Beispiel 2:} Stochastisches Rechtecksignal

\bigskip

\begin{minipage}{8cm}
\center
\begin{picture}(150,90)
\put(0,45){\vector(1,0){150}}
\put(20,0){\vector(0,1){90}}
\put(17,75){\makebox(0,0)[r]{$A$}}
\multiput(0,75)(4,0){3}{\line(1,0){2}}
\multiput(19,75)(4,0){30}{\line(1,0){2}}
\multiput(0,15)(4,0){35}{\line(1,0){2}}
\thicklines
\put(0,75){\line(1,0){5}}
\multiput(5,15)(0,4){15}{\line(0,1){2}}
\put(5,15){\line(1,0){15}}
\multiput(20,15)(0,4){15}{\line(0,1){2}}
\put(20,75){\line(1,0){25}}
\multiput(45,15)(0,4){15}{\line(0,1){2}}
\put(45,15){\line(1,0){10}}
\multiput(55,15)(0,4){15}{\line(0,1){2}}
\put(55,75){\line(1,0){10}}
\multiput(65,15)(0,4){15}{\line(0,1){2}}
\put(65,15){\line(1,0){2}}
\multiput(67,15)(0,4){15}{\line(0,1){2}}
\put(67,75){\line(1,0){13}}
\multiput(80,15)(0,4){15}{\line(0,1){2}}
\put(80,15){\line(1,0){20}}
\multiput(100,15)(0,4){15}{\line(0,1){2}}
\put(100,75){\line(1,0){10}}
\multiput(110,15)(0,4){15}{\line(0,1){2}}
\put(110,15){\line(1,0){20}}
\put(145,41){\makebox(0,0)[t]{$t$}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\[P\{X(t)=A\} = P\{X(t) = -A\} = \frac 1 2\]
Nulldurchg"ange seinen Poissonverteilt ($k$ sei der Mittelwert der Nulldurchg"ange
je Zeiteinheit).
\end{minipage}%

[\ldots lange Rechnung \ldots] \quad $\Rightarrow$ \quad $s_X(t_1,t_2) = A^2 \cdot
e^{-2k|t_2-t_2|}$

\bigskip

\begin{minipage}{8cm}
\centering
\begin{picture}(170,150)
\put(0,70){\vector(1,0){170}}
\put(70,65){\vector(0,1){80}}
\put(80,80){\vector(-1,-1){50}}
\put(30,135){\line(3,-2){90}}
\multiput(0,0)(15,-10){7}{\qbezier(0,85)(25,100)(30,135)}
\multiput(0,0)(15,-10){7}{\qbezier(70,105)(45,95)(30,135)}
\put(165,66){\makebox(0,0)[t]{$t_2$}}
\put(40,30){\makebox(0,0)[t]{$t_1$}}
\put(73,135){\makebox(0,0)[l]{$s_x(t_1,t_2)$}}
\put(73,115){\makebox(0,0)[l]{$A^2$}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}

$s_x$ stetig im gew"ohnlichen Sinne.

Prozess stetig im quadratischen Mittel, obwohl
Realisierungen nicht "uberall stetig.
\end{minipage}%

\subsubsection{Differentiation im quadratischen Mittel}

\begin{description}
\item[Definition:] Der Prozess $Y$ hei"st \emph{Ableitung i. q.
M.} von $X$, falls f"ur alle $t \in T$ gilt:
\[\mathop{\mathrm{l.i.m.}}\limits_{\tau \to 0} \frac{X(t+\tau) - X(t)}{\tau} =
Y(t)\]
Symbolik: $Y = \frac{dX}{dt} = \dot X = \mathring X$
\item[Satz:]

\begin{enumerate}
\item Der zuf"allige Prozess $X$ ist genau dann differenzierbar i.q.M., wenn
\[\frac{\partial^2 }{\partial t_1 \partial t_2} s_X(t_1,t_2)\]
existiert f"ur alle $t_1,\ t_2 \in T$.
\item Es gilt
\[s_Y(t_1,t_2) = s_{\dot X}(t_1,t_2) = \frac{\partial^2 }{\partial t_1\partial
t_2} s_X(t_1,t_2)\]
\end{enumerate}
\item[Beispiel 1:] (Fortsetzung von 10.1.2)

$X(t) = X_1 \cdot \cos \omega_0t + X_2 \cdot \sin \omega_0 t$,\quad $s_X(t_1,t_2) =
\sigma^2 \cdot \cos \omega_0 (t_2-t_1)$

$ \frac{\partial^2 }{\partial t_1\partial t_2} s_X(t_1,t_2) = \sigma^2
{\omega_0}^2 \cdot \cos\omega(t_2-t_1)$ existiert f"ur alle $t_1$, $t_2$ $\to
X$ ist differenzierbar i.q.M.
\[Y(t) = \dot X(t) = -\omega_0 X_1 \cdot \sin \omega_0 t + \omega_0 X_2 \cdot
\cos \omega_0 t \quad \Rightarrow \quad s_{\dot X} =\sigma^2 {\omega_0}^2 
\cdot \cos\omega(t_2-t_1) \]

\item[Beispiel 2:] Stochastisches Rechtecksignal mit AKF (Fortsetzung)
\begin{center}
\begin{tabular}{c|c}
$t_2 > t_1$ & $t_2 < t_1$\\
\hline
$s_X(t_1,t_2) = A^2 \cdot e^{-2k(t_2-t_1)}$ &
$s_X(t_1,t_2) = A^2 \cdot e^{-2k(t_1-t_2)} \vphantom{\dfrac aa}$\\[1ex]
$\dfrac{\partial s_X(t_1,t_2)}{\partial t_1} = 2kA^2 e^{-2k(t_2-t_1)}$ &
$\dfrac{\partial s_X(t_1,t_2)}{\partial t_1} = -2kA^2 e^{-2k(t_1-t_2)}$ 
\end{tabular}
\end{center}
Die partielle Ableitung wechselt an der Geraden $t_1 = t_2$ das Vorzeichen $\to
\frac{\partial s_X}{\partial t_1}$ unstetig $\Rightarrow X(t)$ nicht
differenzierbar i.q.M.
\item[Anmerkung zur Verteilungs- und Dichtefunktion:] Berechnung von $F_{\dot
X}$ bzw. $f_{\dot X}$ aus $F_X$ bzw. $f_X$ ist sehr kompliziert. Aber: Ist $X$
ein Gau"s-Prozess, ist auch $\dot X$ ein Gau"s-Prozess.
\end{description}

\subsubsection{Integration im quadratischen Mittel}

\quad\begin{picture}(300,90)
\put(0,20){\vector(1,0){300}}
\multiput(30,19)(40,0){4}{\line(0,1){2}}
\multiput(50,20)(40,0){3}{\circle*2}
\put(240,20){\circle*2}
\multiput(220,19)(40,0){2}{\line(0,1){2}}
\put(30,15){\makebox(0,0)[t]{$t_0\!=\!a$}}
\put(70,15){\makebox(0,0)[t]{$t_1$}}
\put(110,15){\makebox(0,0)[t]{$t_2$}}
\put(150,15){\makebox(0,0)[t]{$t_3$}}
\put(50,15){\makebox(0,0)[t]{$t_1'$}}
\put(90,15){\makebox(0,0)[t]{$t_2'$}}
\put(130,15){\makebox(0,0)[t]{$t_3'$}}
\put(220,15){\makebox(0,0)[t]{$t_{n-1}$}}
\put(260,15){\makebox(0,0)[t]{$b\!=\!t_n$}}
\put(240,15){\makebox(0,0)[t]{$t_n'$}}
\qbezier(5,30)(40,75)(60,75)
\qbezier(60,75)(75,75)(100,50)
\qbezier(100,50)(120,30)(135,30)
\qbezier(135,30)(150,30)(175,50)
\qbezier(175,50)(200,70)(220,70)
\qbezier(220,70)(240,70)(260,45)
\put(263,45){\makebox(0,0)[l]{$f(\cdot,\tau)$ determinierte Zeitfunktion}}
\qbezier(5,40)(10,50)(15,50)
\qbezier(15,50)(17,50)(21,45)
\qbezier(21,45)(30,35)(38,57)
\qbezier(38,57)(42,70)(45,60)
\qbezier(45,60)(48,55)(52,66)
\qbezier(52,66)(56,75)(59,45)
\qbezier(59,45)(62,30)(67,75)
\qbezier(67,75)(70,85)(75,60)
\qbezier(75,60)(78,50)(82,60)
\qbezier(82,60)(85,70)(87,35)
\qbezier(87,35)(89,27)(95,45)
\qbezier(95,45)(100,60)(105,50)
\qbezier(105,50)(110,40)(118,55)
\qbezier(118,55)(125,65)(132,45)
\qbezier(132,45)(137,25)(145,40)
\qbezier(145,40)(148,45)(155,45)
\qbezier(155,45)(160,45)(165,55)
\qbezier(165,55)(169,68)(177,70)
\qbezier(177,70)(185,70)(187,55)
\qbezier(187,55)(190,40)(193,40)
\qbezier(193,40)(197,40)(204,60)
\qbezier(204,60)(208,75)(212,80)
\qbezier(212,80)(215,85)(220,80)
\qbezier(220,80)(225,73)(230,73)
\qbezier(230,73)(233,73)(237,60)
\qbezier(237,60)(240,50)(245,50)
\qbezier(245,50)(248,49)(253,65)
\qbezier(253,65)(255,72)(260,75)
\put(263,75){\makebox(0,0)[l]{$x$ (Realisierung des Prozesses $X$)}}
\end{picture}

Nach Einteilung von $T' = [a\,b]$ in Teilintervalle mittels
$t_0,\,t_1,\,\ldots,\,t_n$ und der Wahl von Zwischenpunkten
$t_1',\,t_2',\,\ldots,\,t_n'$ bilden hier die Riemannsche Summe:
\[Y_n(\tau) = \sum\limits_{k=1}^{n} f(t_k',\,\tau) \cdot X(t_k')(t_k-t_{k-1})
\qquad \text{(Zufallsgr"o"se)} \]
$\Rightarrow$ Folge von Zufallsgr"o"sen $Y_1(\tau)$, $Y_2(\tau)$, \ldots,
$Y_n(\tau)$.

\paragraph{Definition:} Der Prozess $Y = (Y_{\tau})_{\tau \in T}$ hei"st
\emph{Integral im quadratischen Mittel} von $f(\cdot,\tau)\cdot X$, falls f"ur
alle $t \in T$ mit $\mathop{\mathrm{Max}}|t_k-t_{k-1}| \to 0$ gilt:
\[\boxed{\quad \lim\limits_{n\to \infty} Y_n(\tau) = Y(\tau)
\quad\vphantom{\int}}\]
Schreibweise f"ur festes $\tau$:
\[\boxed{\quad Y(\tau) = \int\limits_a^b f(t,\tau) X(t)\,dt
\quad} \qquad \text{(stochastisches Integral)}\]

\subsubsection*{Bemerkungen}
\begin{enumerate}
\item Hinreichend f"ur die Integrierbarkeit i.q.M. ist die Stetigkeit i.q.M.
des Prozesses $X$.
\item $E(Y(\tau)) =
E\Bigg\{\underbrace{\int\limits_a^bf(t,\tau)X(t)\,dt}
_{\text{stochastisches Integral}}\Bigg\} = \underbrace{\int\limits_a^b f(t,\tau)
E\{X(t)\}\,dt}_{\text{gew"ohnliches Integral}}$ 
\end{enumerate}

\paragraph{Anmerkung zur Verteilungs- und Dichtefunktion:} Berechnung von
$F_{Y}$ bzw. $f_{Y}$ aus $F_X$ bzw. $f_X$ ist sehr kompliziert. Aber: Ist $X$
ein Gau"s-Prozess, ist auch $Y$ ein Gau"s-Prozess.

\subsection{Lineare dynamische Systeme}
\subsubsection{Grundgleichungen}
\begin{center}
\begin{picture}(210,70)
\put(-3,32){\makebox(0,0)[r]{Vektorprozess}}  % pfui
\put(204,32){\makebox(0,0)[l]{Vektorprozess $Y$}}  % pfui
\put(0,29){${X}\left\{\!\!\begin{array}{c}X_1\\X_2\\\vdots\\X_l\end{array}\right.$}
\put(170,29){$\left.\begin{array}{c}Y_1\\Y_2\\\vdots\\Y_m\end{array}\!\!\right\}
$}
\put(0,-10){
\multiput(0,0)(130,0){2}{\put(40,19){\circle{2}}
\multiput(40,52)(0,13){2}{\circle{2}}}
\multiput(0,0)(109,0){2}{
\multiput(41,52)(0,13){2}{\line(1,0){19}}
\put(41,19){\line(1,0){19}}}
\multiput(60,10)(90,0){2}{\line(0,1){64}}
\multiput(60,10)(0,64){2}{\line(1,0){90}}
\multiput(45,30.3)(116,0){2}{$\vdots$}
\put(105,57){\makebox(0,0){Determiniertes}}
\put(105,42){\makebox(0,0){dynamisches}}
\put(105,27){\makebox(0,0){System}}
}
\end{picture}

\bigskip

\textbf{gegeben:} $F_X$, $f_C$, $m_X$, $s_X$, \ldots \hfill 
\textbf{gesucht:} $F_Y$, $f_Y$, $m_Y$, $s_Y$, \ldots 
\end{center}%

\subsubsection*{Definitionen}
\begin{itemize}
\item Menge aller $l$-dimensionalen Eingabe-Vektorprozesse $X =
(X_1,\ldots,\,X_l)$ sei $\mathbb X$
\item Menge aller $m$-dimensionalen Ausgabe-Vektorprozesse $Y = 
(Y_1,\ldots,\,Y_m)$ sei $\mathbb Y$
\item Menge aller $n$-dimensionalen Zustandsvektorprozesse $Z=
(Z_1,\ldots,\,Z_m)$ sei $\mathbb Z$
\end{itemize}

\paragraph{Definition:} Eine determinierte Prozessabbildung $\Phi: \mathbb X
\to \mathbb Y$, $\Phi(X) = Y$ hei"st \emph{dynamisch} (oder \emph{durch ein
dynamisches System realisierbar}), falls es einen Zustandsvektorprozess $Z$ und
zwei Abbildungen
\begin{align*}
f:&\ \mathbb R^n \times \mathbb R^l  \to \mathbb R^n &&
\text{("Uberf"uhrungsfunktion)}\\
g:&\ \mathbb R^n \times \mathbb R^l  \to \mathbb R^m &&
\text{(Ergebnisfunktion)}
\end{align*}
gibt, so da"s $\Phi$ dargestellt werden kann durch

\bigskip

\begin{minipage}{8cm}
\centering
allgemein
\begin{align*}
\dot Z(t) &= f(Z(t), X(t))\\
Y(t) &= g(Z(t), X(t))
\end{align*}
\end{minipage}%
\begin{minipage}{8cm}
\centering
lineare Systeme
\begin{align*}
\dot Z(t) &= A \cdot Z(t) + B \cdot X(t)\\
Y(t) &= C \cdot Z(t) + D \cdot X(t)
\end{align*}
\end{minipage}%

\paragraph{Sonderfall:} $l = m = 1$, $X$ sei station"ar

\begin{minipage}{4cm}
\centering
\begin{picture}(110,45)
\put(27,20){\makebox(0,0)[r]{$X$}}
\put(114,20){\makebox(0,0)[l]{$Y$}}
\put(70,25){\makebox(0,0)[c]{$g$}}
\put(70,16){\makebox(0,0)[c]{\tiny Impuls-}}
\put(70,10){\makebox(0,0)[c]{\tiny antwort}}
\multiput(29,20)(82,0){2}{\circle2}
\multiput(30,20)(60,0){2}{\line(1,0){20}}
\multiput(50,05)(0,30){2}{\line(1,0){40}}
\multiput(50,05)(40,0){2}{\line(0,1){30}}
\end{picture}
\end{minipage}%
\begin{minipage}{11cm}
\[g(t) = \mathcal L^{-1}\{G(s)\}\,, \quad G(s) = C \cdot
(sE-A)^{-1}\cdot B +D\]
\end{minipage}%

Dann gilt (analog zu determinierten Signalen):
\begin{align*}
Y(t) &= \int\limits_{-\infty}^{t}g(t-\tau) X(\tau)\,d\tau && t-\tau = \tau',\ \tau
= t-\tau',\ d\tau \ -d\tau'\\
&= -\int\limits_{\infty}^0 g(\tau')X(t-\tau')\,d\tau' = \int\limits_0^{\infty}
g(\tau) X(t-\tau)\,d\tau
\end{align*}

\subsubsection{Mittelwert, Korrelationsfunktion und Leistungsdichtespektrum}

\begin{enumerate}
\renewcommand{\labelenumi}{(\arabic{enumi})}
\item \textbf{gegeben:} $E(X(t)) = m_X(t) = m_X = \mathrm{const}$ (weil
statischer Prozess)

\textbf{gesucht:} $E(Y(t)) = m_Y(t)$
\begin{align*}
m_Y(t) &= E(Y(t)) = E\left(\int\limits_{0}^{\infty} g(\tau)
X(t-\tau)\,d\tau\right) =
\int\limits_0^{\infty}g(\tau)\underbrace{E(X(t-\tau))}_{m_x=\mathrm{const}}\,
d\tau \\
&= \boxed{m_X\int\limits_0^{\infty} g(\tau)\,d\tau = m_Y} = \mathrm{const}
\end{align*}
Mit $G(s) = \int\limits_0^{\infty} g(t)e^{-st}\,dt \quad \Rightarrow \quad G(0)
= \int\limits_0^{\infty}g(t)\cdot e^0\,dt \quad \Rightarrow \quad
\boxed{m_y = m_X \cdot G(0)}$

\item \textbf{gegeben:} $s_X(\tau)$, \quad \textbf{gesucht:} $s_Y(\tau) = E(Y(t)
\cdot Y(t+\tau))$
\begin{align*}
s_Y(\tau) &=
 E\left[\int\limits_0^{\infty}g(\lambda_1)X(t-\lambda_1)\,d\lambda_1 \cdot
\int\limits_0^{\infty}g(\lambda_2)X(t+\tau-\lambda_2)\,d\lambda_2 \right]\\
&= E\left[\int\limits_0^{\infty}\int\limits_0^{\infty} g(\lambda_1)g(\lambda_2)
X(t-\lambda_1)X(t+\tau-\lambda_2)\,d\lambda_1\,d\lambda_2  \right]\\
&= \int\limits_0^{\infty}\int\limits_0^{\infty}g(\lambda_1)g(\lambda_2)
E\left[X(t-\lambda_1)X(t-\tau-\lambda_2)\right] \,d\lambda_1\,d\lambda_2 \\
&=  \int\limits_0^{\infty}\int\limits_0^{\infty}g(\lambda_1)g(\lambda_2)
s_X(\tau+\lambda_1-\lambda_2) \,d\lambda_1\,d\lambda_2
\end{align*}

\item \textbf{gegeben:} $S_X(\omega)$, \quad \textbf{gesucht:} $S_Y(\omega) =
\mathcal F\{s_Y(\tau)\}$
\begin{align*}
S_Y(\omega) &= \int\limits_{-\infty}^{\infty} s_Y(\tau) e^{-j\omega\tau}
\,d\tau = \int\limits_{-\infty}^{\infty} \int\limits_0^{\infty}
\int\limits_0^{\infty}
g(\lambda_1)g(\lambda_2)
s_X(\underbrace{\tau+\lambda_1-\lambda_2}_{\substack{\tau' = \tau +
\lambda_1-\lambda_2\\\tau = \tau' - \lambda_1+\lambda_2}})
\overbrace{e^{-j\omega\tau}}^{e^{-j\omega\tau'}e^{j\omega\lambda_2}e^{-j\omega\tau_2}} 
\,d\lambda_1\,d\lambda_,d\tau \\
&=
\underbrace{\int\limits_{-infty}^{\infty}s_X(\tau')e^{-j\omega\tau'}\,d\tau'}_
{S_X(\omega)} \cdot
\underbrace{\int\limits_{0}^{\infty}g(\lambda_1)e^{j\omega\lambda_1}\,d\lambda_1 }_{G(-j\omega) = G^*(j\omega)}
\cdot \underbrace{\int\limits_{0}^{\infty}g(\lambda_2)
e^{-j\omega\lambda_2}\,d\lambda_2}_{G(j\omega)}
\end{align*}
\[\boxed{\quad S_Y(\omega) = S_X(\omega) \cdot G^*(j\omega) \cdot G(j\omega) =
S_X(\omega) \cdot \left|G(j\omega)^2\right|\vphantom{\frac aa} \quad}\]
\end{enumerate}

\subsubsection*{Beispiel}

\begin{minipage}{8cm}
\begin{picture}(150,75)
\multiput(19,0)(0,60){2}{\circle{2}}
\put(19,55){\vector(0,-1){50}}
\put(17,30){\makebox(0,0)[r]{$U_1$}}
\multiput(20,60)(40,0){3}{\line(1,0){20}}
\multiput(40,55)(0,10){2}{\line(1,0){20}}
\multiput(40,55)(20,0){2}{\line(0,1){10}}
\multiput(80,60)(5,0){4}{\qbezier(0,0)(0,5)(2.5,5)\qbezier(2.5,5)(5,5)(5,0)}
\multiput(120,0)(0,32){2}{\line(0,1){28}}
\multiput(113,28)(0,4){2}{\thicklines\line(1,0){14}}
\put(120,60){\line(1,0){20}}
\put(20,0){\line(1,0){120}}
\multiput(120,0)(0,60){2}{\circle*{2}}
\multiput(141,0)(0,60){2}{\circle{2}}
\put(141,55){\vector(0,-1){50}}
\put(144,30){\makebox(0,0)[l]{$U_2$}}
\put(111,30){\makebox(0,0)[r]{$C$}}
\put(50,67){\makebox(0,0)[b]{$R$}}
\put(90,67){\makebox(0,0)[b]{$L$}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\[U_1 \Leftrightarrow X \qquad U_2 \Leftrightarrow Y\]
\textbf{gegeben:}\ \ \ $S_X(\omega) = S_0$ (wei"ses Rauschen)

\textbf{gesucht:} \quad $S_Y(\omega)$
\end{minipage}%

\bigskip

\[G(s) = \frac{U_2(s)}{U_1(s)} = \frac{\frac{1}{sC}}{R +sL + \frac{1}{sC}} =
\frac{1}{s^2LC + sRC + 1}, \quad G(j\omega) = \frac{1}{1  - \omega^2 LC + 
j\omega RC}\]
\[|G(j\omega)|^2 =
\frac{1}{(1-\omega^2 LC)^2 + (\omega RC)^2} \quad \Rightarrow \quad
S_Y(\omega) = \frac{S_0}{(1-\omega^2LC)^2+(\omega RC)^2}\]

\begin{minipage}{8cm}
\centering
\begin{picture}(150,120)
\put(75,0){\vector(0,1){100}}
\put(0,15){\vector(1,0){150}}
\put(73,90){\makebox(0,0)[r]{$S_X(\omega)$}}
\put(140,13){\makebox(0,0)[t]{$\omega$}}
\put(5,60){\line(1,0){140}}
\put(77,65){$S_0$}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\centering
\begin{picture}(150,120)
\put(75,0){\vector(0,1){100}}
\put(0,15){\vector(1,0){150}}
\put(73,90){\makebox(0,0)[r]{$S_X(\omega)$}}
\put(150,90){\makebox(0,0)[r]{$\left(\frac R{2L}\right)^2 \ll \frac{1}{LC}$}}
\put(140,13){\makebox(0,0)[t]{$\omega$}}
\put(60,28){$S_0$}
\qbezier(5,30)(13.75,30)(22.5,50)
\qbezier(22.5,50)(31.25,70)(40,70)
\qbezier(40,70)(48.75,70)(57.5,51)
\qbezier(57.5,51)(66.25,35)(75,35)
\qbezier(75,35)(83.75,35)(92.5,51)
\qbezier(92.5,51)(101.25,70)(110,70)
\qbezier(110,70)(118.75,70)(127.5,50)
\qbezier(127.5,50)(136.25,30)(145,30)
\put(74,35){\line(1,0){2}}
\end{picture}
\end{minipage}%

\subsubsection{Korrelationsfunktion am Systemausgang}
Berechnung von $s_Y(\tau)$ nach 10.2.2 (2) ist aufwendig $\Rightarrow$
Alternative "uber Residuen:
\[s_Y(\tau) = \frac{1}{2\pi} \int\limits_{-\infty}^{\infty} S_Y(\omega)
e^{j\omega \tau}\,d\omega = \frac{1}{2\pi}\int\limits_{-\infty}^{\infty}
|G(j\omega)|^2S_X(\omega)e^{j\omega\tau}\,d\omega \tag{10.1}\]
\[|G(j\omega)|^2 = G(j\omega)G(-j\omega) = G(s) G(-s)\Big|_{s=j\omega}\]
\begin{align*}
S_X(\omega) &= \int\limits_{-\infty}^{\infty} s_X(\tau) e^{-j\omega
\tau}\,d\tau = \int\limits_{-\infty}^0 s_X(\tau) e^{-j\omega \tau}\,d\tau  +
\int\limits_0^{\infty}s_X(\tau) e^{-j\omega \tau}\,d\tau  \\
&\stackrel{*}{=}
\underbrace{\int\limits_0^{\infty}s_X(\tau)e^{j\omega\tau}\,d\tau}_{\widetilde
S_X(-s)\big|_{s=j\omega}} + \underbrace{\int\limits_0^{\infty}s_X(\tau)
e^{-j\omega\tau}\,d\tau}_{\widetilde S_X(s)\big|_{s=j\omega}} \tag{10.2}
\end{align*}
\begin{minipage}{8cm}
\begin{align*}
* \int\limits_{-\infty}^{0}\underbrace{s_X(\tau) e^{-j\omega\tau}}_{\tau = -
\tau'}\,d\tau &= - \int\limits_{-\infty}^{0} s_X(-\tau')e^{j\omega\tau'}\,d\tau'
\\
&= \int\limits_0^{\infty}s_X(\tau)e^{j\omega\tau}\,d\tau
\end{align*}
\end{minipage}%
\begin{minipage}{8cm}
\centering
\begin{picture}(200,100)
\setlength{\unitlength}{0.5pt}
\put(0,30){\vector(1,0){360}}
\put(180,0){\vector(0,1){160}}
\multiput(20,29)(40,0){9}{\line(0,1){2}}
\put(178,100){\line(1,0){4}}
\put(185,145){\makebox(0,0)[l]{$\mathbf{\widetilde{S}_X(\tau)}$}}
\put(175,145){\makebox(0,0)[r]{${S}_X(\tau)$}}
% rechte hälfte
\thicklines
\qbezier(180,130)(195,130)(220,30)
\qbezier(220,30)(225,18)(235,15)
\qbezier(235,15)(244,13)(260,30)
\qbezier(260,30)(269,40)(278,40)
\qbezier(278,40)(290,40)(300,30)
\qbezier(300,30)(309,25)(318,25)
\qbezier(318,25)(330,25)(340,30)
\put(20,30){\line(1,0){160}}
\put(180,30){\line(0,1){100}}
\thinlines
% linke hälfte. x_neu = 180-(x_alt-180) = 360-x_alt
\qbezier(180,130)(165,130)(140,30)
\qbezier(140,30)(135,18)(125,15)
\qbezier(125,15)(116,13)(100,30)
\qbezier(100,30)(91,40)(82,40)
\qbezier(82,40)(70,40)(60,30)
\qbezier(60,30)(51,25)(42,25)
\qbezier(42,25)(30,25)(20,30)

\end{picture}

\end{minipage}%

Einsetzen von 10.2 in 10.1: $s = j\omega \to ds = dj\omega \Rightarrow d\omega
= \frac{ds}{j}$
\[s_Y(\tau) = \frac{1}{2\pi j} \int\limits_{-j\infty}^{j\infty}
\underbrace{G(s)G(-s)\left[\widetilde{S}_X(s)+\widetilde{S}_X(-s)\right]}_{F(s)}e^{s\tau}\,ds\]

\begin{minipage}{4cm}
\centering 
\begin{picture}(100,100)
\put(100,100){\makebox(0,0)[tr]{$s$-Ebene}}
\put(60,0){\vector(0,1){100}}
\put(0,50){\vector(1,0){100}}
\thicklines
\put(60,10){\line(0,1){80}}
\multiput(60,15)(0,20){4}{\vector(0,1){10}}

\qbezier(20,50)(20,33.431456)(31.715728,21.715728)
\qbezier(60,10)(43.431456,10)(31.715728,21.715728)
\qbezier(20,50)(20,66.568544)(31.715728,78.284272)
\qbezier(60,90)(43.431456,90)(31.715728,78.284272)
\put(20,48){\vector(0,-1)0}
\thinlines
\put(33,59){$R$}
\put(60,50){\vector(-1,1){28}}
\end{picture}
\end{minipage}%
\begin{minipage}{12cm}
\centering
\begin{picture}(0,40)  % *irgendwann* lerne ich METAFONT!
\put(0,20){\makebox(0,0){$\displaystyle s_Y(\tau) = \frac{1}{2\pi j} \int
F(s)e^{s\tau}\,ds - \underbrace{\frac{1}{2\pi j}\int F(s) s^{s\tau}\,ds}_{\to 0
\text{ f"ur } R\to \infty} = \sum\limits_{\mathop{\mathrm{Re}}(s) < 0}\res
F(s)e^{s\tau}$}}
\put(-90,23){\line(0,1){12}}
\put(-90,31){\vector(0,1)0}
\multiput(0,20)(97,0){2}{
\qbezier(-90.25,3)(-98,3)(-98,9)
\qbezier(-90.25,15)(-98,15)(-98,9)
\put(-97.8,6.5){\vector(0,-1)0}
}
\end{picture}

\bigskip

$\to$ Ergebnis f"ur $\tau > 0$, $s_Y(\tau)$ f"ur $\tau < 0$ aus Symmetrie
\end{minipage}%

\bigskip

\[\boxed{\quad s_Y(\tau) = \sum\limits_{\mathop{\mathrm{Re}}(s)<0}
\res\left[ G(s)G(-s)\left(\widetilde{S}_X(s) + \widetilde{S}_X(-s)\right)
e^{s|\tau|} \right] \vphantom{\int}  \quad}\]

\paragraph{Beispiel von 10.2.2:} (Fortsetzung)

$\left(\frac{2}{2L}\right)^2 > \frac{1}{LC}$ (2 reelle Pole). Eingangsprozess
$X$ habe AKF: $s_X(\tau) = A e^{-a|\tau|}$, $A, a > 0$.

\smallskip

Es war:
\[G(s) = \frac{1}{s^2LC + sRC +1 } = \frac{1}{LC} \frac{1}{s^2 + s\frac R L +
\frac 1 {LC}} = \frac{1}{LC}\frac{1}{(s-s_1)(s-s_2)}\]
mit $s_{1/2} =- \frac{R}{2L} \pm \sqrt{\frac{R^2}{4L^2} - \frac{1}{LC}}$

\smallskip

$\widetilde S_X(s) = \mathcal L\left\{A e^{-a|\tau|}\right\} = \frac{A}{s+a}$
(laut Tabelle) \quad $\Rightarrow \widetilde S_X(s) + \widetilde S_X(-s) =
\frac{A}{s+a} + \frac{A}{-s+a} = \frac{-2aA}{(s+a)(s-a)}$.

\begin{align*}
s_Y(\tau) &= \sum\limits_{\substack{s=s_1\\s=s_2\\s=a}}
\res\frac{1}{LC}\frac{1}{(s-s_1)(s-s_2)}\frac{1}{LC}\frac{1}{(-s-s_1)(-s-s_2)}\frac{-2aA}{(s+a)(s-a)}
e^{s|\tau|}\\
&= \frac{A}{L^2C^2}\left[\frac{e^{-a|\tau|}}{(a^2-{s_1}^2)(a^2-{s_2}^2)}-
\frac{2ae^{s_1|\tau|}}{2s_1({s_1}^2-{s_2}^2({s_1}^2-a^2)}-
\frac{2ae^{s_2|\tau|}}{ 2s_2({s_2}^2-{s_1}^2)({s_2}^2-a^2)}\right]
\end{align*}
($s_1,\ s_2 \ne -a$)

\paragraph{Bemerkung:} Sonderfall wei"ses Rauschen: $S_X(\omega) = S_0 \quad
\Rightarrow (\widetilde S_X(s) + \widetilde S_X(-s)) = S_0$

\subsubsection{Station"are Gau"sprozesse}
\begin{center}
\begin{picture}(180,45)
\put(27,20){\makebox(0,0)[r]{Gau"sprozess $X$}}
\put(134,20){\makebox(0,0)[l]{Gau"sprozess $Y$}}
\put(80,32){\makebox(0,0)[c]{\footnotesize lineares}}
\put(80,20){\makebox(0,0)[c]{\footnotesize dynamisches}}
\put(80,8){\makebox(0,0)[c]{\footnotesize System}}
\multiput(29,20)(102,0){2}{\circle2}
\multiput(30,20)(80,0){2}{\line(1,0){20}}
\multiput(50,00)(0,40){2}{\line(1,0){60}}
\multiput(50,00)(60,0){2}{\line(0,1){40}}
\end{picture}
\end{center}%
$X$ sei station"arer Gau"sprozess mit
\[f_X(x_1,t_1;\,\ldots\,;x_n,t_n) = \frac{1}{\sqrt{(2\pi)^n \det
C_X}}\exp\left[-\frac 1 2 (x-m_X) C_X^{-1} (x-m_X)^T \right] \]
wobei $(x-m_X) = (x_1-m_X, \ldots, x_n - m_X)$,

$C_X = 
\begin{pmatrix}
\mathrm{Cov}\,(X(t_1),X(t_1)) & \cdots &
\mathrm{Cov}\,(X(t_1),X(t_n)) \\
\vdots &  \ddots & \vdots \\
\mathrm{Cov}\,(X(t_n),X(t_1)) &  \cdots &
\mathrm{Cov}\,(X(t_n),X(t_n)) 
\end{pmatrix},
$

\bigskip

$\mathop{\mathrm{Cov}}(X(t_i),X(t_j)) = s_X(t_j-t_i) -
\underbrace{m_X(t_i)m_X(t_j)}_{m_X^2 \text{ da station"ar}}$

\paragraph{Satz:} Ist $X$ ein Gau"sprozess mit oben angegebener Dichte, dann
ist auch $Y$ ein Gau"sprozess ($f_Y$ kann aus $s_Y(\tau)$ und $m_Y$ bestimmt
werden).

\subsubsection*{Beispiel:}

\begin{minipage}{3.2cm}
\centering
\begin{picture}(90,75)
\multiput(14,0)(0,60){2}{\circle2}
\put(14,55){\vector(0,-1){50}}
\put(13,30){\makebox(0,0)[r]{$U$}}
\multiput(15,60)(40,0){2}{\line(1,0){20}}
\multiput(35,55)(0,10){2}{\line(1,0){20}}
\multiput(35,55)(20,0){2}{\line(0,1){10}}
\multiput(75,0)(0,40){2}{\line(0,1){20}}
\multiput(75,20)(0,5){4}{\qbezier(0,0)(5,0)(5,2.5)\qbezier(5,2.5)(5,5)(0,5)}
\put(15,0){\line(1,0){60}}
\put(45,67){\makebox(0,0)[b]{$R$}}
\put(83,30){\makebox(0,0)[l]{$L$}}
\put(80,60){\vector(0,-1){15}}
\put(83,52.5){\makebox(0,0)[l]{$I$}}
\end{picture}
\end{minipage}%
\begin{minipage}{3cm}
\centering

$U \Leftrightarrow X$

$I \Leftrightarrow Y$
\end{minipage}%
\begin{minipage}{9cm}
\begin{description}
\item[gegeben:] $X$ sei statischer Gau"sprozess mit $m_X = 0$ und
$S_X(\omega) = S_0$ (wei"ses Rauschen)
\item[gesucht:] $f_Y(y,t)$, $f_Y(y_1,t_1;\,y_2,t_2)$
\end{description}
\end{minipage}%

\begin{enumerate}
\item $m_Y = \mathop? \quad \to m_Y = m_X \int\limits_0^{\infty}g(\tau)\,d\tau
= m_X G(0) = 0$

\item $s_Y(\tau) = \mathop? \quad \to G(s) = \frac{I(s)}{U(s)} =
\frac{1}{R+sL}, \quad G(j\omega) = \frac{1}{R + j\omega L}, \quad |G(j\omega)|
= \frac{1}{R^2 + (\omega L)^2}$
\begin{align*}
s_Y(\omega) &= |G(j\omega)|^2 \cdot s_X(\omega) = \frac{S_0}{R^2+(\omega L)^2},
\qquad \text{ Tabelle: } \mathcal F\{e^{-a|\tau|}\} = \frac{2a}{\omega^2+a^2},\
a >0\\
&= \frac{S_0}{L^{\cancel 2}} \frac{2\frac RL}{\omega^2 + (\frac RL)^2}
\frac{\cancel L}{2R}\\
s_Y(\tau) &= \frac{S_0}{2RL} e^{-\frac{R}{L}|\tau|}
\end{align*}

\item $f_Y(y,t) = \frac{1}{\sqrt{2\pi {\sigma_Y}^2}} \exp\left[ -\frac 1 2
\frac{(y-m_Y)^2}{{\sigma_Y}^2} \right]$, $m_Y = 0$

\smallskip

${\sigma_Y}^2 = \mathop{\mathrm{Var}}(Y(t)) = E\left[(Y(t)-m_Y)^2\right] =
E\left[(Y(t))^2\right] = s_Y(0) = \frac{S_0}{2RL}$

\smallskip

$f_Y(y,t) = \frac{1}{\sqrt{\cancel 2 \pi \frac{S_0}{\cancel 2 RL}}}
\exp\left(-\frac 1 {\cancel 2} \frac{y^2}{\frac{S_0}{\cancel 2 RL}}\right) =
\sqrt{\frac{RL}{S_0\pi}} \exp\left(-\frac{RL}{S_0}y^2\right)$

\item $f_Y(y_1,t_1;\,y_2,t_2) = \frac{1}{2\pi \det C_X} \exp\Big[ -\frac{1}{2}
\underbrace{(y-m_Y)X_Y^{-1}(y-m_Y)^T}_{(y_1,y_2)\left(\begin{smallmatrix}
\cdots & \cdots
\\ \cdots &
\cdots\end{smallmatrix}\right)\left(\begin{smallmatrix}y_1\\y_2\end{smallmatrix}\right)}
\Big]$

$\mathop{\mathrm{Cov}}(Y(t_1),Y(t_2)) = s_Y(t_2-t_1) - \underbrace{m_Y^2}_0 =
\frac{S_0}{2RL} e^{-\frac R L |t_2-t_1|}$

$C_Y = \begin{pmatrix}\frac{S_0}{2RL} & \frac{S_0}{2RL} e^{-\frac RL
|t_2-t_1|}\\[1ex]
\frac{S_0}{2RL} e^{-\frac RL |t_2-t_1|} & \frac{S_0}{2RL}
\end{pmatrix}
, \quad \det C_Y = \left(\frac{S_0}{2RL}\right)^2 \left(1 - e^{-2\frac RL
|t_2-t_1|}\right)$

$\vdots $ \quad (einsetzen)

\[f_Y(y_1,t_1;\,y_2,t_2) = \frac{1}{2\pi\frac{S_0}{2RL}\sqrt{ 1-e^{-\frac RL
(t_2-t_1)}}} \exp\left[-\frac 12 \frac{{y_1}^2 - 2y_1y_2 e^{-\frac RL
|t_2-t_1|}+{y_2}^2}{\frac{S_0}{2RL}  \left( 1-e^{-\frac{2R}{L} |t_2-t_1|} \right)}  \right]\]
\end{enumerate}

\subsection{Anwendungen station"arer Prozesse}
\subsubsection{Ergodizit"at}

\begin{minipage}{8cm}
\begin{picture}(225,80)
\setlength{\unitlength}{0.7pt}
\put(1,40){\line(1,0){250}}
\put(230,25){$T$}
\put(40,0){\line(0,1){95}}
\put(42,30){$\scriptstyle t$}
\put(45,90){\footnotesize $E(X(t))$: Enseble- o. Schar-Mittelwert }

\qbezier(0,35)(10,75)(25,75)
\qbezier(25,75)(35,75)(40,65)
\qbezier(40,65)(55,50)(75,65)
\qbezier(75,65)(85,73)(90,35)
\qbezier(75,65)(85,73)(90,35)
\qbezier(90,35)(93,20)(99,20)
\qbezier(99,20)(104,20)(108,25)
\qbezier(108,25)(115,35)(122,25)
\qbezier(122,25)(130,18)(138,30)
\qbezier(138,30)(155,60)(165,60)
\qbezier(165,60)(180,60)(190,75)
\qbezier(190,75)(195,80)(210,67)
\qbezier(210,67)(225,55)(240,60)

\qbezier(0,60)(15,65)(35,55)
\qbezier(35,55)(45,50)(65,60)
\qbezier(65,60)(75,63)(80,50)
\qbezier(80,50)(85,40)(110,55)
\qbezier(110,55)(120,60)(125,15)
\qbezier(125,15)(129,5)(160,25)
\qbezier(160,25)(180,35)(195,15)
\qbezier(195,15)(210,0)(240,20)

\qbezier(0,15)(10,25)(25,15)
\qbezier(25,15)(35,10)(50,20)
\qbezier(50,20)(60,28)(70,15)
\qbezier(70,15)(78,08)(85,65)
\qbezier(85,65)(88,75)(120,55)
\qbezier(120,55)(140,40)(180,60)
\qbezier(180,60)(210,75)(240,55)
\put(245,40){\makebox(0,0)[l]{$\left.\vphantom{\substack{\\\\\\\\\\\\\\\\}}
\right\} \substack{\text{alle}\\\text{Realis.}}$}}
\end{picture}
\end{minipage}%
\begin{minipage}{8cm}
\begin{picture}(225,80)
\setlength{\unitlength}{0.7pt}
\put(1,40){\line(1,0){250}}
\multiput(0,47)(4,0){63}{\line(1,0){2}}
\put(230,25){$T$}
\put(230,65){$x(t)$}
\put(90,60){$\overline x = \overline x(t)$}
\put(65,78){\footnotesize Zeitlicher Mittelwert}
\qbezier(0,35)(10,75)(25,75)
\qbezier(25,75)(35,75)(40,65)
\qbezier(40,65)(55,50)(75,65)
\qbezier(75,65)(85,73)(90,35)
\qbezier(75,65)(85,73)(90,35)
\qbezier(90,35)(93,20)(99,20)
\qbezier(99,20)(104,20)(108,25)
\qbezier(108,25)(115,35)(122,25)
\qbezier(122,25)(130,18)(138,30)
\qbezier(138,30)(155,60)(165,60)
\qbezier(165,60)(180,60)(190,75)
\qbezier(190,75)(195,80)(210,67)
\qbezier(210,67)(225,55)(240,60)
\end{picture}
\end{minipage}%

\paragraph{Definition:} Ein station"arer Prozess hei"st \emph{ergodisch im
Mittel}, wenn 
\[\overline{ x(t)} = \lim\limits_{T\to\infty} \frac{1}{2T} \int\limits_{-T}^{T}
x(t) \,dt = E(X(t))\]
f"ur jede Realisierung $x$ gilt.

\smallskip

Ein statischer Prozess hei"st \emph{ergodisch im quadratischen Mittel}, falls
\[\overline{x^2(t)} =  \lim\limits_{T\to\infty} \frac{1}{2T}
\int\limits_{-T}^{T} x^2(t) \,dt = E\left(X^2(t)\right)\]
f"ur jede Realisierung $x$.
\paragraph{Analog:} Ergodizit"at bzgl. der Korrelation usw.

\subsubsection*{Beispiel f"ur station"aren nicht ergodischen Prozess:}

\begin{minipage}{7.5cm}
\begin{picture}(200,60)
\put(0,30){\vector(1,0){200}}
\put(5,2){\line(1,0){180}}
\put(5,18){\line(1,0){180}}
\put(5,22){\line(1,0){180}}
\put(5,42){\line(1,0){180}}
\put(5,55){\line(1,0){180}}
\put(200,20){$T$}
\end{picture}
\end{minipage}%
\begin{minipage}{8.5cm}
\begin{description}
\item[Satz:] Hinreichend f"ur die Ergozit"at im Mittel ist
\[\lim\limits_{\tau \to \infty} \mathop{\mathrm{Cov}}(X(t),X(t+\tau)) = 0\]
\end{description}
\end{minipage}%

\begin{description}
\item[Bedeutung:] Bei ergodischen Prozessen k"onnen Messungen am Prozess durch
Messungen an einer Realisierung ersetzt werden.
\end{description}

\subsubsection{Sch"atzung von \texorpdfstring{$s_X(\tau)$}{sX(tau)} bzw.
\texorpdfstring{$S_X(\omega)$}{SX(omega)}}



\end{document}