\documentclass{../../common/topic}

\TopicSetup
{
  number=16,
  title={Случайни величини с непрекъснати разпределения. Нормално разпределение. Равномерно разпределение, експоненциално разпределение или гама разпределение. Задачи, в които възникват.},
  basedate={22 юни 2019},
  author={Янис Василев}
}

% Packages
\usepackage{enumitem}

% Bibliography
\addbibresource{./references.bib}

\begin{document}

\maketitle

\section{Теория}

Теорията е представена с минимални препратки към теорията на мярката и е базирана частично на изложението в \cite{Боровков1999Вероятности} и \cite{ДимитровЯнев2007}. За пълнота съм включил доказателства на основните свойства на пораждащи моментите и характеристична функции.

\subsection{Анотация}

Изложената анотацията е взета от \cite{Syllabus}.

\begin{enumerate}
  \item Дефиниция на непрекъснато разпределение на случайна величина.
  \item Вероятностна плътност и свойствата ѝ - неотрицателност и нормираност.
  \item Дефиниция на моментите на непрекъсната случайна величина.
  \item Дефиниция и свойства (без доказателства) на пораждаща моментите / характеристична функция (по избор).
  \item Дефиниция, коректност, мотивиращ пример, пораждаща моментите / характеристична функция, очакване и дисперсия на нормално разпределение и още едно избрано от комисията непрекъснато разпределение.
\end{enumerate}

\subsection{Основни дефиниции и теореми}

\begin{definition}
  \textbf{(Реална) случайна величина} над вероятностното пространство \( (\Omega, \mscrF, \Prob) \) наричаме всяка измерима функция \( \xi : \Omega \to \BbbR \).

  Условието за измеримост на \( \xi \) може да се запише така: за всяко Борелово множество \( B \in \mfrakB(\BbbR) \) имаме
  \begin{equation*}
    \xi^{-1} (B) = \set{ \omega \in \Omega \given \xi(\omega) \in B } \in \mscrF.
  \end{equation*}

  \textbf{Разпределение} на \( \xi \) наричаме мярката
  \begin{equation*}
    \Prob_\xi(A) \coloneqq \Prob(\xi \in A).
  \end{equation*}

  Две случайни величини \( \xi \) и \( \eta \) наричаме \textbf{независими}, ако за всички \( A, B \in \mscrF \) е изпълнено
  \begin{equation*}
    \Prob(\xi \in A, \eta \in B) = \Prob_\xi(A) \Prob_\eta(B).
  \end{equation*}

  \textbf{Функция на разпределение} на случайната величина \( \xi \) наричаме
  \begin{equation*}
    F_\xi(x) \coloneqq \Prob(\xi \leq x).
  \end{equation*}

  Случайната величина \( \xi \) наричаме \textbf{абсолютно непрекъсната} и казваме, че \( \xi \) има \textbf{абсолютно непрекъснато разпределение}, ако функцията ѝ на разпределение е локално абсолютно непрекъсната в \( \BbbR \), т.е. абсолютно непрекъсната във всеки затворен интервал. Известно е, че абсолютно непрекъснатите в затворен интервал \( [a, b] \) функции са точно тези, които са диференцируеми почти навсякъде в интервала, производните им в \( [a, b] \) са интегруеми по Риман и за \( x \in [a, b] \) е изпълнено
  \begin{equation*}
    F_\xi(x) = \int_a^x F'_\xi(x) + F_\xi(a).
  \end{equation*}

  Функцията \( f_\xi: \BbbR \to \BbbR \) наричаме \textbf{вероятностна плътност} на случайната величина \( \xi \), ако \( F'_\xi(x) = f_\xi(x) \) във всяка точка, в която \( F_\xi \) е диференцируема. Ако за едно разпределение съществуват множество плътности, те се различават само върху множество с лебегова мярка 0 и тъй като \( f_\xi(x) \) се използва основно за интегриране, на практика няма значение с коя от плътностите ще работим.

  От критерия на Лебег за интегруемост по Риман следва, че плътностите са непрекъснато почти навсякъде.
\end{definition}

\begin{remark}
  Абсолютно непрекъснатите случайни величини ще наричаме просто \enquote{непрекъснати}. Понякога непрекъснати случайни величини се наричат такива с непрекъсната функция на разпределение, но това определение е прекалено общо и позволява т. нар. сингулярни разпределения, чиято плътност се анулира почти навсякъде.
\end{remark}

\begin{proposition}[Основни свойства на функцията на разпределение]\label{thm:cdf_properties}
  Функцията \( F_\xi \) е функция на разпределение на някаква (не непременно абсолютно непрекъсната) случайна величина \( \xi \) тогава и само тогава, когато са изпълнени
  \begin{enumerate}
    \item \( F_\xi(x) \leq F_\xi(y), x < y \) (монотонност)
    \item \( F_\xi(x) \) е непрекъсната отдясно
    \item \( \lim_{x \downarrow -\infty} F_\xi(x) = 0 \)
    \item \( \lim_{x \uparrow \infty} F_\xi(x) = 1 \)
  \end{enumerate}
\end{proposition}

\Cref{thm:cdf_properties} ни дава обосновка да задаваме случайни величини изцяло чрез функцията им на разпределение, т.е. без изрично да задаваме вероятностни пространства.

\begin{proof}[Доказателство на \cref{thm:cdf_properties}]
  \SufficiencySubProof
  \begin{enumerate}
    \item За всички \( x < y \)
    \begin{align*}
      F_\xi(x)
      &=
      \Prob(\xi \leq x)
      = \\ &=
      \Prob(\set{ \omega \in \Omega \given \xi(\omega) \leq x })
      = \\ &=
      \Prob(\set{ \omega \in \Omega \given \xi(\omega) \leq x } \cap \set{ \omega \in \Omega \given \xi(\omega) \leq y })
      \leq \\ &\leq
      \Prob(\set{ \omega \in \Omega \given \xi(\omega) \leq y })
      = \\ &=
      \Prob(\xi \leq y)
      = \\ &=
      F_\xi(y).
    \end{align*}

    \item От монотонността на вероятностната мярка имаме
    \begin{align*}
      \lim_{h \downarrow 0} F_\xi(x + h)
      &=
      \lim_{h \downarrow 0} \Prob(\xi \leq x + h)
      = \\ &=
      \lim_{h \downarrow 0} \Prob(\set{ \omega \in \Omega \given \xi(\omega) \leq x + h })
      = \\ &=
      \Prob\parens*{\bigcup_{h \geq 0} \set{ \omega \in \Omega \given \xi(\omega) \leq x + h }}
      = \\ &=
      \Prob\parens*{\set{ \omega \in \Omega \given \xi(\omega) \leq x }}
      = \\ &=
      \Prob(\xi \leq x)
      = \\ &=
      F_\xi(x).
    \end{align*}

    \item От монотонността на вероятностната мярка имаме
    \begin{align*}
      \lim_{x \uparrow \infty} F_\xi(x)
      &=
      \lim_{x \uparrow \infty} \Prob(\xi \leq x)
      = \\ &=
      \lim_{x \uparrow \infty} \Prob(\set{ \omega \in \Omega \given \xi(\omega) \leq x })
      = \\ &=
      \Prob\parens*{\bigcup_{x \uparrow \infty} \set{ \omega \in \Omega \given \xi(\omega) \leq x }}
      = \\ &=
      \Prob\parens*{\bigcup_{x \uparrow \infty} \set{ \omega \in \Omega \given \xi(\omega) \leq 1 }}
      = \\ &=
      \Prob(\set{ \omega \in \Omega \given \xi(\omega) \leq \infty })
      = \\ &=
      \Prob(\Omega)
      =
      1.
    \end{align*}

    \item \( \lim_{x \uparrow \infty} F_\xi(x) = 0 \) се доказва напълно аналогично на \( \lim_{x \uparrow \infty} F_\xi(x) = 1 \).
  \end{enumerate}

  \NecessitySubProof Нека функцията \( F_\xi \) удовлетворява условията на теоремата. Дефинираме
  \begin{align*}
    \xi: \BbbR \to \BbbR,     &&& \Prob: \mfrakB(\BbbR) \to [0, 1], \\
    \xi(x) \coloneqq x, &&& \Prob((a, b]) \coloneqq F_\xi \parens*{\lim_{h \downarrow 0} b + h } - F_\xi(a), a < b \in \BbbR.
  \end{align*}

  Интервалите от вида \( (a, b] \) пораждат Бореловата \( \sigma \)-алгебра \( \mfrakB(\BbbR) \). Ще пропуснем доказателството на това, че \( \Prob \) е вероятностна мярка над \( (\BbbR, \mfrakB(\BbbR)) \).

  Тогава \( \xi \) е измерима функция над \( (\BbbR, \mfrakB(\BbbR), \Prob) \) и освен това
  \begin{equation*}
    \Prob(\xi \leq x)
    =
    \Prob((-\infty, x])
    =
    F_\xi(x)\quad\forall x \in \BbbR.
  \end{equation*}

  С други думи, построихме вероятностно пространство и случайна величина \( \xi \), чиято функцията на разпределение е \( F_\xi \).
\end{proof}

До края на темата ще считаме, че работим над вероятностното пространство \( (\Omega, \mscrF, \Prob) \).

\begin{theorem}\label{thm:density_properties}
  Интегруемата по Риман функция \( f_\xi: \BbbR \to \BbbR \) е плътност на някаква абсолютно непрекъсната случайна величина \( \xi \) тогава и само тогава, когато са изпълнени
  \begin{align}
    &f_\xi(x) \geq 0 \text{ почти навсякъде} \tag{неотрицателност}\label{thm:density_properties/nonnegative} \\
    &\sum_k p_k = 1 \tag{нормираност}\label{thm:density_properties/normed}
  \end{align}
\end{theorem}

Тази теорема ни позволява да задаваме непрекъсната случайна величина изцяло чрез плътността ѝ, поради което плътността понякога се нарича разпределение на случайната величина.

\begin{proof}[Доказателство на \cref{thm:density_properties}]
  \SufficiencySubProof Нека \( f_\xi \) е плътност на \( \xi \).
  \begin{enumerate}
    \item За всяка точка \( x \in \BbbR \), в която \( F_\xi \) е диференцируема, имаме
    \begin{equation*}
      f_\xi(x) = F'_\xi(x) = \lim_{h \downarrow 0} \frac {F_\xi(x + h) - F_\xi(x)} h \geq 0
    \end{equation*}
    поради монотонността на \( F_\xi \).
    \item За произволно \( c > 0 \) функцията \( F_\xi \) е абсолютно непрекъсната в \( [-c, c] \). Следователно
    \begin{equation*}
      \int_{\BbbR} f_\xi(x) dx
      =
      \lim_{c \uparrow \infty} \int_{-c}^c f_\xi(x) dx
      =
      \lim_{c \uparrow \infty} F_\xi(c) - \lim_{c \to \infty} F_\xi(-c)
      =
      1 - 0.
    \end{equation*}
  \end{enumerate}

  \NecessitySubProof Нека \( f_\xi: \BbbR \to \BbbR \) е неотрицателна, интегруема по Риман и нормирана. Дефинираме функцията \( F_\xi(x) \coloneqq \int_{-\infty}^x f_\xi(t) dt \). Ще покажем, че за \( F_\xi \) са изпълнени свойствата на функция на разпределение:
  \begin{enumerate}
    \item Ако \( x < y \), от адитивността на римановия интеграл и неотрицателността на \( f_\xi \) следва
    \begin{equation*}
      F_\xi(x)
      =
      \int_{-\infty}^x f_\xi(t) dt
      \leq
      \int_{-\infty}^x f_\xi(t) dt + \int_x^y f_\xi(t) dt
      =
      \int_{-\infty}^y f_\xi(t) dt
      =
      F_\xi(y).
    \end{equation*}

    \item \( F_\xi \) е непрекъсната отдясно, тъй като
    \begin{align*}
      \lim_{h \downarrow 0} F_\xi(x + h)
      &=
      \lim_{h \downarrow 0} \int_{-\infty}^{x + h} f_\xi(t) dt
      = \\ &=
      \int_{-\infty}^x f_\xi(t) dt + \lim_{h \downarrow 0} \int_x^{x + h} f_\xi(t) dt
      = \\ &=
      \int_{-\infty}^x f_\xi(t) dt
      = \\ &=
      F_\xi(x).
    \end{align*}

    \item От предположението за нормираност имаме
    \begin{equation*}
      \lim_{x \uparrow \infty} F_\xi(x)
      =
      \lim_{x \uparrow \infty} \int_{-\infty}^x f_\xi(x) dx
      =
      \int_{\BbbR} f_\xi(x) dx = 1.
    \end{equation*}

    \item Директно пресмятаме
    \begin{equation*}
      \lim_{x \downarrow -\infty} \int_{-\infty}^x f_\xi(x) dx
      =
      \int_{-\infty}^{-\infty} f_\xi(x) dx
      =
      0.
    \end{equation*}
  \end{enumerate}

  Видяхме, че \( F_\xi \) удовлетворява свойствата на функция на разпределение и по \cref{thm:cdf_properties} съществува случайна величина \( \xi \), чиято плътност е \( f_\xi \).

  Освен това \( F_\xi \) е абсолютно непрекъсната във всеки затворен интервал \( [a, b] \), тъй като тя има интегруема производна почти навсякъде и за \( x \in [a, b] \) е изпълнено
  \begin{equation*}
    F_\xi(x)
    =
    \int_{-\infty}^x f_\xi(x) dx
    =
    \int_{-\infty}^a f_\xi(x) dx + \int_a^x f_\xi(x) dx
    =
    F_\xi(a) + \int_a^x f_\xi(x) dx.
  \end{equation*}
\end{proof}

\begin{proposition}[Конволюция на плътности]\label{thm:density_of_sum_is_convolution}
  Сумата на две независими непрекъснати случайни величини \( \xi \) и \( \eta \) е непрекъсната случайна величина с плътност
  \begin{equation*}
    f_{\xi + \eta} (x)
    =
    \int_{\BbbR} f_\xi(y) f_\eta(x - y) dy
    =
    \int_{\BbbR} f_\xi(x - y) f_\eta(y) dy.
  \end{equation*}
\end{proposition}
\begin{proof} Сумата на измерими функции е измерима, следователно \( \xi + \eta \) е случайна величина. Използвайки формулата за пълната вероятност и независимостта на \( \xi \) и \( \eta \), намираме функцията на разпределение
  \begin{align*}
    F_{\xi + \eta} (x)
    &=
    \Prob(\xi + \eta \leq x)
    = \\ &=
    \Prob(\xi \leq x - \eta)
    = \\ &=
    \int_{\BbbR} \Prob(\xi \leq x - y) f_\eta(y) dy
    = \\ &=
    \int_{\BbbR} F_\xi(x - y) f_\eta(y) dy.
  \end{align*}

  Сега ще докажем, че \( F_{\xi + \eta} \) е абсолютно непрекъсната във всеки интервал \( [a, b] \). Нека \( \varepsilon > 0 \) и \( \delta = \frac \varepsilon {\sup_{\BbbR}(f_\xi) }\). За произволни \( n \) непресичащи се два по два интервала \( (a_k, b_k) \subseteq [a, b] \) поради монотонността на функциите на разпределение имаме \( F_{\xi+\eta} (b_k) - F_{\xi+\eta}(a_k) \geq 0 \). Тогава
  \begin{align*}
    \sum_{k=1}^n \abs{F_{\xi+\eta} (b_k) - F_{\xi+\eta}(a_k)}
    &=
    \sum_{k=1}^n (F_{\xi+\eta} (b_k) - F_{\xi+\eta}(a_k))
    = \\ &=
    \sum_{k=1}^n \parens*{\int_{\BbbR} F_\xi(b_k - y) f_\eta(y) dy - \int_{\BbbR} F_\xi(a_k - y) f_\eta(y) dy }
    = \\ &=
    \sum_{k=1}^n \int_{\BbbR} (F_\xi(b_k - y) - F_\xi(a_k - y)) f_\eta(y) dy
    = \\ &=
    \sum_{k=1}^n \int_{\BbbR} \int_{a_k - y}^{b_k - y} f_\xi(z) dz \cdot f_\eta(y) dy
    \leq \\ &\leq
    \sup_{\BbbR}(f_\xi) \sum_{k=1}^n (b_k - y - a_k + y) \int_{\BbbR} f_\eta(y) dy
    = \\ &=
    \sup_{\BbbR}(f_\xi) \sum_{k=1}^n (b_k - a_k)
    < \\ &<
    \delta \sup_{\BbbR}(f_\xi)
    =
    \varepsilon.
  \end{align*}

  Дотук доказахме, че \( \xi + \eta \) е непрекъсната случайна величина. Остава само да намерим плътността на \( F_{\xi + \eta}(x) \). Тъй като \( F'_\xi = f_\xi \) и \( f_\eta \) са непрекъснати почти навсякъде, произведението им също е непрекъснато почти навсякъде и правилото на Лайбниц за диференциране под знака на интеграла ни дава
  \begin{equation*}
    f_{\xi + \eta} (x)
    =
    F'_{\xi + \eta} (x)
    =
    \int_{\BbbR} F'_\xi(x - y) f_\eta(y) dy
    =
    \int_{\BbbR} f_\xi(x - y) f_\eta(y) dy.
  \end{equation*}

  Аналогично се доказва
  \begin{equation*}
    f_{\xi + \eta} (x)
    =
    \int_{\BbbR} f_\xi(t) f_\eta(x - t) dt.
  \end{equation*}
\end{proof}

\begin{proposition}\label{thm:density_of_transformed_variable}
  Ако \( \xi \) е случайна величина и функцията \( \psi: \BbbR \to \BbbR \) е строго монотонна и диференцируема, тогава \( \psi(\xi) \) е непрекъсната случайна величина с плътност
  \begin{equation*}
    f_{\psi(\xi)} (x)
    =
    \abs{(\psi^{-1})'(x)} f(\psi^{-1}(x)).
  \end{equation*}
\end{proposition}
\begin{proof} Диференцирайки
  \begin{equation*}
    F_{\psi(\xi)} = \Prob(\psi(\xi) \leq x) = \Prob(\xi \leq \psi^{-1}(x)) = F_\xi(\psi^{-1}(x))
  \end{equation*}
  по \( x \), получаваме
  \begin{equation*}
    f_{\psi(\xi)} (x)
    =
    F'_{\psi(\xi)} (x)
    =
    (F_{\xi} \circ \psi^{-1})'(x)
    =
    \abs{(\psi^{-1})'(x)} f(\psi^{-1}(x)).
  \end{equation*}
\end{proof}

\subsection{Очакване и моменти}

\begin{definition}
  Нека \( \xi \) е непрекъсната случайна величина. Дефинираме \textbf{очакване} на \( \xi \) чрез
  \begin{equation*}
    \Expect(\xi) \coloneqq \int_{\BbbR} x f_\xi(x) dx.
  \end{equation*}
  Казваме, че \( \xi \) има (крайно) очакване, ако интегралът е абсолютно сходящ, т.е. \( \abs{x f_\xi} \) е интегруема функция.

  Случайни величини с очакване нула наричаме \textbf{центрирани}.

  Очакване от константа \( x \in \BbbR \) дефинираме да бъде самата константа \( x \).
\end{definition}

\begin{remark}
  Очакването се дефинира за произволна случайна величина \( \xi \) се дефинира чрез интеграл по вероятностната мярка, т.е.
  \begin{equation*}
    \Expect(\xi) \coloneqq \int \xi d\Prob.
  \end{equation*}

  Нещо повече, очакването е линеен функционал над линейното пространството от всички случайни величини над \( (\Omega, \mscrF, \Prob) \).

  Непрекъснатите случайни величини обаче не образуват линейно подпространство, тъй като сумата на две зависими непрекъснати случайни величини може да не бъде непрекъсната (например \( \xi - \xi = 0 \)). Тъй като тук се ограничаваме само до непрекъснати случайни величини, ще формулираме някои свойства (например адитивност) само в частния случай, в който случайните величини са независими.
\end{remark}

\begin{proposition}\label{thm:expectation_of_independent_product}
  За независими непрекъснати случайни величини \( \xi \) и \( \eta \) с крайно очакване е изпълнено
  \begin{equation*}
    \Expect(\xi \eta) = \Expect(\xi) \Expect(\eta).
  \end{equation*}
\end{proposition}
\begin{proof}
  Прилагаме теоремата на Фубини, теоремата за средните стойности и формулата за пълната вероятност:
  \begin{align*}
    \Expect(\xi \eta)
    &=
    \int_{\BbbR} z f_{\xi \eta}(z) dz
    = \\ &=
    \int_{\BbbR} z \Prob(z \leq \xi \eta < z + dz) dz
    = \\ &=
    \int_{\BbbR} \int_{\BbbR} z \Prob(z \leq t \xi < z + dz) f_\eta(t) dz
    = \\ &=
    \int_{\BbbR} \int_{\BbbR} z \parens*{ F_\xi\parens*{\frac z t } - F_\xi\parens*{\frac z t + d\frac z t } } f_\eta(t) dt \; dz
    = \\ &=
    \int_{\BbbR} \int_{\BbbR} z f_\xi \parens*{\frac z t } f_\eta(t) dt \; dz
    = \\ &=
    \int_{\BbbR} t f_\eta(t) \parens*{\int_{\BbbR} \frac z t f_\xi \parens*{\frac z t } d\frac z t } dt
    = \\ &=
    \Expect(\xi) \int_{\BbbR} t f_\eta(t) dt
    = \\ &=
    \Expect(\xi) \Expect(\eta).
  \end{align*}
\end{proof}

\begin{proposition}\label{thm:expectation_is_additive}
  Ако \( \xi \) и \( \eta \) са непрекъснати и независими, имаме \( \Expect(\xi + \eta) = \Expect(\xi) + \Expect(\eta) \).
\end{proposition}
\begin{proof}
  От \cref{thm:density_of_sum_is_convolution} знаем, че \( \xi + \eta \) също има непрекъснато разпределение и плътността ѝ е конволюция на плътностите на \( \xi \) и \( \eta \). Тогава от теоремата на Фубини имаме
  \begin{align*}
    \Expect(\xi + \eta)
    &=
    \int_{\BbbR} x f_{\xi + \eta} (x) dx
    = \\ &=
    \int_{\BbbR} x \int_{\BbbR} f_\xi(x - t) f_\eta(t) dt \; dx
    = \\ &=
    \int_{\BbbR} \parens*{ \int_{\BbbR} x f_\xi(x - t) dx } f_\eta(t) dt
    = \\ &=
    \int_{\BbbR} \parens*{ \int_{\BbbR} (x - t + t) f_\xi(x - t) d(x - t) } f_\eta(t) dt
    = \\ &=
    \int_{\BbbR} \parens*{ \int_{\BbbR} (x - t) f_\xi(x - t) d(x - t) + t \int_{\BbbR} f_\xi(x - t) d(x - t) } f_\eta(t) dt
    = \\ &=
    \int_{\BbbR} (\Expect(\xi) + t) f_\eta(t) dt
    = \\ &=
    \Expect(\xi) \int_{\BbbR} f_\eta(t) dt + \int_{\BbbR} t f_\eta(t) dt
    = \\ &=
    \Expect(\xi) + \Expect(\eta).
  \end{align*}
\end{proof}

\begin{proposition}\label{thm:lotus}
  Нека \( \xi \) е непрекъсната случайна величина с крайно очакване. Нека \( \psi: \BbbR \to \BbbR \) е монотонна. Тогава \( \psi(\xi) \) е непрекъсната случайна и е изпълнено
  \begin{equation*}
    \Expect(\psi(\xi))
    =
    \int_{\BbbR} \psi(x) f_\xi(x) dx.
  \end{equation*}
\end{proposition}

\begin{proof}
  \begin{align*}
    \Expect(\psi(\xi))
    &=
    \int_{\BbbR} x f_{\psi(\xi)}(x) dx
    = \\ &=
    \int_{\BbbR} x \Prob(x \leq \psi(\xi) \leq x + dx) dx
    = \\ &=
    \int_{\BbbR} x \Prob(\psi^{-1}(x) \leq \xi \leq \psi^{-1}(x + dx)) dx
    = \\ &=
    \int_{\BbbR} x \parens*{ F_\xi(\psi^{-1}(x + dx)) - F_\xi(\psi^{-1}(x)) } dx
    = \\ &=
    \int_{\BbbR} x f_\xi(\psi^{-1}(x)) dx
    = \\ &=
    \int_{\BbbR} \psi(x) f_\xi(x) d \psi(x)
    = \\ &=
    \int_{\BbbR} \psi(x) f_\xi(x) \psi'(x) dx.
  \end{align*}
\end{proof}

Доказаните в \cref{thm:expectation_of_independent_product,thm:expectation_is_additive,thm:lotus} свойства на очакването значително опростяват работата с него.

\begin{definition}
  \textbf{Ковариация} на случайните величини \( \xi \) и \( \eta \) наричаме
  \begin{equation*}
    \cov(\xi, \eta)
    \coloneqq
    \Expect((\xi - \Expect \xi) (\eta - \Expect \eta)).
  \end{equation*}

  \textbf{Дисперсия} или \textbf{вариация} на случайната величина \( \xi \) наричаме
  \begin{align*}
    \var(\xi)
    \coloneqq
    \cov(\xi, \xi)
    &=
    \Expect \parens*{{(\xi - \Expect \xi)}^2 }
    = \\ &=
    \Expect(\xi^2 - 2 \xi \Expect \xi + {\Expect(\xi)}^2)
    = \\ &=
    \Expect(\xi^2) - 2 {\Expect(\xi)}^2 + {\Expect(\xi)}^2
    = \\ &=
    \Expect(\xi^2) - {\Expect(\xi)}^2.
  \end{align*}

  \textbf{Корелация} на \( \xi \) и \( \eta \) наричаме
  \begin{equation*}
    \corr(\xi, \eta)
    \coloneqq
    \frac {\cov(\xi, \eta)} {\sqrt{\var(\xi) \var(\eta)}}.
  \end{equation*}

  От неравенството на Коши-Буняковски-Шварц следва, че \( \abs{\corr(\xi, \eta)} \leq 1 \).

  Числото \( \Expect(\xi^n) \) наричаме \( n \)-ти \textbf{момент} на \( \xi \), а \( \Expect \parens*{ {(\xi - \Expect \xi)}^n } \) наричаме \( n \)-ти \textbf{централен момент} на \( \xi \).

  Очакването всъщност е просто първият момент, а дисперсията - вторият централен момент. Коренът на дисперсията се нарича \textbf{стандартно отклонение} и често се бележи със \( \sigma_\xi \).

  Две случайни величини се наричат \textbf{некорелирани} или \textbf{ортогонални}, ако ковариацията им е \( 0 \), защото ковариацията играе ролята на скаларно произведение в пространството \( \op{L}^2 \) от (всички, не непременно непрекъснати) случайни величини с краен втори момент.

  Случайни величини със стандартно отклонение единица наричаме \textbf{нормирани}, тъй като стандартно отклонение играе ролята на норма в \( \op{L}^2 \).
\end{definition}

\begin{proposition}\label{thm:independence_implies_orthogonality}
  Ако две случайни величини са независими и имат крайно очакване, те са ортогонални.
\end{proposition}
\begin{proof}
  Нека \( \xi \) и \( \eta \) са независими и имат крайни очаквания съответно \( \mu \) и \( \eta \). Тогава
  \begin{equation*}
    \cov(\xi, \eta)
    =
    \Expect((\xi - \mu) (\eta - \nu))
    =
    \Expect(\xi - \mu) \Expect(\eta - \nu)
    =
    (\mu - \mu) (\nu - \nu)
    =
    0 \cdot 0
    =
    0.
  \end{equation*}
\end{proof}

\begin{proposition}\label{thm:lower_order_moments_exist}
  Ако \( \Expect(\xi^n) \) съществува, съществуват и моментите от по-нисък ред.
\end{proposition}
\begin{proof}
  Първо да забележим, че за \( y \in (0, 1) \) имаме \( {\Prob(\xi \leq x)}^y < \Prob(\xi \leq x) \). Ще докажем, че \( \Expect({\abs{\xi}}^{n-1}) \) съществува. Тъй като вероятностната мярка е нормирана, можем да приложим неравенството на Йенсен и да получим:
  \begin{align*}
    \Expect({\abs{\xi}}^{n-1})
    &\leq
    {\Expect({\abs{\xi}}^{n-1})}^{\frac n {n-1}}
    = \\ &=
    {\parens*{ \int_{\BbbR} {\abs{x_k}}^{n-1} f_\xi(x) dx }}^{\frac n {n-1}}
    \leq \\ &\leq
    \int_{\BbbR} {\parens*{{\abs{x_k}}^{n-1} f_\xi(x) dx }}^{\frac n {n-1}}
    \leq \\ &\leq
    \int_{\BbbR} {\parens*{{\abs{x_k}}^{n-1} }}^{\frac n {n-1}} f_\xi(x) dx
    = \\ &=
    \int_{\BbbR} {\abs{x_k}}^n f_\xi(x) dx
    =
    \Expect({\abs{\xi}}^n).
  \end{align*}
\end{proof}

\begin{definition}
  Ако една случайна величина има крайна дисперсия, можем да я \textbf{стандартизираме}, разглеждайки вместо нея
  \begin{equation*}
    \hat \xi = \frac {\xi - \Expect(\xi)} {\sqrt{\var(\xi)}}.
  \end{equation*}
\end{definition}

\begin{proposition}
  Стандартизираните случайни величини са винаги центрирани и нормирани.
\end{proposition}
\begin{proof}
  Ако \( \xi \) е произволна случайна величина с крайна дисперсия, имаме
  \begin{align*}
    \Expect(\hat \xi)
    &=
    \frac 1 {\sqrt{\var(\xi)}} \Expect(\xi - \Expect\xi)
    =
    0
    \\
    \var(\hat \xi)
    &=
    \frac 1 {\var(\xi)} \Expect({\bracks*{ \xi - \Expect\xi - \Expect(\xi - \Expect\xi) }}^2) = 0
    =
    \frac 1 {\var(\xi)} \Expect({(\xi - \Expect\xi)}^2)
    =
    \frac {\var(\xi)} {\var(\xi)}
    =
    1.
  \end{align*}
\end{proof}

\subsection{Пораждащи моментите и характеристични функции}

\begin{definition}
  \textbf{Пораждаща моментите функция} на \( \xi \) наричаме
  \begin{equation*}
    \MGF_\xi (t) \coloneqq \Expect(e^{t\xi}).
  \end{equation*}

  \textbf{Характеристична функция} на \( \xi \) наричаме
  \begin{equation*}
    \varphi_\xi (t) \coloneqq \Expect(e^{it\xi}).
  \end{equation*}

  Изпълнено е \( \varphi_\xi(t) = \MGF_\xi(it) \).
\end{definition}

\begin{remark}
  Не сме дефинирали очакване от комплексна случайна величина, но теоретичната обосновка идва от формулите на Ойлер:
  \begin{equation*}
    \varphi_\xi (t)
    =
    \Expect(e^{it\xi})
    =
    \Expect(\cos(t\xi) + i\sin(t\xi))
    =
    \Expect(\cos(t\xi)) + i \Expect(\sin(t\xi)).
  \end{equation*}
\end{remark}

\begin{remark}
  Дефинициите за моменти и функции от очакването се пренасят без изменение за случайни величини, които не са непрекъснати.
\end{remark}

\begin{theorem}[Свойства на пораждащите моментите функции]\label{thm:mgf_properties}
  Нека \( \xi \) и \( \eta \) са независими непрекъснати случайни величини.

  За пораждащите моментите функции \( \MGF_\xi \) и \( \MGF_\eta \) са изпълнени следните свойства
  \begin{enumerate}
    \item В общия случай пораждащата моментите функция съществува само в \( 0 \). Ако тя съществува в околност на \( 0 \), то тя е гладка в тази околност, съществуват всички моменти и е изпълнено \( \Expect(\xi^m) = \MGF_\xi^{(m)} (0) \) за \( m = 1, 2, \ldots \)

    \item Ако пораждащите моментите функции на \( \xi \), \( \eta \) и \( \xi + \eta \) съществуват в точка \( t \in \BbbR \), имаме
    \begin{equation*}
      \MGF_{\xi + \eta}(t) = \MGF_\xi(t) \MGF_\eta(t).
    \end{equation*}

    \item Ако \( \MGF_\xi \) и \( \MGF_\eta \) имат обща дефиниционна област, различна от \( \set{ 0 } \), в която те съвпадат, то \( \xi \) и \( \eta \) имат еднакво разпределение.
  \end{enumerate}
\end{theorem}
\begin{proof}
  \hfill
  \begin{enumerate}
    \item Пораждащата моментите функция винаги съществува в \( 0 \), тъй като \( \MGF_\xi(0) = \Expect(e^{0\xi}) = \Expect(1) = 1 \).

    Нека \( \MGF_\xi \) съществува в околност \( U \) на \( 0 \). Без ограничение на общността ще считаме, че \( U \) е ограничена. Полагаме \( \tau \coloneqq \min(-\inf U, \sup_U) \). Тогава сумата \( \MGF_\xi(-\tau) + \MGF_\xi(\tau) \) е крайна. Развиваме тази сума в ред на Тейлър:
    \begin{equation*}
      \MGF_\xi(-\tau) + \MGF_\xi(\tau)
      =
      \Expect(e^{-\tau\xi} + e^{\tau\xi})
      =
      \Expect\parens*{ 2 \sum_{k=0}^\infty \frac {\xi^{2k}} {(2k)!} \tau^{2k} }
      =
      2 \sum_{k=0}^\infty \frac {\Expect(\xi^{2k})} {(2k)!} \tau^{2k}.
    \end{equation*}

    Внасянето на очакването е възможно, защото всички членове на реда са неотрицателни. От \( \Expect(\xi^{2m}) = \Expect(\abs{\xi^{2m}}) \) се вижда, че всички четни моменти съществуват. Според \cref{thm:lower_order_moments_exist} съществуват и всички нечетни моменти.

    При фиксирано \( n = 1, 2, \ldots \) за някаква околност на \( 0 \), съдържаща се в \( U \), за някакво \( \alpha \in [0, 1] \) теоремата на Тейлър, приложена към експоненциалната функция, ни дава
    \begin{align*}
      \MGF_\xi(t)
      &=
      \Expect(e^{t\xi})
      = \\ &=
      \Expect\parens*{\sum_{k=0}^n \frac {\xi^k} {k!} t^k + \frac {{(\alpha \xi)}^{(n+1)} e^{\alpha t \xi}} {(n+1)!} t^{n+1} }
      = \\ &=
      \sum_{k=0}^n \frac {i^k \Expect(\xi^k)} {k!} t^k + \frac {{\alpha}^{(n+1)} \Expect(h(t))} {(n+1)!} t^{n+1},
    \end{align*}
    където \( h(t) \coloneqq \xi^{(n+1)} e^{\alpha t \xi} \xrightarrow[t \to 0]{} 0 \) поточково.

    Получихме полином на Тейлър за функцията \( \MGF_\xi(t) \). Тогава \( \MGF_\xi(t) \) има \( n \)-та производна, при това \( \MGF^{(n)}_\xi(0) = \Expect(\xi^n) \).

    Следователно \( \MGF_\xi(t) \) има \( n \)-та производна, при това
    \begin{align*}
      \MGF^{(n)}_\xi(t)
      &=
      \sum_{k=0}^{n-1} \frac {\Expect(\xi^k)} {k!} k! \cdot 0 + \frac {\Expect(\xi^n)} {n!} n! + \frac {\alpha^{(n+1)} \Expect(\xi^{(n+1)} e^{\alpha t \xi})} {(n+1)!} (n+1)! t
      = \\ &=
      \Expect(\xi^n) + \alpha^{(n+1)} \Expect(\xi^{(n+1)} e^{\alpha t \xi}) t.
    \end{align*}

    В частност, \( \MGF^{(n)}_\xi(0) = \Expect(\xi^n) \).

    \item Ако пораждащите моментите функции съществуват в \( t \in \BbbR \), тъй като \( \xi \) и \( \eta \) са независими, случайните величини \( e^{t\xi} \) и \( e^{t\eta} \) също са независими и
    \begin{equation*}
      \MGF_{\xi + \eta}(t)
      =
      \Expect(e^{t(\xi + \eta)})
      =
      \Expect(e^{t\xi} e^{t\eta})
      =
      \Expect(e^{t\xi}) \Expect(e^{t\eta})
      =
      \MGF_\xi(t) \MGF_\eta(t).
    \end{equation*}

    \item Ако функциите \( \MGF_\xi \) и \( \MGF_\eta \) съвпадат в областта си на дефиниция \( U \), за \( t \in U \) имаме
    \begin{align*}
      \MGF_\xi(t) - \MGF_\eta(t) &= 0
      \\
      \int_{\BbbR} e^{tx} f_\xi(x) - \int_{\BbbR} e^{tx} f_\eta(x) dx &= 0
      \\
      \int_{\BbbR} e^{tx} (f_\xi(x) - f_\eta(x)) dx &= 0.
    \end{align*}
    Последното равенство е изпълнено за всяко \( t \in U \) точно когато \( f_\xi(x) = f_\eta(x) \) почти за всяко \( x \in \BbbR \). Следователно \( \xi \) и \( \eta \) имат еднакво разпределение.
  \end{enumerate}
\end{proof}

\begin{theorem}[Свойства на характеристичните функции]\label{thm:char_properties}
  Нека \( \xi \) и \( \eta \) са независими дискретни случайни величини.

  За характеристичните функции \( \varphi_\xi \) и \( \varphi_\eta \) са изпълнени следните свойства
  \begin{enumerate}
    \item \( \varphi_\xi \) съществува и е равномерно непрекъсната навсякъде върху реалната права.

    \item Ако \( \xi^n \) има краен \( n \)-ти момент, е изпълнено \( \Expect(\xi^m) = i^{-m} \varphi_\xi^{(m)} (0) \) за \( m = 1, \ldots, n \).

    \item За всяко \( t \in \BbbR \) имаме
    \begin{equation*}
      \varphi_{\xi + \eta}(t) = \varphi_\xi(t) \varphi_\eta(t).
    \end{equation*}

    \item Ако \( \varphi_\xi \) и \( \varphi_\eta \) съвпадат, то \( \xi \) и \( \eta \) имат еднакво разпределение.
  \end{enumerate}
\end{theorem}
\begin{proof}
  \hfill
  \begin{enumerate}
    \item За да докажем, че \( \varphi_\xi \) е дефинирана навсякъде в \( \BbbR \), оценяваме отгоре абсолютната стойност на \( \varphi_\xi \) за \( t \in \BbbR \):
    \begin{equation*}
      \abs{\varphi_\xi(t)}
      =
      \abs{\Expect(e^{it\xi})}
      =
      \abs{\int_{\BbbR} e^{itx} f_\xi(x) dx}
      \leq
      \int_{\BbbR} \abs{e^{itx}} f_\xi(x) dx
      =
      \int_{\BbbR} f_\xi(x) dx
      =
      1.
    \end{equation*}

    За да докажем и равномерната непрекъснатост в \( \BbbR \), първо оценяваме отгоре израза
    \begin{align*}
      \abs{\varphi_\xi(t + h) - \varphi_\xi(t)}
      &=
      \abs{\Expect(e^{i(t + h)\xi}) - \Expect(e^{it\xi})}
      = \\ &=
      \abs{\Expect(e^{it\xi} (e^{ih\xi} - 1))}
      = \\ &=
      \abs{\int_{\BbbR} e^{itx} (e^{ihx} - 1) f_\xi(x) dx}
      \leq \\ &\leq
      \int_{\BbbR} \abs{e^{itx}} \abs{(e^{ihx} - 1)} f_\xi(x) dx
      = \\ &=
      \int_{\BbbR} \abs{(e^{ihx} - 1)} f_\xi(x) dx.
    \end{align*}

    Ще използваме, че за всяко \( z \in \BbbC \) неравенството на Йенсен ни дава
    \begin{equation*}
      \abs{e^{iz} - 1}
      =
      \abs{i \int_0^z e^{it} dt}
      \leq
      \int_0^{\abs{z}} \abs{e^{it}} dt
      =
      \int_0^{\abs{z}} dt
      =
      \abs{z}.
    \end{equation*}

    Фиксираме \( \varepsilon > 0 \). Избираме константа \( c_\varepsilon > 0 \), такава че \( \Prob(\abs{\xi} > c_\varepsilon) < \frac \varepsilon 3 \).
    Разглеждаме две множества: \( A \coloneqq (-c_\varepsilon, c_\varepsilon) \) и \( B \coloneqq \BbbR \setminus A \).

    За \( x \in A \) имаме
    \begin{equation*}
      \int_A \abs{e^{ihx} - 1} f_\xi(x) dx
      \leq
      \int_A \abs{h x} f_\xi(x) dx
      \leq
      c_\varepsilon \abs h \int_A f_\xi(x) dx
      \leq
      c_\varepsilon \abs h.
    \end{equation*}

    За \( x \in B \) имаме
    \begin{equation*}
      \int_B \abs{e^{ihx} - 1} f_\xi(x) dx
      \leq
      \int_B \parens*{ \abs{e^{ihx}} + 1 } f_\xi(x) dx
      \leq
      2 \int_B f_\xi(x) dx
      <
      \frac {2\varepsilon} 3.
    \end{equation*}

    За целия интеграл тогава получаваме
    \begin{equation*}
      \int_{\BbbR} \abs{e^{ihx} - 1} f_\xi(x) dx
      <
      c_\varepsilon \abs{h} + 2 \varepsilon.
    \end{equation*}

    Полагаме \( \delta = \frac \varepsilon {3 c_\varepsilon} \).

    Тогава за \( \abs h < \delta \) имаме
    \begin{equation*}
      \abs{\varphi_\xi(t + h) - \varphi_\xi(t)}
      <
      c_\varepsilon \abs{h} + \frac {2\varepsilon} 3
      <
      \frac {\varepsilon} 3 + \frac {2\varepsilon} 3
      =
      \varepsilon.
    \end{equation*}

    Числото \( \delta \) зависи само от \( \varepsilon \), следователно \( \varphi_\xi(t) \) е равномерно непрекъсната върху цялата реална права.

    \item Нека съществува моментът \( \Expect \xi^n \). Тогава съществуват и моментите от по-нисък ред и в някаква околност на \( 0 \) за някакво \( \alpha \in [0, 1] \) теоремата на Тейлър, приложена към експоненциалната функция, ни дава
    \begin{align*}
      \varphi_\xi(t)
      &=
      \Expect(e^{it\xi})
      = \\ &=
      \Expect\parens*{\sum_{k=0}^n \frac {i^k \xi^k} {k!} t^k + \frac {{(\alpha i \xi)}^{(n+1)} e^{\alpha it \xi}} {(n+1)!} t^{n+1} }
      = \\ &=
      \sum_{k=0}^n \frac {i^k \Expect(\xi^k)} {k!} t^k + \frac {{(\alpha i)}^{(n+1)} \Expect(h(t))} {(n+1)!} t^{n+1},
    \end{align*}
    където \( h(t) \coloneqq \xi^{(n+1)} e^{\alpha it \xi} \xrightarrow[t \to 0]{} 0 \) поточково.

    Получихме полином на Тейлър за функцията \( \varphi_\xi(t) \). Тогава \( \varphi_\xi(t) \) има \( n \)-та производна, при това \( \varphi^{(n)}_\xi(0) = i^n \Expect(\xi^n) \).

    \item Тъй като \( \xi \) и \( \eta \) са независими, за произволно \( t \in \BbbR \) величините \( e^{t\xi} \) и \( e^{t\eta} \) са независими и
    \begin{equation*}
      \varphi_{\xi + \eta}(t)
      =
      \Expect(e^{it(\xi + \eta)})
      =
      \Expect(e^{it\xi} e^{it\eta})
      =
      \Expect(e^{it\xi}) \Expect(e^{it\eta})
      =
      \varphi_\xi(t) \varphi_\eta(t).
    \end{equation*}

    \item Ако функциите \( \MGF_\xi \) и \( \MGF_\eta \) съвпадат, имаме
    \begin{align*}
      \varphi_\xi(t) - \varphi_\eta(t) &= 0
      \\
      \int_{\BbbR} e^{itx} f_\xi(x) - \int_{\BbbR} e^{itx} f_\eta(x) dx &= 0
      \\
      \int_{\BbbR} e^{itx} (f_\xi(x) - f_\eta(x)) dx &= 0.
    \end{align*}
    Последното равенство е изпълнено за всяко \( t \in \BbbR \) точно когато \( f_\xi(x) = f_\eta(x) \) почти за всяко \( x \in \BbbR \). Следователно \( \xi \) и \( \eta \) имат еднакво разпределение.
  \end{enumerate}
\end{proof}

\subsection{Често срещани непрекъснати разпределения}

\subsubsection{Нормално разпределение}\label{sec:normal}

\begin{definition}
  Казваме, че случайната величина \( \xi \) има \textbf{нормално разпределение} с очакване \( \mu \in \BbbR \) и стандартно отклонение \( \sigma > 0 \) и пишем \( \xi \in \distr{No}(\mu, \sigma^2) \), ако плътността има вида
  \begin{equation*}
    f_\xi(x) = \frac 1 {\sqrt{2\pi} \sigma} e^{-\frac{{(x-\mu)}^2} {2\sigma^2}}.
  \end{equation*}

  Дефиницията на плътност е коректна, тъй като \( f_\xi(x) \geq 0 \) за всяко \( x \in \BbbR \) и от
  \begin{equation*}
    \int_{\BbbR} e^{-x^2} dx = \sqrt \pi
  \end{equation*}
  получаваме
  \begin{equation*}
    \int_{\BbbR} \varphi(x) dx
    =
    \int_{\BbbR} \frac 1 {\sqrt{2\pi} \sigma} e^{-\frac{{(x-\mu)}^2} {2\sigma^2}} dx
    =
    \frac 1 {\sqrt{\pi}} \int_{\BbbR} e^{-{\parens*{\frac {x-\mu} {\sqrt 2 \sigma} }}^2} d\parens*{\frac {x-\mu} {\sqrt 2 \sigma} }
    =
    \frac {\sqrt{\pi}} {\sqrt{\pi}}
    =
    1.
  \end{equation*}

  Разпределението на \( \xi \) наричаме \textbf{стандартно нормално}, ако \( \mu = 0 \) и \( \sigma = 1 \). Обикновено плътността и функцията на разпределение на стандартното нормално разпределение се бележат съответно с \( \varphi(x) \) и \( \Phi(x) \).
\end{definition}

Поради различните варианти на централната гранична теорема, нормалното разпределение е гранично за средно аритметичното на независими случайни величини от много други разпределения. Това го прави най-широко приложимото вероятностно разпределение. На практика нормалното разпределение се използва за приближено описание на всякакъв род данни - от анализ на резултати от социологически проучвания до моделиране на финансови пазари или термална радиация.

Нека \( \eta \in \distr{No}(\mu, \sigma^2) \) и \( \xi \coloneqq \frac {\eta - \mu} \sigma \). Тъй като \( \eta = \sigma \xi + \mu \), от \cref{thm:density_of_transformed_variable} получаваме, че плътността на \( \xi \) е
\begin{equation*}
  f_\xi(x)
  =
  \sigma \cdot f_\eta(\sigma x + \mu)
  =
  \sigma \cdot \frac 1 {\sqrt{2\pi} \sigma} e^{-\frac{{(\sigma x + \mu -\mu)}^2} {2\sigma^2}}
  =
  \frac 1 {\sqrt{2\pi}} e^{-\frac {x^2} 2}
  =
  \varphi(x).
\end{equation*}

Получихме, че \( \xi \in \distr{No}(0, 1) \) има стандартно нормално разпределение. Затова е достатъчно да намерим пораждащата моментите функция, очакването и дисперсията само на стандартното нормално разпределение:
\begin{balign*}
  \MGF_\xi(t)
  &=
  \Expect(e^{t\xi})
  = \\ &=
  \int_{\BbbR} e^{tx} \cdot \frac 1 {\sqrt{2\pi}} e^{-\frac {x^2} 2} dx
  = \\ &=
  \frac 1 {\sqrt{2\pi}} \int_{\BbbR} e^{tx -\frac {x^2} 2} dx
  = \\ &=
  \frac 1 {\sqrt{2\pi}} \int_{\BbbR} e^{- \frac 1 2 (x^2 - 2tx + t^2) + \frac 1 2 t^2} dx
  = \\ &=
  \frac {e^{t^2}} {\sqrt \pi} \int_{\BbbR} e^{- {\parens*{\frac {x - t} {\sqrt 2} }}^2 + \frac 1 2 t^2} d\parens*{ \frac {x - t} {\sqrt 2} }
  = \\ &=
  \boxed{e^{\frac {t^2} 2}},
  \\
  \MGF'_\xi(t)
  &=
  \boxed{t e^{\frac {t^2} 2}},
  \\
  \MGF''_\xi(t)
  &=
  1 \cdot e^{\frac {t^2} 2} + t \cdot t e^{\frac {t^2} 2}
  = \\ &=
  \boxed{(1 + t^2) e^{\frac {t^2} 2}}
  \\
  \Expect(\xi)
  &=
  \MGF'_\xi(0)
  =
  \boxed{0},
  \\
  \Expect(\xi^2)
  &=
  \MGF''_\xi(0)
  =
  \boxed{1}
  \\
  \var(\xi)
  &=
  \Expect(\xi^2) - {\Expect(\xi)}^2
  =
  1 - 0
  =
  \boxed{1}.
\end{balign*}

Тогава за оригиналната случайна величина \( \eta \in \distr{No}(\mu, \sigma^2) \) имаме
\begin{align*}
  \Expect(\eta) &= \Expect(\sigma \xi + \mu) = \sigma \Expect(\eta) + \mu = \boxed{\mu}, \\
  \var(\eta) &= \var(\sigma \xi + \mu) = \sigma^2 \var(\xi) = \boxed{\sigma^2}.
\end{align*}

Получихме, че произволна нормална случайна величина \( \eta \in \distr{No}(\mu, \sigma^2) \) има очакване \( \mu \) и дисперсия \( \sigma^2 \), които отговарят на съответните параметри. Стандартизираните нормални случайни величини тогава винаги имат стандартно нормално разпределение.

За пораждащата моментите функция на \( \eta \) получаваме
\begin{equation*}
  \MGF_\eta(t)
  =
  \Expect(e^{t\eta})
  =
  \Expect(e^{t(\sigma\xi + \mu)})
  =
  \Expect(e^{(\sigma t) \xi}) e^{t\mu}
  =
  e^{t\mu} \MGF_\xi(\sigma t)
  =
  \boxed{e^{t\mu} e^{\frac {\sigma^2 t^2} 2}}.
\end{equation*}

Оттук директно следва
\begin{proposition}\label{thm:normal_distribution_is_stable}
  \hfill
  \begin{enumerate}
    \item Ако \( \xi_k \in \distr{No}(\mu_k, \sigma_k^2), k = 1, \ldots, n \), то
    \begin{equation*}
      \sum_{k=1}^n \xi_k \in \distr{No}\parens*{ \sum_{k=1}^n \mu_k, \sum_{k=1}^n \sigma_k^2 }.
    \end{equation*}

    \item Ако \( \xi \in \distr{No}(\mu, \sigma^2) \) и \( c \in \BbbR \), тогава
    \begin{equation*}
      c \xi \in \distr{No}(c \mu, c^2 \sigma^2).
    \end{equation*}
  \end{enumerate}
\end{proposition}

Ако \( \xi_1, \ldots, \xi_n \) са стандартни нормални, сумата им има разпределение \( \distr{No}(0, n) \). За да бъде сумата стандартна нормална, стандартизираме чрез
\begin{equation*}
  \frac 1 {\sqrt n} \sum_{k=1}^n \xi_k.
\end{equation*}

При \( n \to \infty \) това свойство се обобщава за различни по рода си разпределения, както може да бъде видяно от следните теореми

\begin{theorem}[Централна гранична теорема за еднакво разпределени случайни величини]
  Нека \( \xi_1, \xi_2, \ldots \) са независими и еднакво разпределени случайни величини с крайна дисперсия. Без ограничение на общността считаме, че те са стандартизирани.

  Тогава случайната величина
  \begin{equation*}
    \frac 1 {\sqrt n} \sum_{k=1}^n \xi_k
  \end{equation*}
  при \( n \to \infty \) клони по вероятност към стандартно нормално разпределение.
\end{theorem}

\begin{theorem}[Централна гранична теорема с условие на Ляпунов]
  Нека \( \xi_1, \xi_2, \ldots \) са независими случайни величини с крайни дисперсии. Без ограничение на общността считаме, че те са стандартизирани.
  Ако за някое \( \delta > 2 \) е изпълнено условието на Ляпунов,
  \begin{equation*}
    \lim_{n \to \infty} \frac 1 {n^{\frac \delta 2}} \sum_{k=1}^n \Expect \parens*{ {\abs{\xi_k}}^\delta } = 0,
  \end{equation*}
  тогава случайната величина
  \begin{equation*}
    \frac 1 {\sqrt n} \sum_{k=1}^n \xi_k
  \end{equation*}
  при \( n \to \infty \) клони по вероятност към стандартно нормално разпределение.
\end{theorem}

\subsubsection{Равномерно разпределение}\label{sec:unif}

\begin{definition}
  Казваме, че случайната величина \( \xi \) е \textbf{равномерно разпределена} в интервала \( [a, b] \) пишем \( \xi \in \distr{Uniform}(a, b) \), ако плътността има вида
  \begin{align*}
    f_\xi(x)
    =
    \begin{cases}
      \frac 1 {b-a}, x \in [a, b]
      0, & x \not\in [a, b]
    \end{cases}
  \end{align*}

  Дефиницията на плътност е коректна, тъй като за \( x \in [a, b] \) е в сила \( f_\xi(x) = \frac 1 {b-a} > 0 \) и
  \begin{equation*}
    \int_{\BbbR} f_\xi(x) dx
    =
    \int_a^b \frac 1 {b-a} dx
    =
    1.
  \end{equation*}
\end{definition}

Равномерното разпределение има две основни приложения:
\begin{enumerate}
  \item За Монте-Карло симулации на непрекъснати разпределения, чиято функция на разпределение има проста за пресмятане обратна.
  \item За моделиране експерименти с континуум от възможни изходи, за които предполагаме, че са равновероятни. Например попадението на материална точка в даден паралелепипед.
\end{enumerate}

За функцията на разпределение, пораждащата моментите функция, очакването и дисперсията на \( \xi \in \distr{Uniform}(a, b) \) имаме
\begin{balign*}
  F_\xi(x)
  &=
  \int_{-\infty}^x f_\xi(x) dx
  = \\ &=
  \begin{dcases}
    0, &x \leq a \\
    \frac 1 {b-a} \int_a^x dx = \frac {x-a} {b-a}, &a < x < b \\
    \frac {b-a} {b-a} = 1, &x \geq b
  \end{dcases}
  = \\ &=
  \frac {\max(a, \min(b, x))-a} {b-a}.
  \\
  \MGF_\xi(t)
  &=
  \Expect(e^{t\xi})
  = \\ &=
  \frac 1 {b-a} \int_a^b e^{tx} dx
  = \\ &=
  \boxed{\begin{cases}
    1, &t = 0 \\
    \frac {e^{tb} - e^{ta}} {t(b-a)}, &t \neq 0
  \end{cases}}
  \\
  \Expect(\xi)
  &=
  \frac 1 {b-a} \int_a^b x dx
  = \\ &=
  \frac {b^2 - a^2} {2(b-a)}
  = \\ &=
  \frac {(b-a)(b+a)} {2(b-a)}
  = \\ &=
  \boxed{\frac {a + b} 2},
  \\
  \Expect(\xi^2)
  &=
  \frac 1 {b-a} \int_a^b x^2 dx
  = \\ &=
  \frac {b^3 - a^3} {3(b-a)}
  = \\ &=
  \frac {(b-a)(b^2+ba+a^2)} {3(b-a)}
  = \\ &=
  \boxed{\frac {b^2+ba+a^2} 3},
  \\
  \var(\xi)
  &=
  \Expect(\xi^2) - {\Expect(\xi)}^2
  = \\ &=
  \frac {b^2+ba+a^2} 3 - {\parens*{\frac {a+b} 2 }}^2
  = \\ &=
  \frac {4(b^2+ba+a^2)} {12} - \frac {3 (a^2+2ab+b^2)} {12}
  = \\ &=
  \frac {b^2-2ba+a^2} {12}
  = \\ &=
  \boxed{\frac {{(b-a)}^2} {12}}.
\end{balign*}

Вж. също \cref{ex:se_autumn2016}.

\subsubsection{Експоненциално разпределение}\label{sec:exp}

\begin{definition}
  Казваме, че случайната величина \( \xi \) има \textbf{експоненциално разпределение} със степен \( \lambda > 0 \) и пишем \( \xi \in \distr{Exp}(\lambda) \), ако плътността има вида
  \begin{align*}
    f_\xi(x) = \begin{cases}
      \lambda e^{-\lambda x}, & x \geq 0 \\
      0, &x < 0.
    \end{cases}
  \end{align*}

  Дефиницията на плътност е коректна, тъй като \( f_\xi(x) \geq 0\quad\forall x \in \BbbR \) и
  \begin{equation*}
    \int_{\BbbR} \varphi(x) dx
    =
    \int_0^\infty \lambda e^{-\lambda x} dx
    =
    -\int_0^\infty e^{-\lambda x} d(-\lambda x)
    =
    -(\lim_{x \to \infty} e^{-\lambda x} - 1)
    =
    1.
  \end{equation*}

  Понякога се използва алтернативна параметризация, където плътността има вида
  \begin{align*}
    f_\xi(x) = \begin{cases}
      \frac 1 \lambda e^{-\frac x \lambda}, & x \geq 0 \\
      0, &x < 0.
    \end{cases}
  \end{align*}
\end{definition}

Експоненциалното разпределение моделира време на изчакване. Това включва време за чакане на градски транспорт, време до настъпване на застрахователно събитие или време за полуразпад на радиоактивно вещество. Предимство на експоненциалното разпределение за тези модели е свойството липса на памет, описано в \cref{thm:memorylessness}.

За функцията на разпределение, пораждащата моментите функция, очакването и дисперсията на \( \xi \in \distr{Exp}(\lambda) \) имаме
\begin{balign*}
  F_\xi(x)
  &=
  \int_{-\infty}^x f_\xi(y) dy
  = \\ &=
  \int_0^x \lambda e^{-\lambda y} dy
  = \\ &=
  -\int_0^x e^{-\lambda y} d(-\lambda y)
  = \\ &=
  -(e^{-\lambda x} - 1)
  = \\ &=
  \boxed{1 - e^{-\lambda x}},
  \\
  \MGF_\xi(t)
  &=
  \Expect(e^{t\xi})
  = \\ &=
  \int_0^\infty e^{tx} \cdot \lambda e^{-\lambda x} dx
  = \\ &=
  \frac \lambda {t-\lambda} \int_0^\infty e^{x(t-\lambda)} d[x(t-\lambda)]
  = \\ &=
  \frac \lambda {t-\lambda} (\lim_{x \to \infty} e^{x(t-\lambda)} - 1)
  = \\ &=
  \frac \lambda {\lambda-t}
  = \\ &=
  {\parens*{\frac {\lambda-t} \lambda }}^{-1}
  = \\ &=
  \boxed{{\parens*{1 - \frac t \lambda }}^{-1}, t < \lambda},
  \\
  \MGF'_\xi(t)
  &=
  \boxed{\frac 1 \lambda {\parens*{1 - \frac t \lambda }}^{-2}, t < \lambda},
  \\
  \MGF''_\xi(t)
  &=
  \boxed{\frac 2 {\lambda^2} {\parens*{1 - \frac t \lambda }}^{-3}, t < \lambda},
  \\
  \Expect(\xi)
  &=
  \MGF'_\xi(0)
  =
  \boxed{\frac 1 \lambda},
  \\
  \Expect(\xi^2)
  &=
  \MGF''_\xi(0)
  =
  \boxed{\frac 2 {\lambda^2}},
  \\
  \var(\xi)
  &=
  \Expect(\xi^2) - {\Expect(\xi)}^2
  = \\ &=
  \frac 2 {\lambda^2} - \frac 1 {\lambda^2}
  = \\ &=
  \frac 1 {\lambda^2}.
\end{balign*}

\begin{theorem}[Липса на памет]\label{thm:memorylessness}
  За \( \xi \in \distr{Exp}(\lambda) \) и \( x, y > 0 \) е изпълнено
  \begin{equation*}
    \Prob(\xi > x + y \given \xi > x) = \Prob(\xi > y).
  \end{equation*}
\end{theorem}
\begin{proof}
  \begin{align*}
    \Prob(\xi > x + y \given \xi > x)
    &=
    \frac {\Prob(\xi > x + y, \xi > x)} {\Prob(\xi > x)}
    = \\ &=
    \frac {\Prob(\xi > x + y)} {\Prob(\xi > x)}
    = \\ &=
    \frac {1-F_\xi(x+y)} {1-F_\xi(x)}
    = \\ &=
    \frac {e^{-\lambda(x+y)}} {e^{-\lambda x}}
    = \\ &=
    e^{-\lambda y}
    = \\ &=
    1-F_\xi(y)
    = \\ &=
    \Prob(\xi > y).
  \end{align*}
\end{proof}

Вж. също \cref{ex:se_summer2011}.

\subsubsection{Гама разпределение}\label{sec:gamma}

\begin{definition}
  Казваме, че случайната величина \( \xi \) има \textbf{гама разпределение} с мащаб \( \alpha > 0 \) и степен \( \beta > 0 \) и пишем \( \xi \in \distr{Gamma}(\alpha, \beta) \), ако плътността има вида
  \begin{align*}
    f_\xi(x)
    =
    \begin{dcases}
      \frac {\beta^\alpha x^{\alpha-1} e^{-\beta x}} {\Gamma(\alpha)}, &x \geq 0, \\
      0, &x < 0,
    \end{dcases}
  \end{align*}
  където \( \Gamma(x) \) е \( \Gamma \)-функцията на Ойлер.

  Дефиницията на плътност е коректна, тъй като \( f_\xi(x) \geq 0\quad\forall x \in \BbbR \) и
  \begin{equation*}
    \frac 1 {\Gamma(\alpha)} \int_0^\infty {\beta^\alpha x^{\alpha-1} e^{-\beta x}} dx
    =
    \frac 1 {\Gamma(\alpha)} \int_0^\infty {{(\beta x)}^{\alpha-1} e^{-\beta x}} d(\beta x)
    =
    \frac {\Gamma(\alpha)} {\Gamma(\alpha)}
    =
    1.
  \end{equation*}

  Понякога се използва алтернативна параметризация с \( k = \alpha \) и \( \theta = \beta^{-1} \), където плътността има вида
  \begin{align*}
    f_\xi(x)
    =
    \begin{dcases}
      \frac {\theta^{-k} x^{k-1} e^{-\frac x \theta}} {\Gamma(k)}, &x \geq 0, \\
      0, &x < 0,
    \end{dcases}
  \end{align*}
\end{definition}

Гама разпределението обобщава други често срещани разпределения, тъй като като \( \distr{Gamma}(1, \lambda) = \distr{Exp}(\lambda) \) и \( \distr{Gamma}(n/2, 1/2) = \distr{\chi^2}(n) \). Като такова то наследява и разширява техни приложения, например за моделиране на време между \( n > 1 \) последователни нервни импулса, но гама разпределението има и самостоятелни приложения, например за статистически анализ на асиметрично-разпределени данни.

Фиксираме \( \xi \in \distr{Gamma}(\alpha, \beta) \). За пораждащата моментите функция, очакването и дисперсията имаме
\begin{balign*}
  \MGF_\xi(t)
  &=
  \Expect(e^{t\xi})
  = \\ &=
  \int_0^\infty e^{tx} \cdot \frac {\beta^\alpha x^{\alpha-1} e^{-\beta x}} {\Gamma(\alpha)} dx
  = \\ &=
  \frac {\beta^\alpha} {\Gamma(\alpha)} \int_0^\infty x^{\alpha-1} e^{-x(\beta-t)} dx
  = \\ &=
  \frac {\beta^\alpha} {(\beta-t) \cdot \Gamma(\alpha)} \int_0^\infty \frac {{[(\beta-t)x]}^{\alpha-1}} {{(\beta-t)}^{\alpha-1}} e^{-(\beta-t)x} d[(\beta-t)x]
  = \\ &=
  {\parens*{\frac \beta {\beta-t} }}^\alpha \frac 1 {\Gamma(\alpha)} \int_0^\infty {[(\beta-t)x]}^{\alpha-1} e^{-(\beta-t)x} d[(\beta-t)x]
  = \\ &=
  {\parens*{\frac \beta {\beta-t} }}^\alpha \frac {\Gamma(\alpha)} {\Gamma(\alpha)}
  = \\ &=
  {\parens*{\frac {\beta-t} \beta }}^{-\alpha}
  = \\ &=
  \boxed{{\parens*{1 - \frac t \beta }}^{-\alpha}, t < \beta},
  \\
  \MGF'_\xi(t)
  &=
  \boxed{\frac \alpha \beta {\parens*{1 - \frac t \beta }}^{-\alpha-1}, t < \beta},
  \\
  \MGF''_\xi(t)
  &=
  \boxed{\frac {\alpha(\alpha+1)} {\beta^2} {\parens*{1 - \frac t \beta }}^{-\alpha-2}, t < \beta},
  \\
  \Expect(\xi)
  &=
  \MGF'_\xi(0)
  =
  \boxed{\frac \alpha \beta},
  \\
  \Expect(\xi^2)
  &=
  \MGF''_\xi(0)
  =
  \boxed{\frac {\alpha(\alpha+1)} {\beta^2}},
  \\
  \var(\xi)
  &=
  \Expect(\xi^2) - {\Expect(\xi)}^2
  =
  \frac {\alpha(\alpha+1)} {\beta^2} - \frac {\alpha^2} {\beta^2}
  =
  \frac \alpha {\beta^2}.
\end{balign*}

\begin{proposition}\label{thm:gamma_linear_combination_is_gamma}
  \hfill
  \begin{enumerate}
    \item Ако \( \gamma_k \in \distr{Gamma}(\alpha_k, \beta), k = 1, \ldots, n \), то
    \begin{equation*}
      \sum_{k=1}^n \gamma_k \in \distr{Gamma}\parens*{ \sum_{k=1}^n \alpha_k, \beta }.
    \end{equation*}

    \item Ако \( \gamma \in \distr{Gamma}(\alpha, \beta) \) и \( c \in \BbbR \), тогава
    \begin{equation*}
      c \gamma \in \distr{Gamma}\parens*{\alpha, \frac \beta c }.
    \end{equation*}
  \end{enumerate}
\end{proposition}
\begin{proof}
  \hfill
  \begin{enumerate}
    \item Следва директно от вида на пораждащата моментите функция.
    \item Използвайки \cref{thm:density_of_transformed_variable}, намираме плътността за \( x \geq 0 \)
    \begin{equation*}
      f_{c\xi}(x)
      =
      \frac 1 c f_\xi\parens*{\frac x c }
      =
      \frac 1 c \cdot \frac {\beta^\alpha {\parens*{\frac x c }}^{\alpha-1} e^{-\frac \beta c x}} {\Gamma(\alpha)}
      =
      \frac {{\parens*{\frac \beta c }}^\alpha x^{\alpha-1} e^{-\frac \beta c x}} {\Gamma(\alpha)},
    \end{equation*}
    която е плътност на \( \distr{Gamma}\parens*{\alpha, \frac \beta c } \)-разпределена случайна величина.
  \end{enumerate}
\end{proof}

Вж. също \cref{ex:se_summer2011}.

\section{Задачи}

В конспекта не е посочен списък с възможни задачи, затова съм включил разни задачи, давани на държавен изпит.

\begin{problem}[\cite{SESummer2011}]\label{ex:se_summer2011}
  Нека \( \xi \in \distr{Exp}(\lambda), \lambda > 0 \), т.е. нейната вероятностна плътност е \( f(x) = \frac 1 \lambda e^{-\frac x \lambda} \)
  \begin{enumerate}[label=\alph*)]
    \item Намерете разпределението на \( \eta = \min(\xi_1, \xi_2) \), където \( \eta_1 \) и \( \eta_2 \) са независими и еднакво разпределени случайни величини, както \( \xi \).

    \item Нека \( \xi_1, \xi_2, \ldots, \xi_n \) са независими наблюдения над \( \xi \). Докажете, че статистиката
    \begin{equation*}
      \overline \xi_n = \frac {\xi_1 + \xi_2 + \cdots + \xi_n} n
    \end{equation*}
    е ефективна оценка за параметъра \( \lambda \).

    \item Намерете критична област за проверка на хипотези:
    \begin{align*}
      \begin{cases}
        H_0: &\lambda = 2 \\
        H_1: &\lambda = 3
      \end{cases}
    \end{align*}
    с ниво на значимост \( \alpha = 0.05 \) по \( n = 10 \) независими наблюдения над \( \xi \).
  \end{enumerate}
\end{problem}

\begin{remark}
  За тази задача е дадена таблица за \( \distr{\chi^2} \) за квантилите \( 2.5\% \), \( 5.0\% \), \( 10.0\% \), \( 90.0\% \), \( 95.0\% \) и \( 97.5\% \) от \( 1 \) до \( 25 \) степени на свобода.
\end{remark}

\begin{solution}
  В \cref{sec:exp} вече описахме експоненциалното разпределение, но с друга параметризация. Тук ще използваме намерената в \cref{sec:exp} функция на разпределение, но заменяйки параметъра с реципрочния му, т.е.
  \begin{equation*}
    F_\xi(x) = 1 - e^{-\frac x \lambda}.
  \end{equation*}

  Също така ще използваме наготово, че \( \Expect(\xi) = \lambda \) и \( \var(\xi) = \lambda^2 \).

  \begin{enumerate}[label=\alph*)]
    \item Независимо от разпределенията на \( \xi_1 \) и \( \xi_2 \), за \( \eta = \min(\xi_1, \xi_2) \) имаме
    \begin{align*}
      F_\eta(x)
      &=
      \Prob(\min(\xi_1, \xi_2) \leq x)
      = \\ &=
      1 - \Prob(\min(\xi_1, \xi_2) > x)
      = \\ &=
      1 - \Prob(\xi_1 > x, \xi_2 > x)
      = \\ &=
      1 - \Prob(\xi_1 > x) \Prob(\xi_2 > x)
      = \\ &=
      1 - (1 - \Prob(\xi_1 \leq x)) (1 - \Prob(\xi_2 \leq x))
      = \\ &=
      1 - {(1 - F_\xi(x))}^2.
    \end{align*}

    За експоненциалното разпределение получаваме
    \begin{equation*}
      F_\eta(x)
      =
      1 - {(1 - F_\xi(x))}^2
      =
      1 - e^{- \frac {2 x} \lambda},
    \end{equation*}
    т.е. \( \eta \in \distr{Exp}\parens*{\frac \lambda 2 } \).

    \item Да отбележим, че оценката \( \overline \xi_n \) е неизместена, тъй като
    \begin{equation*}
      \Expect\parens*{ \frac 1 n \sum_{k=1}^n \xi_k }
      =
      \frac 1 n \sum_{k=1}^n \Expect(\xi_k)
      =
      \frac 1 n \sum_{k=1}^n \lambda
      =
      \frac 1 n \cdot n \lambda
      =
      \lambda.
    \end{equation*}

    За да докажем, че \( \xi \) е ефективна, остава да намерим границата на Рао-Крамер и да я сравним с \( \var(\overline \xi_n) \). Поради независимостта на \( \xi_1, \ldots, \xi_n \) е достатъчно да пресметнем информацията на Фишер \( \mscrI_\xi(\lambda) \) за параметъра \( \lambda \) на \( \xi \) и да я сравним с \( \var(\xi) = \lambda^2 \).
    \begin{align*}
      \ln f_\xi(x)
      &=
      \ln \parens*{\frac 1 \lambda e^{-\frac x \lambda} }
      =
      -\ln \lambda -\frac x \lambda,
      \\
      \frac {\partial \ln f_\xi(x)} {\partial \lambda}
      &=
      -\frac 1 \lambda + \frac x {\lambda^2}
      =
      \frac {x - \lambda} {\lambda^2},
      \\
      \mscrI_\xi(\lambda)
      &=
      \Expect \parens*{ {\parens*{ \frac {\partial \ln f_\xi(\xi \given \lambda)} {\partial \lambda} }}^2 }
      = \\ &=
      \Expect \parens*{ {\parens*{ \frac {\xi - \lambda} {\lambda^2} }}^2 }
      = \\ &=
      \frac 1 {\lambda^4} \Expect \parens*{ {({\xi - \lambda})}^2 }
      = \\ &=
      \frac {\var(\xi)} {\lambda^4}
      =
      \frac {\lambda^2} {\lambda^4}
      =
      \frac 1 {\lambda^2}.
    \end{align*}

    Тъй като \( \var(\xi) = \frac 1 {\mscrI_\xi(\lambda)} \), заключаваме, че оценката \( \overline \xi_n \) достига границата на Рао-Крамер и следователно тя е ефективна.

    \item Търсим оптимална критична област с помощта на лемата на Нейман-Пирсън. Първо намираме логаритмичното отношение на правдоподобие само за \( \xi \):
    \begin{align*}
      \ln \parens*{\frac {f_\xi(x \given \lambda=3)} {f_\xi(x \given \lambda=5)} }
      &=
      \ln f_\xi(x \given \lambda=3) - \ln f_\xi(x \given \lambda=5)
      = \\ &=
      - \ln 3 - \frac x 3 + \ln 5 + \frac x 5
      = \\ &=
      \ln 5 - \ln 3 - \frac 2 {15} x.
    \end{align*}

    Тогава логаритмичното отношение на правдоподобие за цялата извадка ще бъде
    \begin{equation*}
      \ln \parens*{\frac {L(x_1, \ldots, x_n \given \lambda=3)} {L(x_1, \ldots, x_n \given \lambda=5)} }
      =
      n \parens*{\ln 5 - \ln 3 - \frac 2 {15} \overline x_n }.
    \end{equation*}

    Уравнението
    \begin{equation*}
      n \parens*{\ln 5 - \ln 3 - \frac 2 {15} \overline \xi_n } \geq c_0
    \end{equation*}

    е еквивалентно на по-простото уравнение \( \overline \xi_n \geq c \) за подходяща константа \( c \). В такъв случай задачата се свежда до намиране на \( \alpha \)-квантил \( c \) за \( \overline \xi_n \), за който
    \begin{equation*}
      \Prob\parens*{\overline \xi_n \geq c \given \lambda = 3} = \alpha
      \iff
      \Prob\parens*{\overline \xi_n \leq c \given \lambda = 3} = 1 - \alpha.
    \end{equation*}

    Тъй като ни е дадена единствено таблица за \( \distr{\chi^2} \) разпределение, ще използваме връзките
    \begin{align*}
      \distr{\chi^2}(n) = \distr{Gamma} \parens*{\frac n 2, \frac 1 2 },
      &&
      \distr{Exp}(\lambda) = \distr{Gamma}\parens*{1, \frac 1 \lambda },
    \end{align*}
    където \( \distr{Exp} \) е параметризирано както в тази задача, а \( \distr{Gamma} \)-както в \cref{sec:gamma}.

    От \cref{thm:gamma_linear_combination_is_gamma} имаме
    \begin{align*}
      \overline \xi_n \in \distr{Gamma}\parens*{ n, \frac n \lambda }
      &&
      \frac {2n} \lambda \overline \xi_n \in \distr{Gamma}\parens*{ n, \frac 1 2 } = \distr{\chi^2}(2n).
    \end{align*}

    От дадената таблица намираме търсената константа \( c \),
    \begin{equation*}
      \Prob(\overline \xi_n \leq c \given \lambda = 3) = 1 - \alpha = 0.95
      \iff
      \frac {2 \cdot 10} 3 c = \frac {20} 3 c \approx 31.41.
      \iff
      c \approx 4.71.
    \end{equation*}

    Оптималната критична област е
    \begin{equation*}
      \set*{ (x_1, \ldots, x_n) \in \BbbR^n \given* \frac 1 n \sum_{k=1}^n x_k \geq c \approx 4.71 }.
    \end{equation*}
  \end{enumerate}
\end{solution}

\begin{problem}[\cite{SEAutumn2016}]\label{ex:se_autumn2016}
  Нека случайната величина \( X \) е равномерно разпределена в \( (0, a) \), а \( Y \) е равномерно разпределена в \( (0, b) \).
  \begin{enumerate}[label=\alph*)]
    \item Ако \( X \) и \( Y \) са независими, намерете математическото очакване и дисперсията на \( 2X - 3Y \).
    \item Ако \( X \) и \( Y \) са такива, че корелационният им коефициент \( \corr(X, Y) = 0.8 \), намерете математическото очакване и дисперсията на \( 2X - 3Y \).
    \item Ако \( X \) и \( Y \) са независими случайни величини, намерете вероятността \( X - Y < 2 \).
  \end{enumerate}
\end{problem}
\begin{solution}
  \hfill
  \begin{enumerate}[label=\alph*)]
    \item В \cref{sec:unif} сме намерили, че за \( \xi \in \distr{Uniform}(\alpha, \beta) \) имаме \( \Expect(X) = \frac {\alpha + \beta} 2 \) и \( \var(\xi) = \frac {{(\beta - \alpha)}^2} {12} \). Тогава
    \begin{align*}
      \Expect(X) = \frac a 2,
      &&
      \var(X) = \frac {a^2} {12},
      \\
      \Expect(Y) = \frac b 2,
      &&
      \var(Y) = \frac {b^2} {12}.
    \end{align*}

    Тогава
    \begin{align*}
      \Expect(2X - 3Y)
      &=
      2\Expect(X) - 3\Expect(Y)
      =
      \boxed{\frac {2a - 3b} 2},
      \\
      \var(2X - 3Y)
      &=
      4\var(X) + 2 \cdot 6 \cov(X, Y) + 9\var(Y)
      = \\ &=
      4\var(X) + 9\var(Y)
      = \\ &=
      \boxed{\frac {4a^2 + 9b^2} {12}}.
    \end{align*}

    \item Независимо от това дали \( X \) и \( Y \) са корелирани или не, очакването на техните линейни комбинации не се променя. За дисперсията на \( 2X - 3Y \) имаме
    \begin{align*}
      \var(2X - 3Y)
      &=
      4\var(X) + 2 \cdot 6 \cov(X, Y) + 9\var(Y)
      = \\ &=
      4\var(X) + 12 \cdot \frac 4 5 + 9\var(Y)
      = \\ &=
      \boxed{\frac {4a^2 + 9b^2} {12} + \frac {48} 5}.
    \end{align*}

    \item Ще използваме наготово от\cref{sec:unif} функцията на разпределение
    \begin{equation*}
      F_X(x) = \frac {\max(0, \min(a, x))} a.
    \end{equation*}

     Ако \( X \) и \( Y \) са независими, използвайки формулата за пълната вероятност, пресмятаме директно
    \begin{align*}
      \Prob(X - Y < 2)
      &=
      \Prob(X < Y + 2)
      = \\ &=
      \int_{\BbbR} F_X(y+2) f_Y(y) dy
      = \\ &=
      \int_0^b \frac {\max(0, \min(a, y+2))} a \cdot \frac 1 b dy
      = \\ &=
      \frac 1 {ab} \int_0^b \min(a, y+2) dy.
    \end{align*}

    Разглеждаме три случая:
    \begin{enumerate}[label=\arabic*)]
      \item Ако \( a < 2 \), имаме
      \begin{equation*}
        \Prob(X - Y < 2)
        =
        \frac 1 {ab} \int_0^b a dy
        =
        1.
      \end{equation*}

      \item Ако \( 2 \leq a \leq b + 2 \), имаме
      \begin{align*}
        \Prob(X - Y < 2)
        &=
        \frac 1 {ab} \parens*{\int_0^{a-2} (y+2) dy + \int_{a-2}^b a dy }
        = \\ &=
        \frac 1 {ab} \parens*{\int_0^{a-2} y dy + 2 \int_0^{a-2} dy + \int_{a-2}^b a dy }
        = \\ &=
        \frac 1 {ab} \parens*{\frac 1 2 {(a-2)}^2 + 2(a-2) + a(b-a+2) }
        = \\ &=
        \frac 1 {ab} \parens*{\frac {a^2} 2 - 2a + 2 + 2a - 4 + ab - a^2 + 2a }
        = \\ &=
        \frac 1 {ab} \parens*{-\frac {a^2} 2 + ab + 2a - 2 }
        = \\ &=
        \frac {-a^2 + 2ab + 4a - 4} {2ab}.
      \end{align*}

      \item Ако \( a > b + 2 \), имаме
      \begin{align*}
        \Prob(X - Y < 2)
        &=
        \frac 1 {ab} \int_0^b (y+2) dy
        = \\ &=
        \frac 1 {ab} \parens*{ \int_0^b y dy + 2 \int_0^b dy }
        = \\ &=
        \frac 1 {ab} \parens*{\frac {b^2} 2 + 2b }
        = \\ &=
        \frac {b + 4} {2a}.
      \end{align*}
    \end{enumerate}

    В крайна сметка получаваме

    \begin{align*}
      \Prob(X - Y < 2) = \begin{dcases}
        1, &a < 2, \\
        \frac {-a^2 + 2ab + 4a - 4} {2ab}, &2 \leq a \leq b + 2, \\
        \frac {b + 4} {2a}, &a > b + 2.
      \end{dcases}
    \end{align*}
  \end{enumerate}
\end{solution}

\printbibliography

\end{document}
