14.Дискретные и непрерывные случайные величины; закон распределения вероятностей случайной величины; действия над случайными величинами.

Дискретные случайные величины

Определение1: Случайная величина $\xi$ называется дискретной случайной величиной, если она принимает не более чем счетное число значений. Задание дискретной случайной величины по определению равносильно заданию закона распределения случайной величины в следующем виде:

$\xi : x_{1},x_{2}, . . . , x_{n}, . . .$

$P : p_{1},p_{2}, . . . , p_{n}, . . .$

где $p_{n}=P(\xi = x_{n}) , \sum_{n}p_{n}=1$

Следующее утверждение отражает связь между функцией распределения дискретной случайной величины и законом распределения случайной величины.

Утверждение 1: Закон распределения и функция распределения дискретной случайной величины взаимно однозначно определяют друг друга.

Примеры дискретных случайных величин:

1) дискретная случайная величина Бернулли(закон распределения Бернулли). Закон распределения дискретной случайной величины Бернулли имеет следующий вид: 0<p<1

$\xi : 0 , 1 .$

$P : 1-p , p$

Такому распределению соответствует бросание монеты, на одной стороне которой - 0, а на второй - 1.

2) дискретная биномиальная случайная величина(биномиальное распределение). Закон распределения данной дискретной случайной величины запишется следующим образом:

$\xi : 0, 1, . . . , k, . . . n$

$P : P_{n}(0),P_{n}(1), . . . , P_{n}(k), . . . P_{n}(n)$

где $P_{n}(k) = C_{n}^{k}p^{k}q^{n-k} , 0<p<1 , q=1-p.$

Число успехов в n испытаниях схемы Бернулли имеет биномиальное распределение.

3) дискретная случайная величина Пуассона(пуассоновское распределение с параметром $\lambda$ ). Закон распределения дискретной случайной величины Пуассона задается следующим образом:

$P(\xi =k)=\frac{\lambda^k e^{-\lambda}}{k!} , k=0,1,2,3,...$

где $\lambda > 0$ - параметр.

Закон распределения случайной величины Пуассона носит название закона редких событий, поскольку оно всегда появляется там, где производится большое число испытаний, в каждом из которых с малой вероятностью происходит "редкое" событие. По закону Пуассона распределены, например, число вызовов, поступивших на телефонную станцию, число распавшихся нестабильных частиц и т.д.

4) дискретная геометрическая случайная величина (геометрическое распределение). Закон распределения геометрической дискретной случайной величины имеет вид

$P(\xi =k) = p(1 - p)^{k} , 0<p<1 , k=0,1,2,...$

Пусть производятся независимые испытания, причем в каждом испытании возможны два исхода - "успех" с вероятностью p или "неуспех" с вероятностью 1 - p , 0 < p < 1 . Обозначим через $\xi$ число испытаний до первого появления "успеха", тогда $\xi$ будет дискретной геометрической случайной величиной.

Непрерывные случайные величины

Определение 2: Распределение случайной величины $\xi$ называется непрерывным, а сама случайная величина - непрерывной случайной величиной, если для любого $B\epsilon B(R)$

$P_{\xi }(B) = \int_{B}p_{\xi}(x)dx$ ,

где $p_{\xi}(x) , x \epsilon R,$ - интегрируемая по Лебегу функция. Функция $p_{\xi}(x)$ называется плотностью распределения случайной величины $\xi$ .

Теорема 1: Для того чтобы случайная величина $\xi$ была непрерывной случайной величиной, необходимо и достаточно, чтобы для любого $x \epsilon R$

$F_{\xi}(x)=\int_{-\infty}^{x}p_{\xi}(t)dt$ (1)

Замечание 1: Из представления (1) видно, что функция распределения непрерывной случайной величины является непрерывной функцией.

Свойства плотности распределения:

1) $\int_{-\infty}^{\infty}p_{\xi}(t)dt = 1$

2) $p_{\xi}(t)\geq 0$ почти всюду.

3) $F_{\xi}^{'}(x) = p_{\xi}(x)$ для любых х, являющихся точками непрерывности плотности.

Теорема 2: Для того, чтобы функция p = p(x) была плотностью распределения некоторой случайной величины $\xi$ , необходимо и достаточно, чтобы она удовлетворяла свойствам 1) и 2) плотности.

Примеры непрерывных случайных величин:

1) нормальная непрерывная случайная величина, или непрерывная случайная величина Гаусса(нормальное распределение). Непрерывная случайная величина $\xi$ имеет нормальное (гауссовское) распределение, если её плотность распределения имеет вид

$p_{\xi}(x) = \frac{1}{\sigma \sqrt[]{2\pi}}e^{- \frac{(x-a)^{2}}{2\sigma ^2}} , \sigma >0 , a\epsilon R.$

Если $a=0, \sigma = 1$ , то распределение называется стандартным нормальным распределением.

Важная роль этого распределения объясняется тем, что оно обычно возникает в явлениях, подверженных действию большого числа малых случайных величин. Так, математическая теория выборочного метода в статистике для расчета некоторых показателей широко использует нормальное распределение.

2)экспоненциальная (показательная) непрерывная случайная величина(экспоненциальное распределение). Непрерывная случайная величина $\xi$ имеет экспоненциальное(показательное) распределение с параметром $\lambda (\lambda>0)$ , если её плотность имеет вид

$p_{\xi}(x)=\left\{\begin{matrix} 0, x<0 & \\ \lambda e^{-\lambda x}, x\geq 0 & \end{matrix}\right.$

Экспоненциальному распределению подчиняется время распада ядер атомов различных элементов. Оно обладает важным свойством - отсутствием последствия. Несложно убедиться в том, что вероятность распада ядра за время $x_{2}$ при условии, что перед этим оно уже прожило время $x_{1}$ , совпадает с безусловной вероятностью распада того же самого ядра за время $x_{2}$ . Именно это свойство и представляет собой отсутствие последствия.

3) Равномерная на [a;b] непрерывная случайная величина(равномерное на отрезке [a;b] распределение).

Равномерно распределенная на отрезке [a;b] непрерывная случайная величина $\xi$ имеет плотность распределения

$p_{\xi}(x) = \left\{\begin{matrix} 0, x \not\epsilon[a;b] & \\ 1/(b-a), x\epsilon[a;b]& \end{matrix}\right.$

Равномерное распределение реализует принцип геометрической вероятности при бросании точки на отрезок [a;b].

Алгебраические действия над случайными величинами

Задачи теории оценивания довольно часто приводят к необходимости вычисления результатов комбинации двух или более случайных величин, а также линейных или нелинейных операций над одной или более случайными величинами. В этом параграфе последуют комбинации двух или более случайных величин и результаты алгебраических действий над ними.

Начнем с простого случая линейного преобразования скалярной случайной величины:

, (2.66)

где и известные постоянные величины. Известна также плотность вероятности и требуется получить плотность вероятности . Определим событие и событие . Поскольку оба события относятся к одному и тому же исходу, ясно, что

и (2.67)

Если обозначить , то

(2.68)

Искомая функция плотности вероятности новой величины получается при дифференцировании этого выражения по :

для (2.69)

Если отрицательна, то необходимо переопределить события и так, чтобы и . Так же, как было получено выражение (2.68), находим

для (2.70)

Объединяя (2.69) и (2.70), получим

Несколько более сложное преобразование получается при прохождении случайной величины с известной функцией плотности вероятности через устройство с квадратичной характеристикой. Пусть

. (2.71)

Преобразование от данного к значению однозначное. Однако обратное преобразование неоднозначно. Данному значению соответствуют два значения .

Таким образом, для случайной величины событие при соответствует событию , так что имеем . Это означает, что

(2.72)

Дифференцируя предыдущее распределение по , получим плотность вероятности для преобразования

(2.73)

Если функция плотностей вероятности симметрична относительно , то из ф-лы (2 .73) следует

(2.74)

Теперь исследуем общий случай нелинейного безынерционного преобразования скалярной случайной величины (рис. 2.2):

(2.75)

Событие определим как . Как показано на рис. 2.2, может существовать некоторое число интервалов на оси соответствующих одному и тому же интервалу на оси . Таким образом, определим событие для как , так что . При малых имеем

(2.76)

где взяты абсолютные значения и , так как плотности вероятности должны быть неотрицательны. Поделив это выражение на и перейдя к пределу при и , стремящихся к нулю, получим плотность вероятности для случайной величины

(2.77)

где распространяется на все значения , которые соответствуют . Значения и связаны между собой ур-нием (2.75). Если множество решений ур-ния (2.75) имеет вид

(2.78)

то окончательно имеем

. (2.79)

Рис 2.2. Общий вид нелинейного безынерционного преобразования

Этот результат является наиболее общим выражением для плотности вероятности скалярной случайной величины , полученной с помощью алгебраического преобразования скалярной случайной величины .

Во многих задачах теории оценивания две или более случайные величины комбинируются для формирования скалярной или векторной случайной величины. Например, одной из важных задач, которая будет изложена ниже, является оценка сигнального вектора по наблюдаемому процессу , который является аддитивной смесью шума и нелинейного преобразования сигнала

(2.80)

Вначале рассмотрим несколько простых вариантов комбинаций случайных величин, а затем перейдем к более сложным. Одной из самых простых комбинаций является сумма двух скалярных случайных входных сигналов

. (2.81)

Предположим, что известна совместная плотность вероятности и и необходимо определить плотность . Если обозначить события и , то и

(2.82)

Дифференцируя это выражение по , получим

(2.83)

Но согласно (2.51) совместные плотности вероятности являются произведениями условных и индивидуальных плотностей, т. е.

(2.84)

(2.85)

Умножая обе частя (2.83) на , получим

(2.86)

Так как индивидуальные плотности можно получить интегрированием совместной плотности, то искомая плотность вероятностей

. (2.87)

Формула (2.87) выражает функцию плотности вероятностей через совместную плотность вероятностей и .

Возможен и чиной метод получения этого результата при другом подходе к решению таких задач Вероятность того, что меньше некоторой величины , эквивалентна тому, что все значения и лежат слева от линии , как это показано на рис 2.3. Для определения этой вероятности рассмотрим вероятность попадания в полосу шириной всех значений от до .

Рис. 2.3. Допустимые значения и для

Для получения искомой функции распределения следует проинтегрировать последнее выражение по от до :

(2.88)

Дифференцируя (2.89), получим функцию плотности вероятности

(2.89)

Это же выражение может быть записано иначе:

(2.90)

Если случайные величины и статистически независимы, из ф-лы (2.90) получаем

(2.91)

т. е. представляет собой свертку двух функций плотности вероятности.

Если , где и независимы, то с помощью ур-ния (2.91) можно вычислить . Аналогично, если , где и независимы, можно получить, используя (2.91) следующее выражение для плотности вероятности случайной величины :

(2.92)

Рассмотрим теперь общий метод определения плотностей вероятности для комбинаций случайных величин. Рассмотрим векторную -мерную случайную величину , полученную из векторной -мерной случайной величины с помощью векторного преобразования

(2.93)

которое является обратимым в том смысле, что обратное преобразование существует и оно единственное, т. е.

(2.94)

Определим событие и соответствующее событие. Вероятностные связи величин и определяются из равенства , которое можно записать через функции распределения

(2.95)

или через интегралы от плотностей:

(2.96)

Если продифференцировать кратные интегралы по каждой из компонент , то, как легко убедиться, получим

(2.97)

Здесь представляет матрицу размера x , элемент которой равен . Таким образом,

(2.98)

и — определитель матрицы (его часто называют якобианом преобразования ). Символ обозначает абсолютную величину якобиана преобразования.

Другой метод доказательства ф-лы (2.97) получим путем замены переменной в (2.96):

; (2.99)

Тогда ф-ла (2.96) принимает вид

Дифференцирование этого кратного интеграла по каждой составляющей непосредственно приводит к ф-ле (2.97). Эту формулу будем часто использовать в дальнейшем.