Условная вероятность

В теории вероятностей характеристикой связи событий А и B служит условная вероятность P(А|B) события А при условии B, определяемая как P(А|B) = ,

где N(B) - число всех элементарных исходов w, возможных при условии наступления события B, а N(АB) - число тех из них, которые приводят к осуществлению события А.

Если событие B ведет к обязательному осуществлению А: b, то P(A|B)=1, если же наступление B исключает возможность события А: A*B=0, то P(A|B)=0. Если событие А представляет собой объединение непересекающихся событий A1, A2,…: A = , то P(A|B) = .

Если имеется полная система несовместимых событий B =B1, B2,… т.е. такая система непересекающихся событий, одно из которых обязательно осуществляется, то вероятность события A (P(A)) выражается через условные вероятности P(A|B) следующим образом:

(формула полной вероятности).

Множества.

Множество - это совокупность некоторых элементов. Если элемент х входит в множество А, это записывается как x О A. Соотношения A₁ Н A₂ или A₂ К A₁ означает, что A₁ содержится во множестве A₂ (каждый элемент х множества A₁ входит в множество A₂; A₁ является подмножеством A₂).
Суммой или объединением множеств А₁ и А₂ называется множество, обозначаемое A1 И A2, которое состоит из всех точек х, входящих хотя бы в одно из множеств A₁ или A₂.
Пересечением или произведением множеств А₁ и А₂ называется множество, обозначаемое A₁З A₂, A₁*A₂ или A₁A₂, которое состоит из всех точек х, одновременно входящих и в A₁ и в A₂; пересечение произвольного числа множеств Аa состоит из всех точек х, которые одновременно входят во все множества Аa.
Пустые множества обозначаются 0.
Множества, дополнительные к открытым множествам топологического пространства Х, называются замкнутыми.
Нормированное пространство Х называется гильбертовым, если определена числовая функция двух переменных х₁ и х₂, обозначаемая (x₁,x₂) и называемая скалярным произведением, обладающим следующими свойствами:

1. (x,x)і 0;
2. (x,x)=0 тогда и только тогда, когда х=0;
3. (l ₁x₁+l₂ x₂, x) = l ₁(x₁,x) + l ₂(x₂,x);
4. (x, l ₁x₁+l₂ x₂) = l₁(x,x₁) + l ₂(x,x₂)

при любых l₁, l₂ и x₁, x₂ОX. Норма ||x|| элемента гильбертова пространства Х определяется как ||x||=.

Счетно-гильбертово пространство Х называется ядерным, если для любого р найдется такое q и такой ядерный оператор А в гильбертовом пространстве Х со скалярным произведением (х₁,x₂)=(х₁,х₂)_q, что (х₁,x₂)_p=(Ax₁,x₂)_q.

Действительное число M является верхней границей или нижней границей множества S_y действительных чисел y, если для всех y О S_y соответственно y Ј M или yі M. Множество действительных или комплексных чисел ограничено (имеет абсолютную границу), если верхнюю границу имеет множество абсолютных величин этих чисел; в противном случае множество не ограничено. Каждое непустое множество S_y действительных чисел y, имеющее верхнюю границу, имеет точную верхнюю границу (наименьшую верхнюю границу) sup y, а каждое непустое множество действительных чисел y, имеющее нижнюю границу, имеет точную нижнюю границу (наибольшую нижнюю границу) inf y. Если множество S_y конечно, то его точная верхняя граница sup y необходимо равна наибольшему значению (максимуму) max y, фактически принимаемому числом y в S_y, а точная нижняя граница inf y равна минимуму min y.
Множество называется открытым, если оно состоит только из внутренних точек. Точка P множества называется внутренней для множества S, если P имеет окрестность, целиком содержащуюся в S.

Компакт. Система множеств G называется центрированной, если пересечение конечного числа любых множеств из G не пусто. Замкнутое множество A Н X называется компактом, если всякая центрированная система G его замкнутых подмножеств F имеет непустое пересечение: Множество А называется компактным в Х, если его замыкание F=[A] является компактом.

Гауссовы случайные процессы

Действительная случайная величина x называется гауссовой, если ее характеристическая функция j =j (u) имеет вид

;
фигурирующие здесь параметры a и s² имеют простой вероятностный смысл: a=Mx (среднее значение), s² = Dx (средне-квадратичное отклонение). Соответствующее распределение вероятностей также называется гауссовым, его плотность имеет вид

Марковские случайные процессы.

Случайный процесс x =x(t) на множестве T действительной прямой в фазовом пространстве (E,B) называется марковским, если условные вероятности P(A|U(-Ґ,s) событий AО U(t,Ґ ) относительно s-алгебры U(-Ґ,s) таковы, что при s Јt с вероятностью 1
,
здесь U(u,v) означает s-алгебру порождаемую всевозможными событиями вида { x(t) О B}, t О[u,v]З T, BО B. Если параметр t интерпретировать как время, то описанное марковское свойство случайного процесса x =x (t) состоит в том, что поведение процесса после момента t при фиксированном состоянии x=x (t) не зависит от поведения процесса до момента t. Для любых событий А ОU (-Ґ,t₁) и A₂О U(t₁, Ґ) и при любом t О T t₁ ЈtЈ t₂ с вероятностью 1

P(A₁A₂|x (t)) = P(A₁|x (t)) P(A₂|x(t)).

Цепи Маркова

Пусть x (t) - состояние системы в момент времени t, и пусть соблюдается следующая закономерность: если в данный момент времени s система находится в фазовом состоянии i, то в последующий момент времени t система будет находиться в состоянии j с некоторой вероятностью p_ij(s,t) независимо от поведения системы до указанного момента s. Описывающий поведение системы процесс x (t) называется цепью Маркова. Вероятности p_ij(s,t) = p{x (t)=j|x (s)=i} (i,j = 1, 2, …) называются переходными вероятностями марковской цепи x (t).

Марковская цепь x (t) называется однородной, если переходные вероятности p_ij(s,t) зависят лишь от разности t-s: p_ij(s,t) = p_ij(s-t) (i,j=1,2,…)

Финальные вероятности. Пусть состояния однородной марковской цепи x (t) образует один замкнутый положительный непериодический класс. Тогда для любого состояния j существует предел  (j=1, 2,…), один и тот же при всех исходных состояниях i=1,2,…. Предельные значения P₁, P₂,… представляют собой распределение вероятностей: p_j есть финальная вероятность находиться в состоянии j; при этом
P_j=  (j=1,2,...),
где Q_j - среднее время возвращения в состояние j в дискретные моменты t = 0, 1, 2, … .

Коэффициент эргодичности

Пусть x =x (t) - случайный марковский процесс в фазовом пространстве (E,B) с переходной функцией P(s,x,t,B). С вероятностью 1 имеет место равенство

b (s,t) = |P(A| U (-¥, s))- P(A| =

Величина k(s,t) = 1 -

называется коэффициентом эргодичности марковского процесса x =x (t).

Переходная функция.

Функция P(s,x,t,B) переменных s, tО T, s Ј t и xО E, bО b называется переходной функцией марковского случайного процесса x =x (t) на множестве T в фазовом пространстве (E,B), если эта функция при фиксированных s, tО T и xО E представляет собой распределение вероятностей на s -алгебре b и при фиксированных s, tО T и BО b является измеримой функцией от x О E.

Стационарные случайные процессы

Стационарный действительный или комплексный случайный процесс x =x (t), рассматриваемый как функция параметра t со значениями в гильбертовом пространстве L²(W) всех действительных или комплексных случайных величин h =h (w), M|h |²<Ґ (со скалярным произведением
(h ₁, h₂)= M h₁ h₂),
может быть представлен в виде

Белый шум. Простейшим по структуре стационарным процессом с дискретным временем является процесс z =z (t) с некоррелированными значениями:

Mz(t)=0, M|z(t)|²=1,
Mz(t₁) при t₁ ≠ t₂

В случае непрерывного времени t аналогом такого процесса является так называемый "белый шум" - обобщенный стационарный процесс z = б u, z с вида

(параметр u=u(t) есть бесконечно дифференцируемая функция), где стохастическая мера z = z (d ) такова, что

Mz (D )=0, M|z (D )|² =t-s при D =(s,t), Mz (D₁) z (D₂)=0 для любых непересекающихся D₁ и D₂.

Стационарный процесс x= x(t), Mx(t)=0, называется линейно-регулярным, если
,
где H(s,t) - замкнутая линейная оболочка в пространстве L²(W) значений x(u), s Ј u Ј t. Стационарный процесс x =x(t) со спектральной мерой F является линейно-регулярным тогда и только тогда, когда F=F( D) абсолютно непрерывна:
F(D) =
а спектральная плотность f=f(l) удовлетворяет условию

(для дискретного t)

(для непрерывного t)

Стационарный процесс x =x(t) линейно-регулярен тогда и только тогда, когда он получается некоторым физически осуществимым линейным преобразованием из процесса z = z(t) с некоррелированными значениями - в случае дискретного t:

x(t) =

и из процесса z =б u, z с "белого шума" - в случае непрерывного t:

x(t) =

Регулярность. Реальные стационарные процессы часто возникают в результате некоторого случайного стационарного возмущения Z = z (t) типа "белого шума". Процесс z = z(t) подвергается некоторому линейному преобразованию и превращается в стационарный процесс x =x(t). Спектральная плотность f= f(l) такого процесса в диапазоне -p Ј l Ј p для целочисленного времени и -Ґ <l <Ґ для непрерывного времени t не может обращаться тождественно в нуль ни на каком интервале: в противном случае стационарный процесс x (t) будет сингулярным, что означает возможность его восстановления лишь на полуоси -Ґ ,t₀. Процессы, спектр которых практически сосредоточен в полосе частот -W< l <W, не обладают свойствами сингулярных процессов. С энергетической точки зрения эти процессы имеют ограниченный спектр. Составляющие их гармонические колебания вида Ф(dl )e^ilt с частотами вне интервала (-W,W) имеют весьма малые энергии, но они существенно влияют на линейный прогноз значений x (t+t) на основе x (s) на временной полуоси sЈt.

Линейные устройства, используемые при решении конкретных задач, должны иметь вполне определенную постоянную времени T (определяет длительность переходных процессов). Это означает, что весовая функция h=h(t) рассматриваемого линейного устройства, связанная с соответствующей передаточной функцией Y =Y(p) равенством

должна удовлетворять требованию h(t)=0 при t>T.
Рассмотрим задачу линейной фильтрации при наличии на входе процесса x =x(t). Тогда x (t)= z (t) +h(t), где h =h(t) - полезный сигнал, а z(t) - независимый от него стационарный случайный процесс (шум). Линейное устройство должно быть выбрано так, чтобы процесс на входе

был по возможности близок к входному полезному сигналу h = h(t), так что в стационарном режиме работы

Линейное устройство, отвечающее поставленным требованиям, должно иметь такую передаточную функцию Y=Y(p), чтобы соответствующая спектральная характеристика

являлась решением интегрального уравнения

Где

- спектральная плотность входного процесса x (t), а Bh h(t) - корреляционная функция полезного сигнала h (t).

Закон больших чисел

Пусть x₁,…, x_n - независимые случайные величины, имеющие одно и то же распределение вероятностей, в частности одни и те же математические ожидания a = M x_k и дисперсии
s₂=Dx_k, k=1,…,n. Каковы бы ни были e >0 и d >0, при достаточно большом n арифметическое среднее
(таким образом )
с вероятностью, не меньшей 1-d, будет отличаться от математического ожидания a лишь не более чем на

Распределение Эрланга

Рассмотрим систему, которая способна обслуживать m запросов одновременно. Предположим, что имеется m линий и очередной запрос поступает на одну из них, если хотя бы одна из них свободна. В противном случае поступивший запрос будет отвергнут. Поток запросов считается пуассоновским с параметром l₀, а время обслуживания запроса (в каждом из каналов) распределено по показательному закону с параметром l, причем запросы обслуживаются независимо друг от друга. Рассмотрим состояния E₀, E₁,…,E_m, где E_k означает, что занято k линий. В частности E₀ означает, что система свободна, а E_m - система полностью занята. Переход из одного состояния в другое представляет собой марковский процесс, для которого плотности перехода можно описать как:

При t ® Ґ переходные вероятности p_ij(t) экспоненциально стремятся к своим окончательным значениям P_j, j=0,…,m. Окончательные вероятности P_j могут быть найдены из системы:

-l₀P₀+lP₁=0

l₀P_k-1 - (l₀+kl)P_k + (k+1)lP_k+1 =0 (1Ј k<m)

l₀p_m-1+ml P_m=0

решение которой имеет вид:

Эти выражения для вероятностей называются формулами (распределением) Эрланга.