Свойства однородной Марковской цепи.

Если матрица вероятностей переходов P не является периодической или разложимой (приводимой), то существуют предельные (равновесные) вероятности pj нахождения системы в каждом состоянии Sj и они не зависят от начальных условий pj(0) (т.е. от времени и исходного состояния). Это свойство называется эргодическим

Т.о. такой случайный процесс обладает эргодическим свойством (т.е. одна достаточно длинная реакция случайного процесса дает верные статистические характеристики).

Свойство эргодичности:

lim (n→∞)P(n)j= Pj = const    (4)

P(n)j - вероятность того, что в момент времени n система находиться в состоянии j

Рассмотрим ординарный Марковский процесс с дискретным временем. Пусть некоторая система имеет (k+1) возможных состояний, для которых заданы вероятности переходов pij  в виде матрицы P. Предположим, что известны вероятности начальных состояний:

P0(0) = Po(0)

P1(0) = P1(0)

P2(0) = P2(0)

……………

Pj(0) = Pj(0) - т.е. вероятность того, что в момент времени t=0 система окажется в состоянии j.

Найдем вероятности состояний после первого шага, т.е. на момент времени t=t1, для этого используем формулу полной вероятности.

Пусть некоторое событие T происходит вместе с одним из несовместных событий  S0, S1, …, Sk, т.е. событий удовлетворяющих некоторому условию Si∩Sj=0, i ≠ j. Событие Si, при i=0,1… k, образуют  полную группу событий

Тогда вероятность события T будет вычисляться по формуле:

Вероятность события Т, которое может наступить лишь при условии появления одного из несовместных событий, образующих полную группу равную произведению вероятностей каждого из этих событий P(Si) и условной вероятности события Т P(T/Si).

Применим формулу полной вероятности, тогда получим:

P0(0) = P0(0)*p00+P1(0)*p10+…+Pk(0)*pko

P1(0) = P0(0)*p01+P1(0)*p11+…+Pk(0)*pk1

………………………

Pk(0) = P0(0)*p0k+P1(0)*p1k+…+Pk(0)*pkk

(j=1, 2, …, k)

Вероятности состояний после второго шага на момент времени t2 определяются аналогично

(j=0, 1, 2, …, k)

После (n+1) шага на момент времени tn+1

(j=0, 1, 2, …, k)   (5)

Если рассматриваемая система обладает эргодичностью, то согласно выражению (4) состояния Po(n), P1(n), P2(n) , …, Pk(n) в момент времени n будут стремиться к предельным значениям Po, P1, …, Pk, независящим от начальных вероятностей.

С учетом формул  (4) и (5) вероятности состояний для стационарного режима определяются из решения системы уравнений

(j= 0, 1, 2, …, k)    (6)

с нормировочным условием:

   (7)

Уравнение (6) с условием (7) образует систему линейных алгебраических уравнений, которая всегда обладает единственным решением, если P - эргодическая матрица.

Формула (5) позволяет последовательно шаг за шагом определить изменения распределения вероятностей системы, если известны начальные вероятности.

Второй способ представления вероятностей переходов состоит в построении диаграммы переходов. Она представляет собой граф, вершинам которого соответствуют состояния системы, а направленные дуги указывают возможные переходы из одного состояния в другое. Вероятности соответствующих переходов отмечаются числами, приписываемыми каждой дуге.

В соответствии с условием (3):

 

Суммы вероятностей для дуг исходящих из любой вершины графа должны равняться 1.

Пример:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Сформулируем правило составления уравнений для стационарных вероятностей Марковского процесса с дискретным временем по диаграмме переходов (графы переходов).

Для каждого состояния уравнение составляется следующим образом:

1)в левой части записывается равновесная вероятность рассматриваемого состояния,

2)правая часть представляет собой сумму членов, число которых равно числу дуг, входящих в рассматриваемое состояние.

Каждый член представляет собой произведение вероятности перехода, соответствующей данной дуге, на вероятность состояния, из которого исходит эта дуга.

Сформулированное правило позволяет механически записывать уравнение для финальных вероятностей состояний непосредственно по графу переходов.