Марковский
процесс с дискретными состояниями
Такой Марковский процесс
однозначно определяется множеством состояний {S0, S1, … , Sk}
и вероятностями переходов между ними Pij. Эти
вероятности задаются в виде матрицы (k+1)Х(k+1) вероятностей переходов:
(1)
1-ый индекс - откуда переход;
2-ой индекс - куда переход.
Элементы этой матрицы
удовлетворяют условиям 0 <= pij <= 1, где i, j= 0,1, … , k (2)
Т.к. переходы из состояний i во все другие и в само себя составляют полную группу
событий, то
(3)
Условие (3) означает, что
построчные суммы всех вероятностей равны 1, следовательно
означает, что в любой момент времени система обязательно с вероятностью 1
перейдет из состояния Si в какое-либо другое
состояние (S0,S1,…,Sk).
Матрица, обладающая
свойствами (2) и (3) называется стохастической. Т.к. элементами стохастической
матрицы P являются вероятности перехода pij, то эту
матрицу называют матрицей вероятностей перехода.
Если матрица P не зависит от
времени, то Марковскую цепь называют однородной.
Если матрица P может быть
приведена к одному из трех следующих видов, то она называется приводимой или
разложимой:
1)
2)
3)
где A, B, C, D - квадратные
подматрицы
0 - нулевая квадратная
матрица
В случае 1) составляющие с младшими
и старшими номерами образуют замкнутые подмножества A и D, т.к. система находясь в состоянии одного из этих подмножеств,
никогда не сможет перейти в какое-либо состояние другого подмножества.
В случае 2) - из младших
состояний в старшие переходов нет, а из старших в младшие - есть. Состояния,
соответствующие подмножеству D, называются невозвратными, т.к. после того, как
процесс покинет эти состояния, невозможен обратный переход в эти состояния из
состояний, соответствующих другим подмножествам.
В случае 3) состояния с
младшими номерами подмножества A - невозвратные.
Матрица P называется
периодической, если ее можно привести к виду:
Система в этом случае будет
по очереди переходить из состояний соответствующих B в состояния
соответствующие С.
