Граф состояний.
Марковская цепь изображается в виде графа переходов, вершины которого соответствуют состояниям цепи, а дуги — переходам между ними. Вес дуги (i, j), связывающей вершины si и sj будет равен вероятности pi(j) перехода из первого состояния во второе. Граф, соответствующий матрице, изображенной выше:
Итак, модель марковского процесса представим в виде графа, в котором состояния (вершины) связаны между собой связями (переходами из i-го состояния в j-е состояние),
Каждый переход характеризуется вероятностью перехода Pij. Вероятность Pij показывает, как часто после попадания в i-е состояние осуществляется затем переход в j-е состояние. Конечно, такие переходы происходят случайно, но если измерить частоту переходов за достаточно большое время, то окажется, что эта частота будет совпадать с заданной вероятностью перехода.
Ясно, что у каждого состояния сумма вероятностей всех переходов (исходящих стрелок) из него в другие состояния должна быть всегда равна 1
В примере на рисунке поглощающими являются состояния 3 и 4, а непоглощающими — 1 и 2.
На рисунке:
§ достижимыми состояниями являются: 2 из 1 (непосредственно), 3 из 1 (непосредственно), 6 из 3 (к примеру, через цепочку состояний 3 -> 2 -> 4 ->6) и т.д.
§ сообщаются состояния 1 и 2 (непосредственно), 6 и 7 (непосредственно), 1 и 3 (достижимы друг из друга) и т. д.
§ неразложимыми классами являются множества вершин фигурные скобки (1,2,3) (4) (5) (6,7)
§ эргодическими классами являются множества вершин фигурные скобки (5) (6,7)
§ поглощающим состоянием является состояние 5.
§ если расматривать фигурные скобки (6,7) отдельно, можно выделить два циклических класса фигурные скобки (6) (7) (на каждом шаге цепь переходит из одного состояния в другое, а через d =2 шага возвращается в одно и то же состояние.
.png)
Реализация случайного процесса.
См. выше
