Случайный процесс, протекающий в системе, называется Марковским, если для любого момента времени t0 вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент t0 и не зависят от того, когда и как система пришла в это состояние.
Пусть в настоящий момент t0 система находится в определенном состоянии S0. Мы знаем характеристики состояния системы в настоящем и все, что было при t < t0 (предысторию процесса).
Можем ли мы предугадать (предсказать) будущее, т.е. что будет при t > t0? В точности – нет, но какие-то вероятностные характеристики процесса в будущем найти можно.
Например, вероятность того, что через некоторое время система S окажется в состоянии S1 или останется в состоянии S0 и т.д.
Пример. Система S – группа самолетов, участвующих в воздушном бою. Пусть x – количество «белых» самолетов, y – количество «синих» самолетов. К моменту времени t0 количество сохранившихся (не сбитых) самолетов соответственно – x0, y0.
Нас интересует вероятность того, что в момент времени численный перевес будет на стороне «белых».
Кто победит в бою? Эта вероятность зависит от того, в каком состоянии находилась система в момент времени t0 , а не от того, когда и в какой последовательности погибали сбитые до момента t0 самолеты.
На практике Марковские процессы в чистом виде обычно не встречаются. Но имеются процессы, для которых влиянием «предыстории» можно пренебречь. И при изучении таких процессов можно применять Марковские модели.
Цепью Маркова называется последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий Ai из полной группы. При этом условная вероятность pij(s) того, что в s –ом испытании наступит событие Aj при условии, что в (s – 1) – ом испытании наступило событие Ai, не зависит от результатов предшествующих испытаний.
По характеру изменений состояний цепи Маркова можно разделить на две группы.
Цепью Маркова с дискретным временем называется цепь, изменение состояний которой происходит в определенные фиксированные моменты времени. Цепью Маркова с непрерывным временем называется цепь, изменение состояний которой возможно в любые случайные моменты времени.
Однородной называется цепь Маркова, если условная вероятность pij перехода системы из состояния i в состояние j не зависит от номера испытания. Вероятность pij называется переходной вероятностью.
Система со счетным числом возможных "фазовых" состояний, которая с течением дискретного времени t = 0, 1, ... случайно переходит из одного состояния в другое состояние.
Пусть ξ(t) есть ее положение в момент t в результате цепочки случайных переходов
ξ(0) -> ξ(1)-> ... ->ξ(t) -> ... (1)
Формально обозначим все возможные состояния целыми i = 0, ±1, ...
Предположим, что при известном состоянии ξ(t) = k на следующем шаге система переходит в состояние ξ(t+1) = j с условной вероятностью
Pk j = P(ξ(t+1) = j(|ξ(t) = k) ... (2)
независимо от ее поведения в прошлом, точнее от цепочки переходов (1) до момента t:
P(ξ(t+1) = j|ξ(0) = i, ..., ξ(t) = k) = P(ξ(t+1) = j|ξ(t) = k) (3)
при всех t, k, j ... - марковское свойство.
Такую вероятностную схему называют однородной цепью Маркова со счетным числом состояний - ее однородность состоит в том, что определенные в (2) переходные вероятности Pk j,
∑j Pkj = 1, k = 0, ±1, ..., не зависят от времени, т.е.
P(ξ(t+1) = j|ξ(t) = k) = Pij - матрица вероятностей
перехода за один шаг не зависит от n.
Ясно, что Pij - квадратная матрица с неотрицательными элементами и единичными суммами по строкам.
Такая матрица (конечная или бесконечная) называется стохастической матрицей. Любая стохастическая матрица может служить матрицей переходных вероятностей.
Предположим, что некая фирма осуществляет доставку оборудования по Москве: в северный округ (обозначим А), южный (В) и центральный (С).
Фирма имеет группу курьеров, которая обслуживает эти районы. Понятно, что для осуществления следующей доставки курьер едет в тот район, который на данный момент ему ближе. Статистически было определено следующее:
1) после осуществления доставки в А следующая доставка в
30 случаях осуществляется в А, в 30 случаях - в В и в 40 случаях - в С;
2) после осуществления доставки в В следующая доставка в 40 случаях осуществляется в А, в 40 случаях - в В и в 20 случаях - в С;
3) после осуществления доставки в С следующая доставка в 50 случаях осуществляется в А, в 30 случаях - в В и в 20 случаях - в С.
Таким образом, район следующей доставки определяется только предыдущей доставкой.
Матрица вероятностей перехода будет выглядеть следующим образом:
.jpg)
