Переходные вероятности.
Зависимость P i/i+1 = f(Si) называют переходной вероятностью, часто говорят, что именно процесс без последействий обладает марковским свойством, однако, строго говоря, здесь есть одна неточность. Дело в том, что можно представить себе СП, в котором вероятностная связь существует не только с предшествующими, но и более ранними - Si-1, Si+2 ... состояниями, т.е.
Pi/i+1 = f (Si , S i-1, S i-2) (8.1)
Такие процессы также рассматривались А.А.Марковым, который предложил называть их в отличие от первого случая (простой цепи) - сложнойцепью. В настоящее время теория таких цепей разработана слабо и обычно применяют так называемый процесс укрупнения состояний путем математических преобразований, объединяя предшествующие состояния в одно.
Это обстоятельство должно обязательно учитываться при составлении математических моделей принятия решений.
Марковский СП называется однородным, если переходные веро-ятности Pi/i+1 остаются постоянными в ходе процесса.
Вероятности состояний.
Вероятности .gif)
называются вероятностями состояния.
Для любого шага (момента времени t1,t2,...tk,... или номера 1,2,...,k,...) существуют некоторые вероятности перехода системы из любого состояния в любое другое (некоторые из них равны нулю, если непосредственный переход за один шаг невозможен), а также вероятность задержки системы в данном состоянии. Эти вероятности называются переходнымивероятностями марковской цепи.
Если значения переходных вероятностей не зависят от номера шага, то марковская цепь называется однородной, или стационарной. В противном случае марковская цепь является неоднородной, или нестационарной.
