Марковски процес

Марковският процес е случаен процес, чиито бъдещи стойности зависят само от текущата, но не и от миналите стойности. Той приема стойности от дискретно множество, наречено пространство на състоянията. Казваме, че в даден момент от времето, Марковският процес е едно или друго състояние. В зависимост от това дали преходът от едно в друго състояние може да се извърши в произволни или само във фиксирани моменти на времето, се различават Марковски процеси в непрекъснато време и Марковски вериги.

Понякога се казва, че Марковските процеси притежават Марковско свойство.

Марковските процеси носят името на руския математик Андрей Марков.

Математическо определение [редактиране]

Нека $X(t)$ е случайната величина, която описва състоянието на процеса в произволен момент от времето $t$ . Да разгледаме две състояния на процеса $y$ и $z$ , и вероятността за един малък отрязък от време между $t$ и $t+h$ процесът да е преминал от $y$ в $z$ . Тогава, за да бъде Марковски този процес, трябва:

$\mathrm{P}\big[X(t+h) = z \,|\, X(s) = x(s), s \leq t\big] = \mathrm{P}\big[X(t+h) = z \,|\, X(t) = y\big], \quad \forall h > 0.$

С други думи, стойностите на Марковския процес в бъдещето $X(t+h)$ зависят от миналите стойности $X(s)$ , $s \le t$ , само чрез текущата стойност $X(t)$ .