Notations

On considère un ensemble de n états $e_{1},e_{2},...,e_{i},...,e_{n}$, ainsi qu'un ensemble de q actions $a_{1},a_{2},...,a_{k},...a_{q}$. À chaque instant t, le système se trouve dans un état $e_{i}$ et choisit d'exécuter une action $a_{k}$ jusqu'à ce qu'il se trouve dans un état $e_{j}$ différent de $e_{i}$, à l'instant t+h. On considère également l'état transitoire $e_{i,k}$ dans lequel le système se trouve entre les instants t et t+h. Il faut donc distinguer l'état $e_{i}$ du système alors qu'il n'a pas fait son choix sur l'action à exécuter, l'état $e_{i,k}$ pour lequel le système a fait son choix à partir de l'état $e_{i}$ et l'état $e_{j}$ qui résulte de l'exécution de $a_{k}$ à partir de $e_{i}$.
Les probabilités pour que le système se trouve respectivement dans l'état $e_{i}$ et $e_{i,k}$ seront notées $p_{i}$ (resp. $p_{i,k}$). Pour un état $e_{i}$ et une action $a_{k}$ fixés, on considère l'ensemble des probabilités $p_{i,k,j}$ d'atteindre les autres états du système, à l'exception de $e_{i}$, grâce à l'action $a_{k}$. Nous avons la relation:

$$\forall i \in \{1,...,n\}, k \in \{1,...,q\},\:\: \sum_{j \in \{1,..,n\}, j \neq i} p_{i,k,j} = 1$$