Protocole de calcul des mesures $H_{1}$ et $H_{2}$

Pour calculer les $H(e_{i},a_{k})$ et les $H(e_{i},e_{j})$, il nous faut déterminer les fréquences de transitions $p_{i,k,j}$ pour chaque i et chaque k. Ces valeurs sont nécessaires au calcul de $H_{1}$ et de $H_{2}$.
L'algorithme 1.1 permet d'estimer les $p_{i,k,j}$, pour en déduire les valeurs de $H_{1}$ et de $H_{2}$. La variable $T_{i,k,j}$ désigne le nombre de transitions entre l'état $e_{i,k}$ et l'état $e_{j}$. On aurait pu estimer les valeurs de $H_{1}$ et de $H_{2}$ dans le cadre de l'apprentissage. Cependant, on aurait couru le risque de mal estimer certaines valeurs, puisque l'objectif de l'apprentissage va être de privilégier certains couples état/action.