Architecture et algorithme Q-Learning

L'algorithme Q-Learning est un exemple d'algorithme utilisant l'itération sur les valeurs qualité associées à chaque état (figure A.2). L'algorithme A.1 est celui de $Q(\lambda )$. Les paramètres internes sont $\gamma$, $\lambda$ et $\beta$. Un paramètre est également introduit dans le mécanisme de choix d'action (le facteur de température T, s'il s'agit d'une méthode ``à la Boltzmann''). $e_{t}$ est un vecteur représentant la trace d'éligibilité. Celle-ci peut s'exprimer de deux manières différentes, selon les équations suivantes:

1. éligibilité accumulatrice:

   $$e_{t}(x,a) = \left\{ \begin{array}{ll} 1 + \gamma \lambda e_{t-1... ...: et\:\: a=a_{t}\\ \gamma \lambda e_{t-1}(x,a) & sinon\\ \end{array}\right.$$

   
   

2. éligibilité remplaçante:

   $$e_{t}(x,a) = \left\{ \begin{array}{ll} 1 & si\:\: x=x_{t}\:\: et\:\: a=a_{t}\\ \gamma \lambda e_{t-1}(x,a) & sinon\\ \end{array}\right.$$

   
   

Figure: Architecture pour l'itération sur les valeurs