Le problème du pendule inversé

La figure A.3 montre le système étudié. Il est composé d'un chariot possédant un degré de liberté (axe des X) et d'un pendule, en liaison rotule avec le chariot, dont on suppose qu'il possède également un degré de liberté, symbolisé par l'angle $\theta$ entre la tige et l'axe vertical du chariot.

Figure: Le problème du pendule inversé

Les équations de la dynamique du système sont reprises de [Anderson, 1989]. Les voici:

$$\ddot{\theta} = \frac{mg\sin\theta \:- \:\cos\theta \: ( F + m_{p}l{\dot{\theta}}^{2}\sin\theta )}{\frac{4}{3}ml - m_{p}l{\cos}^{2}\theta}$$

$$\ddot{x} = \frac{1}{m} \: ( F + m_{p}l( {\dot{\theta}}^{2} \sin \theta \: \: - \ddot{\theta} \cos \theta) )$$

La simulation utilise la méthode d'Euler pour intégrer ces équations, avec un pas d'échantillonnage $\tau$.
Nous reprenons le problème, tel qu'il a été décrit dans [Barto et al., 1983], avec les mêmes paramètres physiques (voir la table A.1). L'objectif est de maintenir à la fois le chariot entre les limites $X_{min}$ et $X_{max}$ et la position angulaire de la tige dans le cône de viabilité délimité par $-\theta_{max}$ et $\theta_{max}$, en une des deux actions suivante à chaque pas de temps: pousser sur le chariot vers la gauche, avec une force F ou pousser sur la droite, avec une force F.

Tableau: Valeur des paramètres physiques du problème du pendule inversé

Masse du chariot m	1 kg
Masse de la tige $m_{p}$	0.1 kg
Demi-longueur de la tige l/2	0.5 m
Constante de pesanteur g	9.8 N.$kg^{-1}$
Pas d'échantillonnage $\tau$	0.02 s
Valeur absolue F de la force appliquée au chariot	10 N
$X_{max}$	2.4 m
$\theta_{max}$	12 deg

Dans [Barto et al., 1983], les données d'entrée sont les quatre variables d'état $\theta$, $x$, $\dot{\theta}$, $\dot{x}$. L'espace d'états est découpé en boîtes suivant la table A.2, ce qui donne 162 boîtes.

Tableau: Découpage de l'espace d'états

$\theta$ (deg)	<-6, [-6;-1[, [-1;0[, [0;1[, [1;6[, $\geq 6$
$\dot{\theta}$ (deg.$s^{-1}$	<-50 , [-50;50[, $\geq 50$
x (m)	<-0.8, [-0.8;0.8[, $\geq 0.8$
$\dot{x}$ (m.$s^{-1}$)	<-0.5, [-0.5;0.5[, $\geq 0.5$