Introduction

Dans la suite de ce document, nous modéliserons le contexte d'AR par un graphe d'états dont chaque transition est associée à l'exécution d'une commande particulière. Dans ce cadre, nous présentons un outils de mesure de l'incertitude classique: la mesure d'entropie de Shannon. Il s'agit de mesurer la possibilité de prévoir le résultat de l'exécution d'une commande (l'état suivant), connaissant l'état présent (grâce à la mesure $H_{1}$), mais aussi de mesurer la possibilité de déduire la commande exécutée connaissant les deux derniers états du système (grâce à la mesure $H_{2}$). Cette mesure induit une définition de la qualité du contexte d'apprentissage, ainsi qu'un contexte idéal (minimisant les deux mesures). La mesure de la qualité du contexte d'apprentissage peut se faire après une exploration des états du système, établissant ainsi les différentes transitions du graphe d'états. Elle peut être effectuée avant l'apprentissage lui-même (en choisissant aléatoirement, pour chaque état, la commande à exécuter). Nous montrerons, dans la section suivante, dans quelle mesure elle peut servir d'indicateur a priori sur la fiabilité de la politique de commande obtenue après l'apprentissage.
Nous souhaitons également caractériser la fiabilité de la politique de commande après l'apprentissage. Nous pensons que certains éléments du contexte d'apprentissage perturbent aléatoirement cette fiabilité, en entraînant une production aléatoire d'événements fâcheux (non atteinte de l'objectif, ou sortie de la zone de viabilité). Dans le cadre d'un problème de viabilité, la fiabilité est en relation avec la durée de viabilité du système. Celle-ci peut donc être vue comme la réalisation d'une variable aléatoire, dont nous allons proposer une loi de probabilité. Cette loi utilise un paramètre, dont nous proposerons un estimateur.