Rapport d'activité LSC: 2.1. REALITE VIRTUELLE ET COOPERATIONS HOMME-MACHINE

[Retour au sommaire] [suivant] [précédent]

2.1. REALITE VIRTUELLE ET COOPERATIONS HOMME-MACHINE

2.1.1. Téléopération et Réalité Virtuelle

Un système Multimédia de Contrôle et d'Interface en Téléopération (MCIT) est développé dans notre laboratoire. Il est basé sur l'approche réalité augmentée et a pour but d'apporter à l'opérateur humain, en situation de téléopération ou de supervision de tâche, une assistance à la perception en vision indirecte sur écran vidéo de la scène et une assistance à la commande en désignant un objet directement sur l'écran vidéo.

Ces assistances s'appuient sur deux architectures spécifiques, l'une matérielle et l'autre logicielle. L'architecture matérielle géographiquement répartie est constituée d'un ensemble de capteurs (télémètre et caméra) et de trois calculateurs en réseau. Cette architecture permet l'acquisition du monde réel par le biais de capteurs et la superposition à celui-ci du monde virtuel. La partie logicielle permet de créer, de mettre à jour ce monde virtuel et de le mettre en correspondance avec le monde réel.

MCIT offre à l'opérateur humain une interface graphique conviviale et lui permet d'effectuer une téléprogrammation de niveau tâche. Le monde réel sert d'interface entre l'opérateur humain et le monde virtuel représenté par une BD 3D. La désignation d'un objet, à manipuler par le robot, sur écran vidéo revient alors à le désigner dans le monde virtuel. L'exécution de la tâche peut être simulée en utilisant le monde virtuel avant d'être appliquée au monde réel. Après l'exécution de la tâche, le monde virtuel est superposé au monde réel. C'est l'approche de la réalité augmentée (RA) désignée ainsi car le monde réel est l'interface entre l'opérateur et le monde virtuel.

L'approche de la réalité augmentée permet d'avoir une vue, en permanence, du monde réel. Contrairement à l'approche réalité virtuelle intégrale, la RA ne nécessite pas un graphique réaliste, une représentation fil de fer suffit. Car, les deux mondes étant superposés, il faut masquer le moins possible l'image vidéo. Par ailleurs, cette représentation fil de fer permet à l'opérateur de percevoir l'image vidéo même quand celle-ci est partiellement dégradée et donc, de continuer la tâche. De plus, cette approche permet de réaliser une commande de niveau objet car elle associe à un objet réel sa BD 3D [CHA98aC], [CHA98bC].

2.1.1.1- Architecture générale du système MCIT

Dans la station de contrôle commande, l'opérateur humain utilise un seul écran vidéo. Sur celui-ci est superposée une représentation graphique de la scène sur son image caméra. A partir de cet écran, l'opérateur humain peut percevoir la scène distante et agir à distance sur celle-ci. En effet, il commande les capteurs pour réaliser le relevé 3D -nécessaire à la création de la base de données 3D- ou la reconstruction 3D, et le robot pour l'exécution de tâche.

Le site distant est équipé de capteurs extéroceptifs, dispositif de relevé 3D (DR3D) et caméra, et proprioceptifs qui renseignent en ligne sur la configuration du robot. Cette architecture permet l'acquisition du monde réel par le biais de capteurs et la superposition à celui-ci du monde virtuel. La partie logicielle permet de créer, de mettre à jour ce monde virtuel et de le mettre en correspondance avec le monde réel (Figure II.1).

Les principaux modules logiciels sont présentés brièvement.

Module de calibration de capteurs [TRI96C]
Pour que la superposition d'images puisse être effectuée correctement, il faut connaître la transformation mathématique qui fait passer des coordonnées tridimensionnelles de l'objet aux coordonnées bidimensionnelles de son image et vice-versa. Cette transformation est obtenue par la calibration de la caméra.
Pour l'acquisition des données géométriques 3D de l'environnement, il faut également calibrer le dispositif de relevé 3D (DR3D).
Module de modélisation 3D et de reconstruction 3D [NZI95R], [NZI97R]
Ce module consiste à construire et mettre à jour la base de données 3D de l'environnement par coopération avec l'opérateur humain.
Module de reconnaissance d'objets [CHA97C]
Ce module consiste, à partir des modèles 3D fournis par le module de modélisation et du modèle 2D, résultat du traitement de l'image caméra, d'effectuer la mise en correspondance entre ces deux modèles afin de reconnaître les objets modélisés et vus par la caméra.
Le contenu de ces trois modules est décrit dans §2.2.1.1. pour la calibration des capteurs et dans §2.2.2. pour les modélisation et reconstruction 3D et la reconnaissance d'objet.
Module d'animation
Ce module consiste à collecter les informations proprioceptives du robot et à l'animation, en ligne, de sa représentation synthétique, afin de permettre à l'opérateur de percevoir la scène même si l'image caméra est dégradée.
Module de planification de tâche
Ce module permet la génération automatique d'une trajectoire 21/2 D d'un bras manipulateur opérant sur un plan de travail sur lequel sont entreposés des objets de faible hauteur. Il permet également de calculer les configurations de saisie par l'effecteur de l'objet désigné par l'opérateur humain sur écran vidéo.
MCIT permet d'effectuer des télé-mesures et une reconstruction 3D en ligne de l'environnement. De plus, MCIT réalise une commande de niveau objet, car il associe à un objet réel sa BD 3D.

2.1.1.2 - Architecture informatique du système MCIT

La station de contrôle commande est constituée de deux calculateurs reliés en réseau ethernet, dont les modules qu'ils supportent sont mentionnés dans la figure II.2.

Cette architecture répartie est indispensable pour supporter l'ensemble des modules logiciels décrits précédemment. En effet, certains doivent s'exécuter en parallèle tels que les modules de perception de l'environnement et ceux de commande du robot.

Les différents logiciels organisés en client/serveur communiquent entre-eux via internet, en utilisant les sockets selon le protocole TCP.

2.1.1.3- Développements en cours et collaborations

Les développements en cours concernent les techniques de réalité virtuelle appliquées à la téléopération et au prototypage virtuel. Les problèmes plus particulièrement traités sont le recouvrement des erreurs, les algorithmes et lois de commande pour le rendu haptique, le contrôle commande via un canal présentant des retards aléatoires.

Ces thèmes font l'objet d'études menées soient au CEMIF- SC (algorithmes et lois de commande pour le retour haptique, contrôle-commande via internet ), soient dans le cadre du LCTRV ( langage graphique pour la téléopération robuste aux incidents d'exécutions et aux erreurs de modélisation).

Deux thèses sont co-encadrées par A.Kheddar dans le cadre du LCTRV :

A.Lecuyer Prototypage virtuel et retour haptique. Bourse Cifre Aérospatial. Co-encadrement A.Kheddar-P.Coiffet.
M. Seghouani. Amélioration de la transparence pour la téléopération basée sur le concept du robot caché. Co-encadrement A.Kheddar-E.Pissaloux.

Le laboratoire participe par ailleurs à la mise en place du projet I3D de l'INRIA Rocquencourt ( S.Coquillard,
CR HDR INRIA, A.Kheddar) sur l'Interaction 3D.

La figure II.3 montre le contrôle-commande via Internet qui est possible par accès au site Web du Cemif
Systèmes Complexes par tout calculateur doté d'un navigateur. Cet accès permet une visualisation en quasi
temps réel de l'image d'un robot du CEMIF et la télécommande du robot.