Un des axes scientifiques majeurs du LSC concerne l'étude et l'utilisation
des systèmes de réalité virtuelle (RV) et de réalité
augmentée (RA). Le télétravail et, plus récemment,
le télétravail collaboratifs constituent deux pôles d'applications
mise en oeuvre au LSC (voir le projet
ARITI). Dans ce cadre, l'objectif est d'aider l'homme à
piloter la réalisation de tâches accomplies à distance par
un robot plus efficacement ou d'une manière plus fiable.
Une problématique essentielle dans la mise en oeuvre de tels système
est l'acceptation par l'homme de la manière dont il
interagit avec les outils virtuels mis à sa disposition. L'accent est
mis sur le réalisme de cette interaction (immersion
visuelle, retour d'information haptique, pilotage intuitif du robot distant).
Deux thématiques de recherche sont développées au LSC dans
ce sens:
L'une concerne l'étude de nouvelles interfaces homme machine multisensorielles
intuitives actives et environnantes en RV et en RA
L'autre traite de nouveaux systèmes de télétravail
collaboratif
La plateforme EVR@ est un atout technologique majeur pour atteindre un plus grand
réalisme de l'interaction homme/machine.
Dispositif
La partie gauche de la figure figure 1 présente les éléments constituant
la plateforme EVR@. Le dispositif sélectionné est de type Workbench,
disposant d'un seul plan. Celui-ci permet une forte immersion des utilisateurs
grâce à une visualisation stéréo qui autorise la
perception de la troisième dimension dans les images affichées.
Il permet également, grâce à la technique de rétro-projection,
de laisser l’utilisateur libre de ses mouvements sans entraîner
d’occlusions dans l’image dues à la position arrière
du ou des projecteurs.
Le pilotage du robot distant peut être effectué par un flystick
manipulé dans les trois dimensions par l'opérateur humain (FIG.
1). Les deux caméras infrarouge disposées des deux cotés
du plan de projection permettent de répérer en temps réel
dans les trois dimensions la position du flystick grâce à un ensemble
de marqueurs situés sur ce dernier. Les mouvements de l'opérateur
peuvent donc être retranscrits fidèlement dans le monde virtuel
puis être traduit par des commandes au niveau du robot distant (partie
droite de la figure 1). Cette vidéo
illustre ce processus dans le cadre applicatif du projet ARITI.
FIG 1- Utilisation de la plateforme
EVR@ du côté client pour piloter un robot distant
Objectif: étude et développement de nouveaux
formalismes et des outils logiciels pour la gestion de la collaboration
Domaines d'applications:
Téléopération collaborative : en développant
de nouveaux Systèmes Multi-Agents (SMA) de collaboration adaptés
aux applications de téléopération collaborative
multi-utilisateurs (un exemple d’application est l’extension
du système ARITI avec de nouvelles fonctionnalités de
collaboration).
Présence /Télé-Présence Collaborative
: en prenant en compte les nouveaux paradigmes de perception, d’interaction
et de communication pouvant être développés dans
les environnements de réalité mixte (RV/RA).
Architecture logicielle pour le prototypage rapide des applications
de Réalité Mixte (FIG. 2)
Objectif: développer une architecture logicielle ouverte
permettant le prototypage rapide des applications de Réalité
Mixte (RM).
Cette architecture doit permettre:
une exploitation efficace (comme le fait un système d’exploitation
des ordinateurs) des différents modules (matériel et
logiciel) utilisés dans les environnements de RM.
une programmation rapide des applications ainsi que la mise à
jour et le développement de nouvelles briques logicielles doit
être possible et plus facile.
(A)
(B)
FIG 2- Architecture logicielle
utilisée pour la plateforme EVR@ - (A) Actuelle- (B) En développement
S. Otmane, M. Mallem, A. Kheddar et F. Chavand ARITI : an Augmented Reality Interface for Teleoperation on the
Internet. Advanced Simulation Technologies Conference 2000 High Performance
Computing HPC 2000, pp. 254--261, Washington, D.C., USA, 16-20 Avril
2000
S. Otmane, M. Mallem, A. Kheddar etF. Chavand Active virtual guide as an apparatus for augmented reality based
telemanipulation system on the Internet.
IEEE Computer Society 33rd Annual Simulation Symposium ANSS 2000, pp.
185--191, Washington, D.C., USA, 16-20 Avril 2000.
ARITI (version Realité Mixte mettant en oeuvre la plateforme
EVR@)
V. Leligeour, S. Otmane etM. Mallem Augmented Reality for Free Teleoperation
16th IFAC World Congress, 4-8 Juillet 2005, Prague, Czech Republic
(accepté).
Travail collaboratif
S. Otmane et M. Mallem Cooperative Remote Control Using Augmented Reality System based
on the World Wide Web.
1st IFAC Conference on Telematics Applications in Automation and Robotics,
pp. 529--534, Weingarten, Germany, 24-26 Juillet 2001.
S. Otmane et M. Mallem Augmented Reality System enabling cooperative Telework.
Inernational Symposium on Mixed Reality, pp. 135--136, Pacifico Yokohama,
Japan, 14-15 Mars 2001.
S. Otmane, N. Khezami et M. Mallem Distributed Predictive Display for Collaborative Teleoperation
on the Internet.
4th Virtual Reality International Conference (VRIC2002), pp. 111--116,
Laval, France, 19-21 Juin 2002.
N. Khezami, S. Otmane, M. Mallem et N. Ouramdane A Formal Model To Collaborative Teleoperation.
International Conference on Computing, Communications and Control
Technologies (CCCT), Texas, USA, 14-17 Août 2004
N. Khezami, S. Otmane etM. Mallem Modelling and evaluation of a multi-agent system for a collaboration.
16th IFAC World Congress, 4-8 Juillet 2005, Prague, Czech Republic
(accepté).
Motivation: améliorer les performances de l’opérateur
et des tâches pendant la télé-manipulation d’objets
Environnement scientifique: systèmes de Réalité
Augmentée (RA) ou de Réalité Mixte (RM)
Outils scientifiques: guides virtuels actifs superposés
au retour vidéo du site distant
Interfaces mises à disposition de l'utilisateur:
: Interface WEB (FIG 3(A)): applet java permettant à n’importe
quel utilisateur distant (depuis un navigateur Internet possédant
un browser compatible java) de contrôler le robot. Développée
à partir de 1998 et référencée depuis
2000 sur le site
de la NASA.
Interface de Réalité Mixte: permet l'évolution
du projet ARITI en donnant accès à l'utilisateur à
un contrôle du système distant via la RM. Cette interface
est rendue possible par la platforme EVR@ depuis 2004. Celle-ci fournit
une visualisation stéréoscopique du site distant et
un contrôle libre du robot grâce a un flystick. L'opérateur
a la possibilité de guider le robot grâce au flystick
et a accès à la perception 3D de la scène distante.
(A)
(B)
Fig. 3: (A) Version WEB de l'interface
de ARITI, (B) Interface de Réalité Mixte développée
autour de la plateforme EVR@
Projets en développement
Assistance au Télétravail Collaboratif en Réalité
Augmentée et en Réalité Virtuelle
L'objectif scientifique est de développer de nouvelles architectures
informatiques adaptées aux nouvelles interfaces homme-machine multisensorielles
(nouvelles modalités de perception d’interaction et de communication)
pour l’assistance au télétravail et au travail collaboratif.
18 Janvier 2005: Démonstrations de téléopération
du robot se trouvant au LSC réalisées en collaboration entre
deux plateformes PREVISE (Plateforme de Réalité Virtuelle pour
la Simulation et l’Expérimentation) de l’Université
d’Angers et EVR@ (la plateforme du LSC), à l'occasion de l'nauguration
de la plateforme PREVISE. [Article
de presse], [vidéo (18 Mo)]
6 Mai 2004: Rencontre R&D de la réalité virtuelle et de
la réalité augmentée au LSC. Inauguration de la plateforme EVR@ en présence
de M. Daniel André (président de l'Université d'Evry
Val d'Essonne) et de M. Antoine Petit (directeur du pôle STIC du CNRS).
[plaquette] [diapos
de présentation du LSC]
