VISUMIM

Pointage – désignation d’une information à l’écran

M.Abraham /ITI

Objectifs

Il s’agit d’améliorer les performances de communication palliative des enfants IMC (infirmes moteurs cérébraux), sans parole et paralysés, en accélérant la sélection d’informations en vue de la reconstruction de phrases vocalisées. Dans ce cas, la gestuelle nécessaire à la communication avec des ordinateurs doit être repensée. On veut remplacer les séquences « désignation, pointage, sélection », habituellement réalisés en un mouvement de la main accompagné d’un unique clic de souris, par un balayage automatique associé à la reconnaissance d’un signal d’acquiescement.

Le dispositif présenté revient à construire un système qui réalise l’équivalent d’un clic de souris pour le système de l’ordinateur.

Contexte

Dans certains handicaps physiques, l’utilisateur ne peut se servir normalement des trois fonctions réalisées par la souris. On peut être conduit à confier à différents dispositifs chacune des trois fonctions. En particulier, lorsqu’il doit sélectionner rapidement plusieurs informations à l’écran en vue d’un traitement important, l’utilisateur IMC paralysé est très désavantagé. Le processus complet de communication « oralisée», qui va de la sélection d’une suite de pictogrammes jusqu’à la reconstruction de la phrase et sa prononciation, est fortement ralenti par l’accès physique aux pictogrammes et le balayage automatique ne peut devancer la réaction de l’utilisateur.

Description du projet

Le projet est un système de reconnaissance d’un repérage fiable en vue d’une accélération de la sélection d’informations à l’écran d’un pictogramme dans le cas où l’utilisateur paralysé ne peut se servir de la souris. Pour cela, une micro-camera (« webcam ») placée en face de l’utilisateur repère chez cet utilisateur une variation de mouvement caractéristique, reconnu comme fiable par les ergonomes (dans notre cas, on repère une pastille colorée placée, par exeemple, sur la tête). Cette variation est validée dans des contraintes temporelles étalonnées au départ. Le traitement d’image permet de capter les images successives d’un mouvement et de les comparer par un traitement informatique, qui pourra interpréter la séquence comme un « clic » de souris. Ce clic a pour l’application valeur d’un signal de sélection d’un pictogramme présenté par le balayage automatique. Ainsi la sélection successive de plusieurs pictogrammes peut être rendue plus rapide, facilitant la construction de phrases, qui, dans les conditions actuelles prend encore plusieurs minutes.

Perspectives futures

Le projet a été testé par des utilisateurs standards.. Au départ spécifique au système de communication pour les handicapés, le système réalisé, intégré dans la distribution de la machine, peut être réutilisé dans d’autres circonstances où l’usage de la souris ou du clavier se révèleraient fastidieux (environnement sale, main occupées par diverses tâches, etc…)

Le projet est une collaboration entre des chercheurs des départements « Optique » et « Image et Traitement de l’Information » de l’ENST-Bretagne, pour les parties des composants optiques, le traitement d’image et le traitement des informations cognitives et linguistiques. des utilisateurs, du Foyer d’adultes de Ploudaniel pour ce qui concerne les validations et les expérimentations, · la société R/D/I/+ pour la partie industrielle, qui l’a pésenté au salon handicap de Rennes (septembre 2001) financement CRITT santé, Conseil Régional