- Objectifs

L’objectif de ce projet est double : d’une part, il vise une aide à l’apprentissage de la langue des signes française, présentée par une marionnette animée qui décompose les mouvements qui encodent cette langue ; d’autre part, du point de vue de la recherche cognitive, cette décomposition fait apparaître visuellement des traits et des propriétés constitutifs de la signification des entités désignées par les mots de la langue.

- Contexte

Nous communiquons entre nous par la langue, généralement oralisée, et entendue par notre interlocuteur.

Dans le cas où le canal auditif est défaillant, c’est l’encodage visuel qui est utilisé, structurant une nouvelle langue, la langue des signes (L.S.).Dans le cadre des projets « Cognitique » du MENRT, un projet d’ingénierie mené, à la suite d’un stage de DEA, avec des chercheurs de l’ENST-Bretagne, des collaborations de spécialistes de la région brestoise, et le laboratoire LaLIC de Paris4 Sorbonne, a abouti à la création d’un petit langage permettant d’analyser formellement et de reconstruire visuellement les mouvements d’un signeur.

Description du projet

Le projet consiste à enregistrer par une caméra les mouvements d’un signeur, à décomposer la suite d’images représentant les lexies signées, en vue de constituer un dictionnaire de la L.S. Les images des situations les plus saillantes pour la compréhension des phases du mouvement sont retenues et ré-encodées plus schématiquement grâce à un petit langage. Ces images permettent ensuite l’animation de la marionnette en 3D (« Chatty ») rendant plus aisée la perception des transitions importantes du mouvement pour faciliter l’apprentissage de la LS.

Du point de vue de la recherche, en liaison avec les travaux menés sur la sémantique des verbes, ce projet permet de repérer les situations saillantes encodées par des modifications spatio-temporelles, s’inscrivant ainsi dans la formalisation de la sémantique du lexique verbal.

- Perspectives futures

La présentation par Chatty de la LS permet de focaliser l’attention sur les schémas de mouvements, rendant ainsi plus aisé l’apprentissage de la LS. Pour le moment, Chatty ne bouge que les bras et les mains, et n’a pas vraiment d’expression du visage. Des études plus fines des jugements et des modalités qui se traduisent en Langue des Signes par des expressions faciales, augmenteraient l’intérêt de ce projet pour l’apprentissage de la LS.

Le projet a réuni

des chercheurs des départements « Optique » et « Image et Traitement de l’Information » de l’ENST-Bretagne, pour les parties des composants optiques, du traitement d’image et du traitement des informations cognitives et linguistiques.

Des collaborations académiques : J.P.Desclés, laboratoire LaLIC Paris4

des utilisateurs, du Foyer d’adultes de Ploudaniel pour ce qui concerne les validations et les expérimentations,
financement CRITT santé, Conseil Régional