Sign-IO, le machine learning au service des locuteurs de la langue des signes

Roy Allela, jeune inventeur de 25 ans, a mis au point une technologie permettant aux sourds-muets de communiquer beaucoup plus facilement avec les personnes ne parlant pas la langue des signes. Cette invention est matérialisée par une paire de gants connectés permettant de convertir en temps réel les gestes de la langue des signes en sons audibles. Ce prototype constitue donc une belle avancée dans l’inclusion sociale des malentendants.

Origines et ambitions

Ce jeune inventeur kényan, diplômé en technologie et instrumentation des microprocesseurs de l’université de Nairobi et travaillant pour Intel, a été inspiré par sa jeune nièce sourde de 6 ans. Les difficultés rencontrées par sa famille et lui-même pour communiquer avec elle lui ont donné l’idée de cette invention à la portée mondiale. En effet, les malentendants et locuteurs de la langue des signes représentent quelque 360 millions de personnes dans le monde.

Selon Roy Allela : « Ces gants ont pour objectif de combattre la stigmatisation associée à la surdité et à un trouble de la parole. » Il semble pour l’instant axer ses efforts sur les enfants sourds : ils sont plus de 34 millions dans le monde. C’est pour cette raison qu’il veut donner l’opportunité de décider du style des gants : « Si les gants ont l’air cool, chaque enfant voudra savoir pourquoi vous les portez. » En effet, selon lui : « Le plus important est peut-être que les gants peuvent être définis dans le style souhaité par l’utilisateur, qu’il s’agisse d’un gant de princesse ou d’un gant Spider-Man. » Son premier objectif, avant de viser une diffusion planétaire, est de fournir une paire de gants à chaque enfant en ayant besoin dans les écoles spécialisées au Kenya.

Fonctionnement

Le fonctionnement de ce dispositif peut être résumé de la façon suivante :

• connexion à un smartphone en Bluetooth et définition de la langue, du sexe et du ton de la voix sur l’application Android ;
• des capteurs cousus à chaque doigt quantifient le pli des doigts et permettent de prédire le geste, la lettre qui est produite ;
• transmission de ces données à l’application du smartphone sur laquelle elles sont converties en sons ;
• pour plus de confort, il est possible de régler la vitesse de vocalisation. En effet, les locuteurs peuvent parler à des vitesses très différentes.

Une technique particulière de machine learning est derrière cette réussite : les SVM (Support Vector Machines). Cette technique, bien connue et largement utilisée, est au centre de ce système. Roy Allela donne d’ailleurs accès à son code sur son blog personnel, il y explique également sa démarche et le fonctionnement de son application. Ses résultats sont très encourageants : son dispositif atteint les 93 % de précision. Il travaille actuellement à l’amélioration des performances.

Ce dispositif permet donc de rendre audibles les signes d’une langue bien souvent inconnue de la plupart des locuteurs. Il faut toutefois préciser qu’il existe plusieurs langues des signes. Cependant, elles reposent toutes sur un fonctionnement similaire, donc il est à parier qu’il est relativement aisé de transposer le fonctionnement des gants à cette diversité linguistique. Ce système permet aux personnes victimes de trouble de la parole de tout de même communiquer oralement, il ne permet cependant pas le phénomène inverse. Cela ne pose pas trop de problèmes selon Roy Allela, car « comme tous les locuteurs de la langue des signes, elle [sa nièce] lit très bien sur les lèvres donc elle n’a pas besoin que je signe en retour ».

Récompenses et futur

Roy Allela a été récompensé à plusieurs reprises pour cette invention et il a notamment reçu le premier prix de l’American Society of Mechanical Engineers (ASME), l’une des plus grandes distinctions des ingénieurs en mécanique. Il compte bien investir l’argent reçu lors de ces cérémonies pour améliorer son système, encore au stade de prototype. Ses gants sont cependant déjà utilisés dans une école rurale du sud-ouest du Kenya et ces retours d’utilisateur lui permettent de construire des améliorations au fur et à mesure.

On estime que ce type de troubles de la parole pourrait concerner jusqu’à 900 millions de personnes en 2050. Les origines de ces déficiences sont en effet nombreuses : maladies génétiques, complications à la naissance, maladies infectieuses, etc. Bien que plus de 60 % des surdités infantiles sont dues à des causes qu’il serait possible de prévenir, il est nécessaire que ce type de projet voie le jour. Les gants Sign-IO sont un premier pas vers une intégration sociale et professionnelle plus aisée pour les personnes souffrant de troubles de la parole.

Retrouvez Lettres Numériques sur Twitter, Facebook et LinkedIn.

— Jean Cheramy