Seeing AI, l’application qui raconte le monde aux personnes aveugles et malvoyantes

Lancée par Microsoft en 2017, l’application Seeing AI met l’intelligence artificielle au service des personnes souffrant d’un handicap visuel. Le but est de « transformer le monde visuel en une expérience audible ». L’innovation permet en effet de décrire vocalement l’environnement actuel de l’utilisateur, œuvrant ainsi vers plus d’inclusion pour les personnes aveugles ou malvoyantes.

Convertir des données visuelles en feedback audio

Pour bénéficier des fonctionnalités de cet « œil numérique », les utilisateurs sont invités à utiliser la caméra de leur smartphone en direction d’une scène, d’une personne, d’un texte, d’un document ou d’un code-barre. Seeing AI prend ensuite le relais et se charge de décrire à voix haute la situation capturée par l’usager de manière très détaillée : la signification d’un texte, la description d’un lieu, la lumière ambiante, les couleurs perçues, les émotions éprouvées, etc.

L’application offre également la possibilité de narrer les images provenant d’autres canaux, comme celles reçues par mail, Twitter ou Facebook.

Une application qui se perfectionne sans cesse

L’expérience Seeing AI s’est par ailleurs vue récemment enrichie d’une nouvelle fonctionnalité : les utilisateurs peuvent désormais utiliser le toucher pour explorer une scène. Ils n’ont qu’à taper du doigt sur une image ou une partie de celle-ci, et l’application décrit ensuite l’objet ou la personne en question, pouvant même aller jusqu’à décortiquer précisément l’apparence physique des gens : leur âge, leur corpulence, leur coiffure ou encore la forme de leur visage, sans oublier leur humeur.

L’application a également intégré la reconnaissance faciale, permettant de ce fait aux usagers d’avoir une description encore plus pointue des moments capturés.

« L’œil numérique » de Microsoft désormais disponible en français

Seeing AI est disponible gratuitement sur iOS dans plus de 35 pays. Elle a déjà été téléchargée par plus de 100 000 utilisateurs et continue son expansion : à l’occasion du salon Viva Technology qui se tenait à Paris en mai dernier, Microsoft a présenté une version de l’application en langue française, accessible au public depuis la fin de l’été 2019.

Ambitieux, le projet ne se limitera pas à simplement traduire et reconnaître un texte en français. « Nous travaillons aussi sur les spécificités de l’environnement en France, les panneaux de signalisation par exemple ne sont pas identiques, Seeing AI est sans cesse en apprentissage pour différencier ses spécificités. Si quelque chose n’est pas reconnu, il est possible de le signaler en ajoutant une description pour alimenter l’algorithme. On peut imaginer que Seeing AI puisse par exemple reconnaître la tour Eiffel dans quelque temps », spécifie Saqib Shaikh, ingénieur logiciel chez Microsoft, dans une interview.

Ayant perdu la vue à l’âge de sept ans, Saqib Shaikh porte le projet depuis des années et œuvre au quotidien dans le but de créer des machines intelligentes qui permettront à des millions de personnes handicapées dans le monde de rencontrer moins d’obstacles, d’en accomplir davantage et de vivre une vie meilleure.

Pour en apprendre davantage sur l’application et toutes ses fonctionnalités, rendez-vous ici !

Ailleurs sur Lettres Numériques :

Retrouvez Lettres Numériques sur TwitterFacebook et LinkedIn.

— Victoire Dunker

Share Button