Reformer, la nouvelle IA de Google

Google est un fervent défenseur de l’intelligence artificielle (IA) depuis ses débuts. En ce début d’année, il nous présente son nouveau produit, Reformer, une IA capable de comprendre le contenu des livres.

Vers une IA toujours plus futée

La multinationale américaine Google s’est toujours intéressée aux avancées du machine learning, c’est-à-dire des façons de faire apprendre des choses à des machines à partir de données, afin qu’elles puissent effectuer des tâches sans qu’elles aient été initialement programmées pour le faire. D’innovation en innovation, le but du développement de l’IA est d’aller de l’avant pour rendre les machines toujours plus efficaces dans les tâches qui leur sont confiées. À terme, il s’agirait de parvenir à recréer, sur une machine, un système reproduisant plus ou moins celui de l’intelligence humaine.

À cette fin, les ingénieurs travaillant chez Google se sont penchés, entre autres expériences, sur la capacité des machines à comprendre le langage écrit. C’est ainsi qu’en 2017, Google a lancé Transformer, une IA capable de comprendre un paragraphe de texte en analysant les relations entre les différents mots qui le composent.

Cependant, pour comprendre ce simple paragraphe, Transformer a besoin d’accumuler des données dans son système. Il en est à peu près de même pour un humain, qui, pour comprendre un texte, doit d’abord avoir compris l’alphabet, la lecture, la signification des mots, etc. Le problème est que, pour Transformer, l’espace de stockage nécessaire est très important pour finalement peu de résultats : l’algorithme est incapable d’analyser un livre entier. Il fallait donc trouver un moyen de faire traiter plus de texte à la machine, tout en nécessitant moins d’espace de stockage.

Reformer, à la pointe de l’innovation

Cette réflexion a abouti au lancement, par Nikita Kitaev et ses collègues, de Reformer, un Transformer 2.0. Pour reprendre la comparaison avec les humains, imaginez Transformer, un enfant qui apprend tout juste à lire et qui a besoin de plusieurs minutes et beaucoup de réflexion pour lire une phrase ; et Reformer, un enfant qui finit son apprentissage et n’a besoin plus que de quelques secondes et de peu de réflexion pour lire cette même phrase.

La grande nouveauté avec Reformer, c’est donc qu’il est capable d’analyser en une fois jusqu’à 1 million de mots, ce qui correspond à plusieurs livres entiers. Le test a été fait et réussi avec le fameux roman de Dostoïevski, Crime et Châtiment, qui contient plus de 200 000 mots.

Sans trop entrer dans les détails techniques, il faut retenir que Reformer est conçu pour être plus attentif et plus rapide que Transformer par rapport aux mots qu’il lit, tout en utilisant moins d’espace de stockage. En effet, pour analyser 1 million de mots, Reformer n’aura besoin que de 16 Go de mémoire, soit l’équivalent d’une grande clé USB. Cette avancée est permise notamment grâce au nouveau système utilisé par l’IA pour mettre en relation des mots entre eux et ainsi comprendre un texte. Ce système est appelé le locality-sensitive-hashing. En pratique, le développement de Reformer permet également de le rendre moins cher d’utilisation et donc plus accessible.

Il faut cependant garder à l’esprit que, si Reformer est aujourd’hui à la pointe de l’innovation en la matière, il sera sans doute de nouveau perfectionné dans les années à venir. Finalement, des IA telles que Reformer vont permettre de rendre les machines plus efficaces en ce qui concerne les traductions et résumés de textes notamment.

Ailleurs sur Lettres Numériques :

• L’intelligence artificielle, une concurrence pour les métiers créatifs ?
• L’intelligence artificielle au service de la traduction automatique de contenus
• Un outil de machine learning passe des ouvrages au Tamis

Retrouvez Lettres Numériques sur Twitter, Facebook et LinkedIn.

— Nausicaa Plas