GPT-2, une IA génératrice de textes mise en quarantaine

L’association OpenAI, cofondée par Elon Musk et supportée par Microsoft ou encore Amazon, vient de mettre au point une IA génératrice de textes. Generative Pre-trained Transformer-2, de son surnom GPT-2, n’a pas été rendue publique, contrairement aux habitudes d’OpenAI. En effet, cette organisation dont le but est de superviser, de centraliser et de rendre publiques les innovations en la matière a également pour principe d’insuffler une éthique à la technologie controversée de l’intelligence artificielle. C’est cette même éthique qui les a poussés à ne pas divulguer l’invention. En effet, GPT-2 fonctionne tellement bien que le code source a été gardé secret.

Elon Musk a déjà fait part de son inquiétude vis-à-vis de l’IA, la décision prise par OpenAI la reflète. Nous allons décortiquer cette information pour comprendre les fonctionnalités de GPT-2 ainsi que les risques qui y sont liés.

GPT-2

Le texte est une donnée abondante pour développer une IA. Le plus souvent, une participation humaine est requise dans l’annotation des textes afin d’ajouter des informations linguistiques ou paralinguistiques pour entraîner le modèle. En effet, bien que prolifiques, les textes sont très compliqués à « comprendre » pour une IA à cause du caractère infini des langues (évolution, créativité linguistique, etc.). De plus, une IA n’a aucune connaissance ou conscience du monde qui l’entoure, composante essentielle pour un usage cohérent du langage. Ce type de technologie est donc un challenge qui est loin d’être résolu. Cependant, des innovations fleurissent et parmi elles se trouve GPT-2.

Selon l’équipe d’OpenAI : « Nous sommes à l’origine d’un modèle de langage à grande échelle, non supervisé, qui génère des paraphrases de textes cohérents, réalise des performances de pointe sur de nombreux tests de modélisation de langage et peut comprendre de manière rudimentaire un texte lu, réaliser une traduction automatique, apporter des réponses à des questions ainsi qu’une synthèse, le tout sans formation spécifique à l’une de ses tâches. » Cette IA, à la pointe de la technologie, est entraînée par plus de 8 millions de pages web. Ainsi, GPT-2 est capable d’adapter un style d’écriture au type de texte qu’elle doit écrire. Par exemple, lors de la rédaction d’un article journalistique fictif, l’IA adopte le style adéquat, cite des paroles de représentants et donne des détails. Bien que l’article soit cohérent dans son ensemble, des erreurs apparaissent :

  • des répétitions ;
  • des problèmes de cohérence locale (« un incendie s’est déclaré sous l’eau ») ;
  • des changements de sujet non naturels.

Il a également été demandé à GPT-2 de construire un récit en partant d’une phrase mettant en scène l’univers du Seigneur des Anneaux. Le résultat est jugé cohérent, bien davantage que la tentative ratée d’un autre robot avec Harry Potter.

GPT-2 est cependant loin d’être infaillible. En effet, il lui faut plusieurs essais pour obtenir un bon échantillon. Le nombre d’essais dépend du degré de familiarité du modèle avec le contexte. Pour un sujet hautement représenté comme le Brexit ou Le Seigneur des Anneaux, les échantillons raisonnables apparaîtront 50 % du temps. Pour des sujets peu représentés, de très mauvais résultats sont générés. Il est cependant possible d’ajuster le modèle sur un type de données pour augmenter son efficacité. Malgré tout, GPT-2 affiche des résultats impressionnants dans beaucoup de tâches, surpassant même de nombreux records.

GPT-2_IA_clavier

Réticences d’OpenAI à divulguer le code source

Si GPT-2 n’est pas rendu public, c’est parce qu’OpenAI estime que des utilisateurs pourraient l’utiliser à des fins malveillantes. En effet, « en raison des préoccupations portant sur l’utilisation de modèles de langage à grande échelle pour générer un langage trompeur, biaisé ou abusif, nous ne publions qu’une version restreinte de GPT-2 ». Ils ajoutent : « Nous pensons également que les gouvernements devraient envisager d’élargir ou de lancer des initiatives visant à surveiller plus systématiquement l’impact sociétal et la diffusion des technologies liées à l’intelligence artificielle. »

GPT-2 peut être utilisé de bien des manières :

  • comme assistant d’écriture ;
  • comme agent de dialogue plus performant (dans un dialogue system, c’est-à-dire un système informatique capable de converser avec un humain) ;
  • comme traducteur non supervisé (c’est-à-dire totalement automatisé, sans aide humaine) ;
  • comme moyen d’améliorer les systèmes de reconnaissance vocale.

Ou alors, dans une optique malveillante, par exemple :

  • pour générer des articles de presse trompeurs ;
  • pour usurper l’identité des internautes ;
  • pour automatiser la publication d’intox et de fake news ;
  • pour automatiser la production de spams ou de phishing.

C’est en raison de ces risques qu’OpenAI refuse de divulguer son code. Ils sont actuellement en train de tester l’IA pour déterminer tous les risques encourus si des utilisateurs malintentionnés l’utilisaient. C’est seulement plus tard qu’ils détermineront si le code source doit être révélé. Cette IA, très prometteuse, est mise en quarantaine non pas dans la crainte d’une guerre robotique, mais bien dans l’appréhension de son utilisation par des personnes malveillantes.

Ailleurs sur Lettres Numériques :

Retrouvez Lettres Numériques sur TwitterFacebook et LinkedIn.

— Jean Cheramy

Share Button