L’intelligence artificielle GPT-3 doit encore progresser

L’outil GPT-3, une intelligence artificielle capable de créer des textes originaux, fait l’admiration de tout un chacun depuis son lancement. OpenAI, avec cette troisième évolution du projet, parvenait à faire rédiger de la poésie, des articles de presse ou même des codes de programmation. Cependant, des dérives sont rapidement arrivées, avec une IA qui vire parfois à la grossièreté, au racisme et aux propos toxiques.

Post-doctorant et passionné par les créations littéraires que GPT-2 permettait, et plus encore celles de GPT-3, Pierre-Carl Langlais le racontait à ActuaLitté : « Plus puissant, avec énormément de mémoire, il est capable de prouesses techniques dingues. » Il a notamment produit un texte de Michel Foucault, qui aborde la question de l’intelligence artificielle, entièrement rédigé par GPT-3. Auparavant, avec GPT-2, il avait transformé Marcel Proust en auteur de science-fiction.

Alimenter l’IA avec des textes encyclopédiques ?

Les multiples utilisations qui découlent de cette IA ne sont pas toujours innocentes : OpenAI a récemment découvert que son outil sert parfois à générer de la pédopornographie.

Pour tenter de réduire les risques de dérives, les techniciens se sont penchés sur la problématique. Avec une piste : alimenter le programme avec une centaine de textes, tirés d’encyclopédie, pour aborder des sujets aussi variés que l’histoire, la technologie, mais également la violence, l’injustice et le harcèlement.

Étant donné que l’usage de GTP-3 est encore loin d’être démocratisé, tout reste à faire avant d’ouvrir les vannes. Dans le même temps, Microsoft se sert de cette solution pour créer du code informatique. Google, de son côté, y décèle un service utile à l’avenir de la recherche. Cependant, les modèles de langage que ces mêmes groupes développent sont susceptibles d’arriver aux mêmes problématiques que GPT-3.

Lutter contre les préjugés

Abubakar Abid, PDG de Gradio, cherche à lutter contre la fabrication de préjugés, si simple pour l’IA. Cette start-up teste des solutions d’apprentissage pour justement empêcher l’incitation à la haine.

En analysant GPT-3, les premiers résultats furent stupéfiants : interrogé sur des questions religieuses, le robot a formulé des approches violentes contre les juifs, les bouddhistes, les sikhs, y compris les chrétiens. Les musulmans ont été particulièrement concernés, dans 9 réponses sur 10.

Avec quelques réglages, par exemple l’introduction de textes positifs liés à l’islam, le nombre de dérives a significativement diminué : 4 sur 10 réponses. Un bon début, mais ce n’est pas encore suffisant.

Des recherches d’optimisation pas si évidentes

Les concepteurs savent quelle est la propension de leur IA à se montrer raciste et sexiste, réduire la toxicité de ses propos devient donc une véritable gageure.

Les textes qui résultent de ses calculs deviennent certes de plus en plus humains, mais aucune capacité de réflexion ni de raisonnement n’intervient. La machine n’a pas d’identité et donne des termes qu’elle ne comprend pas.

GPT-3 devient raciste avant tout parce que les préjugés existent dans les ouvrages qui lui servent de point de support. Ceci dit, même en tentant d’introduire des textes dont des termes comme gay ou lesbienne auraient été supprimés, les concepteurs aboutissent à une disparition de ces personnes dans les productions de l’IA. Elles sont invisibilisées, sans pour autant que les recherches d’optimisation n’aboutissent.

Une collaboration globale ?

La suppression des biais et autres préjugés pourrait intervenir après coup, suggérait Jesse Dodge, chercheur à l’Allen Institute for AI. Pour ce faire, une collaboration globale serait nécessaire. Encore faut-il s’entendre sur lesdites modifications à aborder. Or, l’une des pistes glissantes actuelles, c’est la volonté industrielle de faire basculer les IA d’un modèle de recherche à celui d’une productivité et donc d’une commercialisation.

Un empressement qui évidemment pourrait provoquer des dérives importantes, si l’outil n’est pas correctement configuré en amont.

Ailleurs sur Lettres Numériques :

Retrouvez Lettres Numériques sur TwitterFacebook et LinkedIn.

— Cynthia Prévot

Share Button