Pierre n’a pas pu rentrer son bagage dans le coffre car il était trop grand

Si vous ne savez pas comment « comprendre » cette phrase, vous êtes probablement un bot.

 

Comment savoir si votre interlocuteur est un bot ?

Les intelligences artificielles sont de plus en plus performantes, et il est parfois délicat de savoir si on s’adresse à une personne physique ou une IA. Il est compliqué de placer au cours de la discussion une question du type « êtes-vous réelle » ou « seriez-vous un bot ? »

Il existe pourtant une méthode pour détecter cela, nommé les schémas winograd.
Pour comprendre ce dont il s’agit, il va falloir remonter en 1950, avec Alan Turing, et son « test ».

 

Le test de Turing en bref

Sans revenir sur la vie d’Alan Turing, il fut un des pionniers dans le développement de l’intelligence artificielle et mit en place un test qui permettait d’évaluer la capacité d’une IA à se faire passer pour « humain ». Ce test qui porte son nom consiste en le protocole suivant : un juge humain analyse la discussion entre un autre humain et une machine (sans les voir). Si au bout de 5 minutes il n’a pu déceler lequel était la machine, cette IA passe le test.

Bien que soumis aux critiques, le test de Turing devient la référence. Il est passé pour la première fois en 1966 par une IA nommé ELIZA, qui analyse les mots clés des phrases de son interlocuteur pour construire des réponses cohérentes. Ce sont les principes des chatbots actuels encore utilisés sur internet de nos jours.
Mais les IA se développent toujours d’avantage (sans parler du deep learning), et pour beaucoup le test de Turing n’est plus suffisant. En 1991, lors de la première édition du Prix Loebner, qui récompense les avancées dans le domaine de l’intelligence artificielle, de nombreux débats concluent sur les limites du test de Turing, trompé par des IA capables notamment d’inclure des fautes de frappes ou des bugs, bref simulant la faillibilité de l’humain.

Pour conclure cette partie, rappelons que le test de Turing avait une visée autant technique que philosophique, qui posait la question de savoir si une machine était capable de penser (questions qui travaillaient déjà Diderot ou Descartes des années plus tôt – sans même pouvoir matérialiser les progrès de ce qu’ils nommaient à leurs époques des « automates »)

 

Les schémas Winograd

Revenons désormais aux schémas Winograd. Le point de départ est une compétition annuelle visant à tester la capacité d’une intelligence artificielle à se faire passer pour un humain. Ce concours offre en récompense 25000$ au programme capable de passer son test.

Il consiste en une simple question à laquelle la machine ne peut répondre, de part l’ambiguïté de la phrase.

Par exemple ;  Pierre n’a pas pu rentrer son bagage dans le coffre car il était trop grand. Qu’est ce qui est trop grand ?

Là ou un esprit humain saura analyser la phrase de manière évidente, une machine ne pourra déduire ce qui est trop grand, le bagage ou le coffre.
La phrase ne précise pas qui va dans quoi, notre logique nous le dicte, mais la machine n’a jamais fait rentrer de bagage dans un coffre (ni l’inverse) et ne pourra raisonner et déduire la réponse, de par la grammaire incertaine de la phrase.

Cette phrase est un exemple de ce que l’on nomme les schéma Winograd, des phrases ambiguës, que le raisonnement logique ne suffit pas à démêler. Et des IA capables de résoudre des calculs mathématiques complexes, apprendre à parler, écrire, peindre ou composer de la musique, restent encore hermétiques à ce type de formule

Il existe d’ailleurs une  adresse ou vous pouvez soumettre votre propre phrase et tenter de remporter les 25000$ de récompense (http://commonsensereasoning.org/winograd.html)

 

Pour aller plus loin, quelques articles enrichissants :

Une étude comportementale sur les schéma Winograd sur l’Université paris Diderot

http://www.llf.cnrs.fr/sites/llf.cnrs.fr/files/biblio/actes_TALN_2017-vol2-1.pdf

 

Un exemple de machine intelligente (datant de 2011) avec un ordinateur IBM « presque » intelligent

https://www.01net.com/actualites/watson-la-machine-d-ibm-lemporte-sur-les-humains-maj-528437.html

 

Conseils et analyse pour concevoir ses propres schémas Winograd (en anglais) : https://medium.com/ai%C2%B3-theory-practice-business/want-to-know-the-trick-to-achieve-robust-winograd-schema-challenge-results-4569a3bbd

 

Article sur l’IA d’Alphago Zero, l’intelligence artificiel qui a surpassé l’humain dans le jeu qui lui est le plus délicat, le jeu de go (via l’IA Deepmind de google)

https://www.lci.fr/high-tech/le-super-ordinateur-alphago-tombeur-du-champion-du-monde-du-jeu-de-go-a-son-tour-terrasse-2067790.html