Le test de Turing évalue si une machine peut imiter une conversation humaine, mais il ne dit rien sur la manière dont elle y parvient. C’est cette limite qui a poussé le chercheur Hector Levesque à proposer, en 2011, une alternative centrée non plus sur l’imitation mais sur la compréhension réelle du langage : le test de Winograd.
Des phrases à l’ambiguïté délibérée
Le principe s’appuie sur des schémas de Winograd, des phrases courtes contenant un pronom dont le référent est ambigu sans connaissance du monde. Un exemple classique : « Les conseillers municipaux ont refusé aux manifestants un permis parce qu’ils craignaient la violence. » Qui, des conseillers ou des manifestants, craint la violence ? Un humain répond instantanément grâce à son bon sens ; une machine doit mobiliser une véritable compréhension contextuelle, pas seulement des statistiques sur la fréquence des mots.
Un test plus difficile à tricher
L’intérêt du test de Winograd est qu’il est structurellement plus difficile à « tricher » que le test de Turing classique : on ne peut pas s’en sortir par des astuces conversationnelles ou de l’humour pour détourner l’attention de l’évaluateur, comme cela a été observé lors de certaines éditions du prix Loebner. Il faut effectivement raisonner sur le sens de la phrase.
Avec les progrès récents des grands modèles de langage, les meilleurs systèmes obtiennent aujourd’hui des scores très élevés sur ces schémas, relançant le débat : ont-ils appris à raisonner, ou ont-ils simplement mémorisé des régularités statistiques suffisamment fines pour donner l’illusion du raisonnement ?
Comprendre l'intelligence artificielle, un repère à la fois
Qu'il s'agisse d'histoire, d'éthique, d'apprentissage automatique ou de linguistique computationnelle, chaque mécanisme éclaire un peu mieux ce que les systèmes actuels savent réellement faire. Comprendre ces bases permet de suivre l'actualité de l'IA avec plus de discernement.
Pour aller plus loin
- Comparer les capacités réelles de différents systèmes conversationnels
- Vérifier la source d'une affirmation avant de la reprendre à son compte
- Suivre l'évolution réelle des systèmes d'IA, pas seulement leurs annonces
- Partager ces repères avec vos proches pour nourrir un débat mieux informé
