42 Intelligence artificielle, devoirs, examens, etc.

Un argument favori pour promettre à l’intelligence artificielle un avenir brillant dans l’éducation est que l’IA peut s’occuper des examens à notre place.

À ce stade (décembre 2022), voici quelques-uns des moyens par lesquels l’intelligence artificielle peut « aider » un enseignant avec les examens :

1. Évaluation automatique des textes.
2. Contrôle des activités des étudiants pendant l’examen. Cela s’appelle le proctoring. Des webcams et autres capteurs sont censés contrôler les activités. Pendant le COVID, les entreprises proposant ce type de service ont fleuri. Mais l’utilisation du e-proctoring est controversée, et certains auteurs ont avancé que ces technologies peuvent être intrusives, conduire à la discrimination raciale, et plus généralement ne fonctionnent pas^1,2.
3. Contrôle du plagiat. Il existe des outils disponibles en ligne qui compareront une dissertation avec une très grande banque de dissertations. Même si la plupart des efforts ne sont pas de l’IA, il existe un certain nombre d’outils visant à trouver le quasi plagiat, c’est-à-dire les situations où la dissertation a été partiellement réécrite. Un outil typique est Turnitin. De nombreuses universités l’utilisent – ou un outil similaire. Dans un certain nombre de cas, l’Université adoptera une politique quant à la manière de l’utiliser et aux droits de l’étudiant en la matière.
4. Préparation automatique de questions individualisées. cela se fait depuis longtemps maintenant et se trouve dans des systèmes de gestion de l’apprentissage populaires comme Moodle³.

Les devoirs obéissent à au moins 3 logiques⁴ :

1. Dans certains cas, il s’agit d’une forme d’évaluation sommative : les notes sont attribuées en fonction d’une combinaison de résultats et certains enseignants estiment que demander aux élèves de travailler à la maison, à leur propre rythme, peut être moins stressant. Il arrive souvent que l’enseignant n’ait pas assez de temps pour couvrir le programme scolaire, à moins que l’évaluation ne se fasse en dehors du temps de cours.
2. Dans d’autres cas, les devoirs sont là pour ajouter une couche supplémentaire aux connaissances construites en classe.
3. Dans le troisième cas, un examen doit avoir lieu la semaine prochaine et l’élève doit étudier pour préparer cet examen. Parfois, des exercices et des activités sont prévus pour ce faire, dans d’autres cas, un effort de mémorisation est demandé.

Il y a bien sûr eu de nombreux avis donnés concernant les devoirs à la maison. Comme ils varient d’une culture à l’autre, nous ne les exprimerons pas ici.

Mais il est important de noter une constante : lorsque l’objectif du devoir n’est pas clair pour l’élève, et s’il existe un moyen de contourner le devoir, il le fera.

Lorsque le devoir implique la remise du résultat de ce devoir, plusieurs moyens de « tricher » ; existent, et dans chaque cas, des outils d’intelligence artificielle ont été développés :

• En mathématiques, des outils comme Photomath permettent de prendre une photo de l’équation à résoudre et d’obtenir directement une solution.
• En mathématiques toujours, des outils de type GPT3 capables de résoudre des problèmes mathématiques simples sont désormais disponibles.
• Dans l’apprentissage des langues, les outils de traduction automatique (tels que Deepl et google translate) sont maintenant très souvent utilisés pendant les devoirs.
• Dans des sujets plus généraux (littérature, sciences sociales), de nouveaux outils font leur apparition, et ils sont là pour rester : des dissertations sont générées à l’aide d’outils d’IA et elles commencent à tromper les enseignants.

Notre objectif ici n’est pas d’être exhaustif : de nouveaux articles semblent être écrits sur ces sujets chaque jour. Il n’existe pas de solution prête à l’emploi.

Notre objectif est de créer une prise de conscience et de permettre aux communautés de pratique de commencer à y réfléchir. Avant d’examiner quelques idées sur la façon dont cela pourrait se produire, regardons comment la tricherie cause des problèmes dans la communauté des échecs.

Échecs

Les échecs sont un jeu qui a à la fois à voir avec l’éducation et avec l’intelligence artificielle⁵. Il y a des écoles et même des pays qui ont utilisé les échecs dans l’éducation : le type de raisonnement impliqué dans les échecs est bénéfique pour de nombreuses raisons et à tous les âges. Notez qu’il en est de même pour les autres jeux et qu’il existe des initiatives pour utiliser le jeu de Bridge dans l’éducation aussi⁶.

Les échecs ont également fourni à l’intelligence artificielle 2 repères majeurs : en 1997, Gary Kasparov a été battu par Deep Blue⁷ ; et en 2016 Alphazero a battu tous les meilleurs systèmes d’IA en cours d’exécution par une marge considérable. Dans le premier cas, il convient de noter que l’IA ne contenait pas d’apprentissage automatique et était basée sur des règles conçues par l’homme. Dans le deuxième cas, les réseaux neuronaux et l’apprentissage par renforcement étaient essentiels. Autre résultat : alors qu’en 1997, l’IA s’appuyait sur des centaines de milliers de parties jouées par des humains, en 2016, toutes ces connaissances faites par des humains ont été supprimées et seules les règles du jeu ont été fournies.

En 2022, les échecs nous intéressent en raison des nombreuses polémiques qui entourent la question de la tricherie. Pendant la pandémie de Covid, la plupart des compétitions d’échecs ont eu lieu en ligne, et il était évident que la tricherie était pratiquée. Dans le cas des échecs, la tricherie est simple. Trop simple. Il suffit d’utiliser son smartphone pour trouver le coup suggéré par l’IA. Cela a conduit à devoir résoudre la question suivante : « comment savoir si un joueur a triché? » ; Et comment en être sûr ? Les experts ont conçu des méthodes impliquant la comparaison des mouvements d’un joueur avec ceux suggérés par les programmes d’IA. Et comme les programmes d’IA sont désormais (beaucoup) meilleurs que les humains, la conclusion est qu’un joueur qui joue les coups recommandés par une IA triche. Pour être plus juste, le raisonnement est beaucoup plus subtil que cela, mais en fin de compte, il faut comparer cela à notre propre réaction lorsqu’un élève médiocre réussit particulièrement bien à un examen.

Tricherie

Dans le cas des échecs, mais les exemples que nous avons vus en classe vont dans le même sens, deux choses semblent expliquer pourquoi le joueur (ou l’élève) utilise le logiciel d’IA plutôt que de faire la tâche par lui-même.

1. Le logiciel d’IA est simple à utiliser.
2. Le logiciel d’IA est ressenti comme étant tellement meilleur que l’humain. Le joueur d’échecs est bien conscient que les coups suggérés par l’IA sont au-delà de ses compétences. Mais il est difficile de résister. Comme nous l’ont dit certains enseignants : ‘même les meilleurs élèves utiliseront la traduction automatique : ils feront les devoirs sans elle, puis vérifieront et se rendront compte que la réponse de l’IA est « meilleure ».

Mais une question demeure : est-ce de la triche ? Si nous nous contentons de suivre les « règles du jeu », c’en est. Mais supposons un instant que la tâche prévue soit de déplacer des briques d’un côté de la route à l’autre. Et les règles étaient que vous n’êtes pas autorisé à utiliser une brouette. Mais il y a une brouette disponible et vous avez l’impression que personne ne regarde. Oui, vous n’êtes pas censé utiliser la brouette, mais n’y a-t-il pas beaucoup de sens à rendre la tâche plus courte tout en étant plus efficace ?

L’enseignant dans la boucle

De ce qui précède, nous constatons que les occasions de tricher vont être de plus en plus présentes. Et que – du moins en ce moment – il semble difficile de convaincre l’élève de ne pas utiliser un outil qui va être de plus en plus présent.

Donc la question cruciale est : est-ce qu’on va trouver des moyens de faire la différence entre les activités à faire en classe et celles qui seront faites à la maison, et dans ce deuxième cas, est-ce qu’on va accepter que ces activités à la maison soient faites avec l’aide de l’IA ?

Dans cet article, Arvind Narayanan analyse avec beaucoup de bon sens ce qui est en train de se passer et suggère quelques moyens sympas pour que l’enseignant puisse proposer des devoirs intéressants dans lesquels le phénomène de “tricherie » ne se produira pas.

¹ Brown 2020; Brown L. X. Z. (2020), How automated test proctoring software discriminates against disabled students, Center for Democracy & Technology, available at https://cdt.org/insights/how-automated-test-proctoring-software-discriminates-against-disabled-students/.

² Conijn R. et al. (2022), The fear of big brother: the potential negative side-effects of proctored exams, Journal of Computer Assisted Learning, pp. 1-14, available at https://doi.org/10.1111/jcal.12651.

³ Moodle est un projet ouvert et collaboratif. De nombreuses extensions et plug-ins ont été créés et sont partagés pour aider les enseignants à évaluer les étudiants. Vous pouvez commencer votre recherche ici : https://edwiser.org/blog/grading-in-moodle/.

⁴ Il existe de nombreuses positions sur les devoirs à domicile sur Internet. Certaines sont pour, d’autres contre. En outre, les différents pays européens peuvent avoir des règles différentes concernant ces questions. Une discussion intéressante, mais basée aux États-Unis, se trouve ici : https://www.procon.org/headlines/homework-pros-cons-procon-org/.

⁵ La FIDE est l’organisme responsable des échecs dans le monde entier. Elle dispose de spécialistes qui travaillent sur la question des échecs dans l’éducation : https://edu.fide.com/.

⁶ Nukkai est une société française d’IA dont le logiciel d’IA Nook a battu, en mars 2022, des équipes de champions du monde au bridge. Elle travaille également sur une version de Bridge permettant d’enseigner la logique aux enfants. https://nukk.ai/.

⁷ De nombreuses références couvrent l’histoire de la victoire de Deep Blue sur Gary Kasparov. Le point de vue d’IBM est évidemment partial mais vaut la peine d’être lu car IBM insiste sur le fait que c’est l’ordinateur qui a gagné plutôt que l’algorithme. https://www.ibm.com/ibm/history/ibm100/us/en/icons/deepblue/.