Écouter, parler et écrire
32 Homogénéisation, invisibilité et au-delà, vers une IA éthique
Homogénéisation
Beaucoup d’argent, de ressources informatiques, de temps et d’efforts sont investis dans la création d’ensembles de données, de critères de référence et d’algorithmes pour l’Apprentissage Automatique. Ceci est particulièrement vrai pour le Deep Learning et les Modèles à Grande Échelle. Il est donc logique que les ressources ainsi créées soient partagées au sein de l’écosystème. C’est ce qui se passe pour un grand nombre de systèmes d’Apprentissage Automatique que nous utilisons souvent. Même lorsque les produits finis sont différents et sont créés par une entreprise différente, la méthode, les ensembles de données, les bibliothèques d’apprentissage automatique et les évaluations sont souvent partagés1. Il y a donc tout lieu de penser que leurs résultats seront similaires, dans des conditions similaires.
Si le résultat est une décision pédagogique, cela peut susciter des inquiétudes, par exemple, dans le cas d’un élève qui pourrait être injustement exclu de toute opportunité éducative1. Toutefois, le fait de savoir si l’homogénéisation algorithmique constitue ou non une injustice doit être évalué au cas par cas1.
D’autre part, si le système a pour but d’aider l’élève à écrire, cela pose la question de la normalisation des styles d’écriture, du choix du vocabulaire et, par conséquent, des modèles de pensée. Les modèles de langage utilisés dans ce cas sont établis pour prédire le texte le plus probable qui sera produit à partir de l’ensemble de données d’entraînement. Ces ensembles de données, s’ils ne sont pas partagés entre les systèmes, sont construits de façon similaire, souvent avec des données disponibles au public sur Internet. Même lorsque ces données sont analysées pour détecter les biais, les préjugés et les contenus extrêmes, cela ne représente qu’un petit écosystème, qui n’est pas représentatif du monde dans toute sa diversité d’idées, de cultures et de pratiques. Il a été démontré que les systèmes de texte prédictif fondés sur le deep learning qui sont utilisés pour les textos et les courriels changent la façon d’écrire des utilisateurs : leur écriture devient “plus succincte, plus prévisible et moins créative”2.
Les séries de mots qui se répètent dans les données d’entraînement alimentent les résultats des Grands Modèles de Langage. Par conséquent, les valeurs des créateurs de bases de données ont le pouvoir d’atténuer les opinions non conventionnelles et l’expression plurielle des idées. Sans une intervention pédagogique appropriée, ceci peut limiter la créativité et l’originalité des élèves, ce qui mènerait non seulement à une écriture normalisée, mais aussi, finalement, à une absence de sens critique chez les citoyens et, globalement, à un monde moins varié3.
Invisibilité
Les technologies sont maintenant tellement avancées que l’interface homme-machine est devenue transparente et pratiquement invisible. Ce phénomène est étroitement lié à un grand nombre d’inconvénients liés à l’Apprentissage Automatique, et notamment à l’homogénéité, dont nous avons parlé au paragraphe précédent. Qu’il s’agisse des moteurs de recherche intégrés à la barre d’adresse du navigateur ou de la prédiction de texte qui fonctionne de manière intuitive sans aucune pause entre l’écriture, la prédiction et le choix des suggestions, nous agissons souvent sous l’influence de la technologie sans en être conscients ou sans avoir le choix de mettre un frein à son activité, de réfléchir aux situations et de prendre nos propres décisions. De plus, quand nous l’utilisons régulièrement pour la prise de décision, nous avons tendance à oublier son existence4. “Une fois que nous avons pris l’habitude d’utiliser les technologies, nous arrêtons d’y faire attention et nous regardons à travers elles les informations et les activités pour lesquelles nous les utilisons”. Ceci suscite de telles inquiétudes en termes d’agentivité, de transparence et de confiance, notamment quand il s’agit de jeunes esprits, que les experts ont recommandé de rendre les interfaces plus visibles, voire plus difficiles à manier4.
Qu’y a-t-il au-delà : une IA éthique
Dans chaque chapitre de ce manuel ouvert, nous avons parlé de l’impact pédagogique, éthique et social de l’IA, notamment de l’IA basée sur les données. Nous avons traité, dans les rubriques correspondantes, des questions suivantes : les données et la vie privée, la fiabilité des contenus et l’autonomie de l’utilisateur, l’impact sur l’identité personnelle, les biais et l’équité et l’agentivité. Les questions relatives aux moteurs de recherche ont été traitées dans Derrière la lentille de recherche : Effets de la recherche sur la société, celles relatives aux systèmes adaptatifs dans L’envers des systèmes d’apprentissage adaptatif : quelques paradigmes à prendre en compte et les problèmes relatifs à l’IA générative dans l’IA dégénerative. Nous avons analysé, à plusieurs reprises, dans le manuel, des mesures correctives qui pourraient être adoptées en classe, pour résoudre certains problèmes particuliers. Nous espérons que ces mesures deviendront moins onéreuses une fois que nous disposerons de systèmes d’IA éthiques et efficaces dans le domaine de l’éducation. Cette IA éthique serait développée, déployée et utilisée dans le respect des normes et des principes d’éthique5 et serait responsable et résiliente.
Puisque nous laissons tant de pouvoir aux modèles d’IA et à leurs programmeurs, vendeurs et évaluateurs, il est tout à fait raisonnable de leur demander d’être transparents et d’assumer leurs responsabilités et de réparer leurs erreurs quand les choses ne vont pas dans le bon sens6. Nous avons besoin de contrats de niveau de service qui définissent clairement “les services d’assistance et de maintenance et les mesures à adopter pour résoudre les problèmes notifiés”5.
Une IA résiliente devrait accepter ses imperfections, les prévoir et pouvoir fonctionner malgré elles. Des systèmes d’IA résilients devraient connaître des défaillances prévisibles et avoir mis en place des protocoles pour résoudre ces défaillances6.
Dans le domaine de l’éducation, l’IA étique sera orientée par des principes de conception basée sur l’utilisateur et devra prendre en compte tous les aspects de l’éducation7. Les enseignants pourraient vérifier son fonctionnement, comprendre ses explications, passer outre ses décisions ou interrompre son fonctionnement sans problèmes8. Ces systèmes réduiraient la charge de travail de l’enseignant, lui fourniraient des informations détaillées sur ses élèves et l’aideraient à améliorer la portée et la qualité de l’enseignement8. Ils ne nuiraient pas à leurs utilisateurs et à l’environnement et amélioraient le bien-être social et émotionnel des élèves et des enseignants5.
Tant que l’IA éthique n’existera pas, les enseignants devront tenter de développer et de participer à une communauté de collègues et pédagogues pour améliorer la sensibilisation aux problèmes, partager des expériences et de meilleures pratiques et identifier des fournisseurs fiables d’IA. Ils pourraient également encourager la participation des élèves et de leurs parents à des débats et des décisions, pour mieux répondre aux différentes préoccupations et développer un environnement empreint de camaraderie et de confiance. Ils devront tout mettre en œuvre pour se tenir au courant des dernières tendances de l’AIED et acquérir des compétences là où c’est possible et chaque fois que possible5.
1 Bommasani, R., et al, Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization?, Advances in Neural Information Processing Systems, 2022.
2 Varshney, L., Respect for Human Autonomy in Recommender System, 3rd FAccTRec Workshop on Responsible Recommendation, 2020.
3 Holmes, W., Miao, F., Guidance for generative AI in education and research, UNESCO, Paris, 2023.
4 Susser, D., Invisible Influence: Artificial Intelligence and the Ethics of Adaptive Choice Architectures, Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society, Association for Computing Machinery, New York, 403–408, 2019.
5 Ethical guidelines on the use of artificial intelligence and data in teaching and learning for educators, European Commission, October 2022.
6 Schneier, B., Data and Goliath: The Hidden Battles to Capture Your Data and Control Your World, W. W. Norton & Company, 2015.
7 Tlili, A., Shehata, B., Adarkwah, M.A. et al, What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education, Smart Learning Environments, 10, 15 2023.
8 U.S. Department of Education, Office of Educational Technology, Artificial Intelligence and Future of Teaching and Learning: Insights and Recommendations, Washington, DC, 2023.
