26 Die Kehrseite der ALS

Trotz des vielversprechenden Potenzials von adaptiven Lernsystemen bleiben viele Fragen offen. Es gibt noch nicht genügend Forschung oder Dokumentation der Unterrichtspraxis, um diese Fragen zu beantworten:

• Empfehlungssysteme werden eingesetzt, um Netflix-Nutzern Filme vorzuschlagen. Sie helfen den Verbrauchern, die richtige Wahl zu treffen, z. B. bei der Auswahl von Audio-Lautsprechern auf Amazon. Aber können sie tatsächlich die Lernergebnisse jedes einzelnen Lernenden im Klassenzimmer verbessern¹?
• Wirkt sich die ständige Konzentration auf Leistung und Individualisierung auf das psychologische Wohlbefinden der Schülerinnen und Schüler aus²?
• Die Individualisierung verlangt von den Lernenden viel Disziplin und Selbstregulierung. Sie müssen selbstständig mit der Arbeit beginnen und diese fortsetzen, bis sie alle ihnen zugewiesenen Aufgaben erledigt haben. Sind alle Schülerinnen und Schüler in der Lage, dies ohne Hilfe zu tun²?
• Wie schaffen wir ein Gleichgewicht zwischen Individualisierung und sozialen Lernmöglichkeiten³?
• Wie können wir von der Verwendung von ALS zur Unterstützung eines einzelnen Themas zur systematischen Verwendung dieser Systeme über Themen und Disziplinen hinweg übergehen?²? Wie sieht es mit der Änderung des Lehrplans aus, die für eine solche Einbeziehung der Anpassungsfähigkeit erforderlich ist³?
• Wie verhält es mit der erforderlichen Infrastruktur? Was muss in Bezug auf Daten und Datenschutz, Voreingenommenheit und verstärkte Stereotypen getan werden³?

Bei der Entwicklung von ALS werden einige Grundsätze entweder direkt oder implizit angewandt. Diese sind nicht immer ohne Folgen.

Ein Paradigma der ALS: Alt ist Gold

Was tun Systeme des maschinellen Lernens, wenn sie etwas vorhersagen oder empfehlen? Sie nutzen frühere Erfahrungen, Vorlieben und Leistungen des Lernenden, um zu entscheiden, was sie ihm empfehlen: Sie schauen in die Vergangenheit, um die Zukunft vorherzusagen. Daher sind diese Systeme immer auf die Vergangenheit ausgerichtet⁴. Maschinelles Lernen funktioniert am besten in einer statischen und stabilen Welt, in der die Vergangenheit wie die Zukunft aussieht⁵. ALS, die auf Modellen des maschinellen Lernens basieren, tun mehr oder weniger das Gleiche, nur dass jetzt pädagogische Überlegungen hinzukommen.

Infolgedessen sind diese Systeme nicht in der Lage, Abweichungen von der Normalität, wie die COVID-Pandemie, gesundheitliche Probleme und andere Probleme des Individuums, zu berücksichtigen. Noch viel weniger können sie das Alter, das Wachstum, die Aneignung neuer Kompetenzen und die persönliche Entwicklung junger Menschen berücksichtigen.

Ist das Verhalten von Lernenden überhaupt vorhersehbar? Wie oft können wir eine Formel wiederholen, die in der Vergangenheit gut funktioniert hat, bevor sie langweilig und repetitiv wird und den Fortschritt behindert⁶? Selbst wenn eine solche Vorhersage möglich wäre, ist es dann überhaupt ratsam, Lernende nur mit Dingen zu konfrontieren, die sie mögen und mit denen sie vertraut sind? Andererseits: Wie viel Neues ist überwältigend und kontraproduktiv⁶?

Zusammenfassend lässt sich sagen, dass es schwierig ist, zu entscheiden, wie ähnlich die empfohlenen Aktivitäten einander sein sollten, wie viele neue Arten von Aktivitäten in einer Sitzung eingeführt werden sollten und wann es produktiv ist, einen Schüler dazu zu bringen, sich Herausforderungen zu stellen und neue Interessen zu erkunden. Und die Antworten sind nicht nur in der Vergangenheit der Schüler zu finden.

Ein Paradigma der ALS: Das Explizite spiegelt das Implizite wider

Selbst dort, wo die Vergangenheit zuverlässig zur Vorhersage der Zukunft genutzt werden kann, könnte es schwierig sein, die Vergangenheit selbst genau zu erfassen. Wie kann Youtube wissen, dass einem Nutzenden ein Video gefallen hat? Diese Aussage ist einfach zu treffen, wenn sie oder er auf die Schaltfläche “Gefällt mir” geklickt oder den übergeordneten Kanal abonniert hat, nachdem sie oder er das Video gesehen hat. Aber ein solches explizites Verhalten ist selten. Empfehlungssysteme müssen regelmäßig auf implizite Signale zurückgreifen, die der Wahrheit entsprechen können oder auch nicht⁴. Youtube beispielsweise verwendet die Zeit, die ein Nutzender mit dem Anschauen eines Videos verbracht hat, als implizites Signal, dass ihm das Video gefallen hat und er sich ähnliche Inhalte ansehen möchte. Aber nur weil ein Video auf dem Computer eines Nutzenden bis zum Ende abgespielt wurde, heißt das noch lange nicht, dass es der Person gefallen hat oder sie es überhaupt angesehen hat⁷.

Wie wird das Feedback in einem adaptiven Lernsystem erfasst? Um beispielsweise festzustellen, ob ein Lernender während einer Aktivität aufmerksam war, könnte das System die Anzahl der digitalen Ressourcen aufzeichnen, die sie oder er angeklickt hat, und wann und wie lange sie oder er diese aufgerufen hat. Diese Daten können jedoch nicht genau den Grad der Aufmerksamkeit wiedergeben1.

Wenn sich ein Lernender beispielsweise im Klaren darüber ist, was sie oder er für eine Aufgabe tun soll, kann sie oder er einige Ressourcen konsultieren und sich schnell auf die entscheidenden Punkte konzentrieren.Jemand, der sich nicht so sicher ist, kann alle aufgelisteten Ressourcen öffnen und viel Zeit damit verbringen, ohne viel zu lernen.1. Es ist möglich, dass der erste Lernende fälschlicherweise als unmotiviert eingestuft wird und zusätzliche Arbeit leisten muss.

Zu bedenken ist auch, dass die Modelle des maschinellen Lernens nur feststellen können, dass zwei Dinge geschehen sind – ein Lernender klickt auf eine Ressource und ein Lernender erzielt eine hohe Punktzahl bei der zugehörigen Übung. Sie können nicht ableiten, dass der Lernende eine hohe Punktzahl erreicht hat, weil sie oder er die Ressource konsultiert hat – sie können eine Korrelation ableiten, aber keine Kausalität5.

Bei einigen ALS wird zu Unrecht erwartet, dass die Lehrkraft eingreift und solche Fehler korrigiert. In anderen Systemen hat die Lehrkraft nicht einmal die Möglichkeit, dies zu tun.

Das Paradigma der ALS: Alles kann durch diese eine Frage ersetzt werden

Empfehlungssysteme können nicht mit mehreren Zielen umgehen. Das Ziel der ALS wird oft in Form einer einzigen Frage formuliert: der Ersatzfrage. Welche Bewertung hat ein Nutzender einem Film gegeben, wie lange hat er sich ein Video angesehen, wie hoch ist die Punktzahl des Lernenden in einem Quiz, wie gut hat sie oder er die Kriterien erfüllt, die die Maschine zur Messung der Aufmerksamkeit verwendet… Die Systeme werden dann auf dieses Ziel hin trainiert und daraufhin getestet, ob es erreicht wurde. Ihre Leistung wird ständig angepasst, um ihre Punktzahl im Hinblick auf dieses Ziel zu maximieren.

Wenn das Erreichen der Punktzahl im Quizz das Ziel ist, werden bestimmte Inhalte auf eine bestimmte Weise empfohlen. Dann ist die Prüfungsleistung das Ersatzproblem, das gelöst wird. Wenn das Ziel nur darin besteht, die Schüler dazu zu bringen, auf viele Ressourcen zu klicken, werden die Empfehlungen so zugeschnitten, dass sie genau dies tun. Dann ist die Attraktivität der Ressourcen das Problem – die Frage, auf die man eingeht.

Die Wahl der Frage hat einen großen Einfluss darauf, wie die ALS funktioniert4. Im Gegensatz zu den ALS, die als objektive Systeme angepriesen werden, ist die Auswahl des Ersatzproblems für die Empfehlungen eher eine Kunst als eine Wissenschaft⁴.

Nicht alles, was technisch ist, ist Hi-Tech

Wie wir bisher gesehen haben, sind bei der Entwicklung von ALS viele Entscheidungen zu treffen: Welche Daten werden gemessen, wie werden diese Daten verwendet, um Feedback und andere Informationen zu messen, welche Ziele werden optimiert, welche Algorithmen werden verwendet, um diese Ziele zu optimieren… Meistens sind es Programmierende, Forschende der Datenwissenschaften, Finanz- und Marketingexperten, die an diesen Entscheidungen beteiligt sind. Der Beitrag von Lehrkräften und pädagogischen Fachkräften zum Entwicklungsprozess ist selten und kommt oft erst nach dem Entwurfsprozess². Die Produkte werden vor ihrer Einführung in den Schulen nicht in der Praxis erprobt, und oft beruht ihre behauptete Wirksamkeit auf Erfahrungsberichten und Anekdoten und nicht auf wissenschaftlichen Untersuchungen2.

Infolgedessen hat das, was eine Schule braucht und womit sie vertraut ist, wenig Einfluss auf das, was die Unternehmen entwickeln. Und schließlich haben die Kosten, die Verfügbarkeit und die Infrastruktur einen großen Einfluss darauf, was Schulen kaufen können. Es ist wichtig, dies bei der Entscheidung, ob oder wie ein bestimmtes Produkt eingesetzt werden soll, zu bedenken: Vielleicht ist es besser, sie nicht alle als adaptive Lernsysteme oder KI zu betrachten, sondern als individuelle Systeme mit sehr unterschiedlichen Zielen, Designs und Fähigkeiten.

ALS können in ihrer Gesamtheit zur Personalisierung von Feedback, Scaffolding und Übung eingesetzt werden. Sie können Lernlücken aufspüren und diese im Rahmen der Programmierung und des Designs beheben. Sie können keine “lehrbaren Momente” erkennen oder feststellen, wann es richtig ist, die Stimmung in der Klasse zu nutzen, um eine neue Idee oder ein Beispiel einzuführen. Diese Fähigkeiten, die das Lernen zu einem Erlebnis machen und dazu beitragen, dass die Lerninhalte im Gedächtnis der Schüler haften bleiben, sind allein die Stärke der Lehrkraft.

¹ Bulger M., Personalised Learning: The Conversations We’re Not Having, Data & Society Working Paper, 2016.

² Groff, J., Personalized Learning: The state of the field and future directions, Center for curriculum redesign, 2017.

³ Holmes, W., Anastopoulou S., Schaumburg, H & Mavrikis, M.,Technology-enhanced personalised learning: untangling the evidence, Stuttgart: Robert Bosch Stiftung, 2018.

⁴ Covington, P., Adams, J., Sargin, E., Deep neural networks for Youtube Recommendations, Proceedings of the 10th ACM Conference on Recommender Systems, ACM, New York, 2016.

⁵ Barocas, S.,  Hardt, M., Narayanan, A., Fairness and machine learning Limitations and Opportunities, 2022.

⁶ Konstan, J., Terveen, L., Human-centered recommender systems: Origins, advances, challenges, and opportunities, AI Magazine, 42(3), 31-42, 2021.

⁷ Davidson, J., Liebald, B., Liu, J., Nandy, P., Vleet, T., The Youtube Video Recommendation System, Proceedings of the 4th ACM Conference onRecommender Systems, Barcelona, 2010.