Promotionskolleg der Professional School of Education der Universität Würzburg

Die Promotionen finden im Rahmen eines interdisziplinären Forschungsprojektes zur „Begleit- und Wirkungsforschung zu KI-bezogenen Kompetenzen von (angehenden) Lehrpersonen“ der Professional School of Education der Universität Würzburg statt. Durch die profilbildende lehramtsbezogene Forschungsstruktur sollen Qualitätsverbesserungen in Lehre und Forschung in der Lehrerbildung erreicht werden, die in ihrer Vernetzung größere Effekte haben als die Fokussierung auf empirische Bildungs- und Individualforschungen.

In den sechs folgenden Teilprojekten, die auch interdisziplinär zusammenarbeiten, sind folgende Promotionsthemen verortet:

Förderung KI-bezogener Kompetenzen von Lehramtsstudierenden unter besonderer Berücksichtigung von Diversität
Theoriegeleitete Entwicklung und empirische Evaluation eines pädagogischen Konzepts für die bildungswissenschaftliche Lehrpersonenbildung

Kurzzusammenfassung
Der Forschungsstand zur Förderung KI-bezogener Kompetenzen von Lehramtsstudierenden zeigt, dass ein Desiderat bezüglich fundierter pädagogischer Konzepte für die Hochschullehre und Evaluationsstudien besteht. Daher ist es Ziel des Projekts, theoriegeleitet ein Konzept für die bildungswissenschaftliche Hochschulschullehre zur systematischen Förderung KI-bezogener Kompetenzen von Lehramtsstudierenden unter besonderer Berücksichtigung von Diversität im Rahmen einer gestaltungsorientierten Bildungsforschung zu entwickeln, dieses zu implementieren und hinsichtlich der Zielerreichung und möglicher Nebenwirkungen zu evaluieren. Die Ergebnisse können für andere Lehramtsfächer adaptiert und damit zur Vernetzung der Lehrpersonenbildung an der JMU beitragen.

Stand der Forschung
Die Auseinandersetzung mit Künstlicher Intelligenz (KI) im Bildungsbereich hat sich angesichts der vielfältigen Einsatzmöglichkeiten (vgl. zur Übersicht z. B. Ng, Lee, Tan, Hu, Downie & Chu 2023) seit ChatGPT3 als zugängliche generative KI maßgeblich intensiviert (BMBWF 2023). Angesichts der Chancen und möglicher Problemlagen der Nutzung von KI (vgl. zur Übersicht z. B. Farrokhnia, Banihashem, Noroozi & Wals 2023) kommen der Förderung KI-bezogener Medienkompetenz in der Schule und damit auch den KI-bezogenen Kompetenzen von (angehenden) Lehrpersonen besondere Bedeutung zu (Aufenanger, Herzig & Schiefner-Rohs 2023). Mit Blick auf medien- und digitalisierungsbezogene Kompetenzen von (angehenden) Lehrpersonen existieren international etablierte Kompetenzmodelle (vgl. z. B. Mishra & Koehler 2006, Redecker & Punie 2017), die jedoch nicht ohne Weiteres auf die Rahmenbedingungen der ersten akademischen Phase der Lehrpersonenbildung in Deutschland bezogen werden können. Jedoch kann hierfür das explizit hierfür entwickelte Kompetenz-Standard-Modell zur Medienpädagogik (Tulodziecki 2012, Tulodziecki, Herzig & Grafe 2021) verwendet werden. Zur Ableitung auf der Basis des Kompetenzmodells entwickelter KI-bezogener akademischer Lehr-Lernziele können verschiedene internationale Vorarbeiten zur Definition KI-bezogener Kompetenzen bzw. AI-Literacy genutzt werden (vgl. z.B. Long & Magerko 2020; Ng, Leung, Chu & Qiao 2021, Mishra, Warr & Islam 2023; Ng, Lee, Tan, Hu, Downie & Chu 2023). Weiterhin besteht ein Forschungsdesiderat bezüglich der theoriegeleiteten Entwicklung und empirischen Evaluation von Konzepten zur Förderung KI-bezogener Kompetenzen von Lehramtsstudierenden unter besonderer Berücksichtigung von Diversität bzw. Diversity (vgl. z.B. Sperling, Stenberg, McGarth, Åkerfeldt; Heintz & Stenliden 2024, Chiu & Sanusi 2024). Esexistieren derzeit lediglich erste internationale Wirkungsstudien mit Lehramtsstudierenden, die für den deutschen Kontext adaptiert werden müssen (vgl. z.B. Ayanwale, Adelana, Molefi, Adeeko & Ishola 2024; Hur 2024). Studien, die hier- bei die Diversität von Lehramtsstudierenden im Sinne eines breiten Verständnisses berücksichtigen (vgl. z.B. Rowan, Bourke, L´Estrange, Brownlee, Ryan, Walker & Churchwad 2021), existieren bislang nicht (Chiu & Sanusi 2024).

Eigene Vorarbeiten
Zur Bearbeitung des beschriebenen Forschungsdesiderats können verschiedene eigene Vorarbeiten eingebracht werden. Das forschungsmethodische Vorgehen der theoriegeleiteten Entwicklung und empirischen Evaluation von pädagogischen Konzepten für die Hochschullehre (vgl. Tulodziecki, Herzig & Grafe 2018) bietet einen fundierten und strukturierten Ablaufprozess, der sich in Promotionsvorhaben am Lehrstuhl bereits mehrfach bewährt hat (vgl. z.B. Ripka 2023). Weiterhin können Vorarbeiten der Ableitung und Reflexion von Lehr-Lernzielen für social Virtual und Augmented Reality Umgebungen unter Nutzung von KI, für z.B. Agenten oder Feedback, und evidenzbasiert identifizierte pädagogische Vorgehensweisen für die Hochschullehre genutzt werden (vgl. z. B. Seufert, Oberdörfer, Roth, Grafe, Lugrin & Latoschik 2022; Baumann, Tiede, Latoschik & Grafe 2024). Zudem können Vorarbeiten zur besonderen Berücksichtigung der Diversität von Lehramtsstudierenden verwendet werden (vgl. z.B. Halsch, Tiede & Grafe 2024).
Weiterhin können Untersuchungsergebnisse zur Nutzung von KI für die Gestaltung von Unterrichtsmaterialien durch Lehramtsstudierende (vgl. Heurich & Grafe, in Vorbereitung) eingebracht werden. Bezüglich der empirischen Evaluation können vorhandene Erhebungsinstrumente (vgl. Hartmann, Tiede, Latoschik & Grafe 2024, Halsch, Tiede & Grafe 2024) genutzt bzw. adaptiert werden. Zudem können interdisziplinäre Vorarbeiten zu Wissen von Lehramtsstudierenden zu ChatGPT aus mathematikdidaktischer und medienpädagogischer Perspektive verwendet werden (vgl. Noster, Heurich, Siller & Grafe in Vorbereitung).

Ziele
Auf der Basis des Forschungsstandes und der bisher durchgeführten Vorarbeiten der Antragstellerin soll im vorliegenden Forschungsvorhaben theoriegeleitet ein pädagogisches Konzept für die Hochschullehre in den Bildungswissenschaften zur Förderung KI-bezogener Kompetenzen von Lehramtsstudierenden entwickelt und hinsichtlich der Zielerreichung und möglicher Nebenwirkungen evaluiert werden.
Hierzu werden die folgenden Forschungsfragen bearbeitet:
1. Welche Lernvoraussetzungen liegen hinsichtlich KI-bezogener Kompetenzen bei Lehramtsstudierenden vor?
2. Welche Lehrhandlungen und Lernaktivitäten sind hinsichtlich der Förderung KI-bezogener Kompetenzen in den Bildungswissenschaften geeignet?
3. Wie sollte das pädagogische Konzept für die Hochschullehre hinsichtlich des zeitlichen Umfangs, der inhaltlichen Ausgestaltung, der Verwendung weiterer Medien bzw. Erfahrungsformen und der Sozialformen gestaltet sein?
4. Welche Effekte können durch den Einsatz des pädagogischen Konzepts für die Hochschullehre hinsichtlich der KI-bezogenen Kompetenzen bei Lehramtsstudierenden erreicht werden?

Die Ergebnisse liefern Erkenntnisse zur Identifikation und kritischen Reflexion KIbezogener Kompetenzen von Lehramtsstudierenden sowie zu evidenzbasierten zielführenden pädagogischen Vorgehensweisen einschließlich zu berücksichtigender möglicher auftretender Nebenwirkungen zur Professionalisierung von Lehramtsstudierenden.

Arbeitsprogramm
Das Projekt ist gemäß der Struktur einer gestaltungsorientierten Bildungsforschung (Tulodziecki, Grafe & Herzig 2013, Tulodziecki, Herzig & Grafe 2018) theoriegeleitet und evidenzbasiert in den folgenden vier Schritten geplant:
1. Theorie- und empiriegeleitete Entwicklung eines pädagogischen Konzepts für die Hochschullehre zur Förderung von KI-bezogenen Kompetenzen von Lehramtsstudierenden unter besonderer Berücksichtigung von Diversität: Aufarbeitung theoretischer und empirischer Grundlagen, Präzisierung der Zielvorstellungen und der Annahmen zu den Lernvoraussetzungen, Formulierung lehr-lerntheoretischer Annahmen, Konkretisierung des Konzepts hinsichtlich Lehrhandlungen, Lernaktivitäten, Inhalten, Medien und Sozialformen.
2. Konzeption und Durchführung einer explorativen Vorstudie und drei quasiexperimenteller Evaluationsstudien mit Kontrollgruppe unter Verwendung qualitativer und quantitativer Untersuchungsinstrumente.
3. Auswertung, Interpretation und Diskussion der Ergebnisse: Durchführung inferenzstatistischer Auswertungen der quantitativen Daten sowie inhaltsanalytische Auswertungen der qualitativen Daten nach Mayring (2014) sowie Triangulation, Prüfung der zugrunde liegenden lehr-lerntheoretischen Annahmen, Überlegungen zur Übertragbarkeit, Formulierung von Empfehlungen für Theorie, Forschung und Praxis.

Die Meilensteine verteilen sich über die Projektlaufzeit auf folgende Weise: Im ersten Jahr erfolgen die weitere Aufarbeitung des theoretischen und empirischen Forschungsstandes (M1) sowie die theoriegeleitete Entwicklung des Konzepts für die Hochschullehre und eine erste Implementierung in der Hochschullehre im Rahmen einer explorativen Vorstudie (M2). Im zweiten Jahr erfolgen jeweils die iterative Weiterentwicklung des pädagogischen Konzepts in zwei Zyklen und die empirische Evaluation im Rahmen von zwei Hauptstudien (M3, M4). Im dritten Jahr erfolgen die Finalisierung des Konzepts sowie die abschließende Evaluationsstudie (M5). Das Projekt ist als kumulatives Dissertationsprojekt angelegt, so dass im dritten Jahr die Erstellung des Manteltexts und die Einreichung der Dissertationsschrift sowie die
Verteidigung erfolgen werden (M6).

Die Ergebnisse des Projekts liefern Erkenntnisse für die zielführende Gestaltung der Hochschullehre zur Förderung KI-bezogener Kompetenzen von Lehramtsstudierenden unter besonderer Berücksichtigung von Diversität. Sie werden als Open Educational Ressources aufbereitet und dem Weiterbildungsprogramm ProfiLehre am Zentrum für wissenschaftliche Bildung und Lehre (ZBL) zur Verfügung gestellt sowie auf nationalen und internationalen Konferenzen präsentiert.
Adaptionen des Konzepts für weitere Lehramtsfächer, wie die Sonderpädagogik, die Grundschulpädagogik sowie die Fachdidaktiken, sind möglich und werden im Kompetenzzentrum für digitales Lehren und Lernen (DigiLLabs@JMU) an der PSE mit den Fachgruppen-Netzwerken als Beitrag zur Verzahnung der Lehramtsfächer diskutiert.

Bezüglich des Förderzieles der Einwerbung von Drittmitteln bringt die Antragstellerin erfolgreiche Drittmitteleinwerbungen in Einzel- und Verbundprojekten nationaler und internationaler Förderprogramme (eingeworbene Eigenanteile von über 2,6 Mio. €)
und damit verbundene umfangreiche Erfahrungen in interdisziplinären Schreibteams von Anträgen mit.

Literatur

• Aufenanger, S., Herzig, B. & Schiefner-Rohs, M. (2023): Künstliche Intelligenz und Schule. Aufgaben für Unterricht und die Organisation (von) Schule. In: C. de Witt, C. Gloerfeld & S. E. Wrede (Hrsg.): Künstliche Intelligenz in der Bildung. Wiesbaden: Springer VS, S. 199-218.
• Ayanwale, M. A., Adelana, O. P., Molefi, R. R., Adeeko, O. & Ishola, A. M. (2024): Examining artificial intelligence literacy among pre-service teachers for future classrooms. In: Computers and Education Open, 6, 100179.
• Baumann, T., Tiede, J., Latoschik, M. E. & Grafe, S. (2024): Teaching and Learning in Social Mixed Reality Focusing on Transcultural Education: Pre-Service Teachers’ Perspectives. In: J. Cohen & G. Solano (Hrsg.): Proceedings of Society for Information Technology & Teacher Education International Conference 2024, S. 136-145.
• Bundesministerium für Bildung, Wissenschaft und Forschung [BMBWF] (Hrsg.) (2023): Auseinandersetzung mit Künstlicher Intelligenz im Bildungssystem. Wien: BMBWF. Online unter: www.bmbwf.gv.at/ki (Datum des letzten Zugriffs 29.09.2024)
• Chiu, T. K. F. & Sanusi, I. T. (2024): Define, foster, and assess student and teacher AI literacy and competency for all: Current status and future research direction. Computers and Education Open. https//doi.org/10.1016/j.caeo.2024.100182.
• Farrockhnia, M., Banihashem, S. K., Noorozi, O. & Wals, A. (2023). A SWOTAnalysis of ChatGPT. Implications for educational practice and research. Innovations in Education and Teaching International. https://doi.org/10.1080/14703207.2023.2195846
• Halsch, A., Tiede, J. & Grafe, S. (2024): Fostering Media Education Competence of Preservice Teachers Focusing on Diversity. In: J. Cohen & G. Solano (Hrsg.): Proceedings of Society for Information Technology & Teacher Education International Conference 2024, S. 17-25.
• Hartmann, M., Tiede, J., Latoschik, M. E. & Grafe, S. (2024): Development and Exploratory Implementation of a Higher Education Pedagogy Concept for Teaching and Learning with Social VR Focusing on Diversity. In: J. Cohen & G. Solano (Hrsg.): Proceedings of Society for Information Technology & Teacher Education International Conference 2024, S. 146-155.
• Heurich, T. & Grafe, S. (in Vorbereitung): Perspectives of Pre-Service Teachers on Teaching and Learning with Artificial Intelligence.
• Hur, J. W. (2024): Fostering AI literacy: overcoming concerns and nurturing confidence among preservice teachers. Information and Learning Sciences, ahead-ofprint (ahead-of-print).
• Long, D. & Magerko, B. (2020): What is AI Literacy? Competencies and Design Considerations. In: R. Bernhaupt, F. Mueller, D. Verweij, J. Andres, J. McGrenere, A. Cockburn, I. Avellino, A. Goguey, P. Bjørn, S. Zhao, B. P. Samson & R. Kocielnik (Hrsg.): Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, S.1-16).
• Mayring, P. (2014): Qualitative Inhaltsanalyse (12. überarbeitete Aufl.). Weinheim: Beltz.
• Mishra, P. & Koehler, M.J. (2006): Technological pedagogical content knowledge: A framework for integrating technology in teacher knowledge. In: Teachers College Record 108(6), 1017-1054.
• Mishra, P., Warr, M. & Islam, R. (2023): TPACK in the age of ChatGPT and Generative AI. In: Journal of Digital Learning in Teacher Education, 39(4), 235-251.
• Ng, D. T. K., Leung, J. K. L., Chu, S. K. W. & Qiao, M. S. (2021): Conceptualizing AI literacy: An exploratory review. In: Computers and Education: Artificial Intelligence, 2, 100041.
• Ng, D. T. K., Leung, J. K. L., Su, J., Ng, R. C. W. & Chu, S. K. W. (2023): Teachers' AI digital competencies and twenty-first century skills in the post-pandemic world. In: Educational technology research and development: ETR & D, 71(1), 137-161.
• Noster, N., Heurich, T. Siller, H.-S. & Grafe, S. (in Vorbereitung): Knowledge of Preservice Teachers about ChatGPT from the Perspective of Mathematics Education and Media Pedagogy.
• Redecker, C. & Punie, Y. (2017): European Framework for the Digital Competence of Educators. DigCompEdu. Luxembourg: Publications Office of the European Commission.
• Ripka, G. (2023): Promoting Pre-Service Teachers´ TPACK Development in Social Virtual Reality - Practice- and Theory-Oriented Development and Evaluation of a Pedagogical Concept for Initial Teacher Education. Würzburg: JMU.
• Rowan, L., Bourke, T., L’Estrange, L., Brownlee, J. L., Ryan, M., Walker, S., & Churchward, P. (2021). How does initial teacher education research frame the challenge of preparing future teachers for student diversity in schools? A systematic review of literature. Review of Educational Research, 9(1), 112-158.
• Seufert, C., Oberdörfer, S., Roth, A., Grafe, S., Lugrin, J.-L. & Latoschik, M. E. (2022): Classroom management competency enhancement for student teachers using a fully immersive virtual classroom. In: Computers & Education, 179, 104410. https://doi.org/10.1016/j.compedu.2021.104410
• Sperling, K., Stenberg, C.-J., McGrath, C., Åkerfeldt, A., Heintz, F. & Stenliden, L. (2024): In search of artificial intelligence (AI) literacy in teacher education: A scoping review. In: Computers and Education Open, 6, 100169.
• Tulodziecki, G. (2012): Medienpädagogische Kompetenz und Standards in der Lehrerbildung. In: R. Schulz-Zander, B. Eickelmann, H. Moser, H. Niesyto & P. Grell (Hrsg.): Jahrbuch Medienpädagogik. VS Verlag für Sozialwissenschaften.
• Tulodziecki, G., Grafe, S. & Herzig, B. (2013): Gestaltungsorientierte Bildungsforschung und Didaktik. Theorie – Empirie – Praxis. Bad Heilbrunn: Klinkhardt.
• Tulodziecki, G., Grafe, S. & Herzig, B. (2021): Medienbildung in Schule und Unterricht. Bad Heilbrunn: Klinkhardt.
• Tulodziecki, G., Herzig, B. & Grafe, S. (2018): Gestaltungs- und entwicklungsorientierte Forschung als Forschungsrichtung für die Medienpädagogik. In: T. Knaus (Hrsg.): Forschungswerkstatt Medienpädagogik. Projekt - Theorie - Methode. (S. 423-448). München: kopaed.

Der Forschungsstand zur Förderung KI-bezogener Kompetenzen von Lehramtsstudierenden zeigt, dass ein Desiderat bezüglich fundierter pädagogischer Konzepte für die Hochschullehre und Evaluationsstudien besteht. Daher ist es Ziel des Projekts, theoriegeleitet ein Konzept für die bildungswissenschaftliche Hochschulschullehre zur systematischen Förderung KI-bezogener Kompetenzen von Lehramtsstudierenden unter besonderer Berücksichtigung von Diversität im Rahmen einer gestaltungsorientierten Bildungsforschung zu entwickeln, dieses zu implementieren und hinsichtlich der Zielerreichung und möglicher Nebenwirkungen zu evaluieren. Die Ergebnisse können für andere Lehramtsfächer adaptiert und damit zur Vernetzung der Lehrpersonenbildung an der JMU beitragen.

Large Language Models (LLMs) als eine Anwendung von künstlicher Intelligenz rücken zunehmend in den gesellschaftlichen wie auch den bildungspolitischen Diskurs. Seitens der ständigen wissenschaftlichen Kommission wurde beispielsweise die Forderung laut, dass LLMs Einzug in Schulen halten sollen. Da bekannt ist, dass der Einsatz von digitalen Technologien im Unterricht entsprechendes domänenspezifisches Wissen seitens der Lehrkräfte als Teil professioneller Kompetenz erfordert, widmet sich dieses Projekt der Untersuchung des Aufbaus entsprechenden Wissens zum Einsatz von LLMs im Kontext mathematischer Bildung. Grundlage hierfür bilden ein domänenspezifisches Modell zum Einsatz von Technologien in der Mathematik sowie die vorangehenden Studien des Antragsstellers.

Aktueller Kenntnis- bzw. Forschungsstand
Obwohl erste Chatbots (ohne Bezug zu künstlicher Intelligenz) vor vielen Jahrzehnten entwickelt wurden (Bii et al., 2018), zeigt eine jüngere Literaturübersicht, dass bis dato kaum Studien im Bereich mathematischer Bildung durchgeführt wurden (Kuhail et al., 2023). Auch wenn die Anzahl an Einreichungen im Kontext von ChatGPT, dem vermutlich bekanntesten Large Language Model, schnell anwächst (Liu, Han, et al., 2023), befindet sich das Forschungsfeld aus Perspektive der Bildung noch im Anfangsstadium.
Das Besondere an Large Language Models (LLMs) ist nicht nur ihr generativer Charakter oder die Fähigkeit, Anweisungen in Form von Schriftsprache zu verarbeiten, sondern auch, dass sie als „Black Box“ arbeiten, die unerwartete und möglicherweise fehlerbehafte Ergebnisse liefern kann (Mishra et al., 2023). Dies stellt eine Herausforderung für die Gestaltung von Lerngelegenheiten dar, die es seitens der Lehrkräfte zu
berücksichtigen gilt. Es konnte jedoch festgestellt werden, dass Studierende des Lehramtes durchaus in der Lage sind, bei der Gestaltung von Lehr-/Lernmaterialien diesen Herausforderungen zu begegnen, wenn auch nicht immer (Noster et al., in Druck). Die Einschränkung, dass LLMs keine zuverlässige Quelle für wahrheitsgemäße Informationen sind, wurde von Fütterer et al. (2023) hervorgehoben. Jedoch erscheint auch
fehlerhafter Output in der Regel plausibel und fehlerhafte Ausgaben aufzudecken kann sogar für Experten eine Herausforderung darstellen (Emsley, 2023). Dies scheint ebenso auf angehende Lehrkräfte zuzutreffen, da diese bei der Bearbeitung von Aufgaben mit ChatGPT häufig falsche Antworten gaben, wenn der Output von ChatGPT fehlerhaft war (Noster et al., 2024). Vieles deutet darauf hin, dass die angehenden Lehrkräfte Ihre Kompetenzen im Umgang mit LLMs – als Voraussetzung für deren Einsatz im Bildungskontext – ausbauen müssen. Zudem ist festzuhalten, dass Studierende
eher wenig Erfahrungen im Umgang mit LLMs haben, wenngleich sie sie teilweise dazu nutzen, um sich selbst Studieninhalte anzueignen (Gerber et al., in Druck, Noster et al., 2024). Die Einschätzung der Glaubwürdigkeit der Ausgaben eines Sprachmodells dürfte unter anderem durch die Erwartung an dessen Fähigkeiten beeinflusst werden. In einer Untersuchung konnte festgestellt werden, dass Studierende
die Fähigkeit von ChatGPT, mathematische Aufgaben zu bearbeiten, häufig überschätzen (Noster et al., 2024).
Es ist jedoch zu betonen, dass die Qualität und damit auch die Korrektheit der Ausgaben der LLMs durch Prompts beeinflusst werden (Liu, Yuan et al., 2023, White et al., 2023). Das sogenannte Prompt-Engineering beschäftigt sich mit der Frage nach geeigneten Prompts, um angemessene Ausgaben seitens des LLMs zu erhalten, sodass auch entsprechende Probleme gelöst werden können (Liu, Yuan et al., 2023).
Daher wird Prompt-Engineering als eine wichtige Fähigkeit für die effektive Arbeit mit LLMs angesehen (White et al., 2023). Allerdings scheinen die Fähigkeiten der Lehramtsstudierenden im Bereich des Prompt-Engineerings kaum ausgeprägt, da sich diese in der Regel auf eher rudimentäre Prompting-Techniken beschränken (Noster et al., 2024).
Insgesamt deuten die Ergebnisse darauf hin, dass Lehramtsstudierende wenig Wissen und Erfahrung zum Einsatz von LLMs für das Unterrichtsfach Mathematik mitbringen. Daher widmet sich dieses Projekt dem Aufbau von entsprechendem Wissen, zu dessen Struktur im Folgenden ein Modell vorgestellt wird.

Theoretischer Rahmen
Fachdidaktisches Wissen ist ein wichtiger Teil der professionellen Kompetenz von Lehrkräften (Döhrmann et al., 2012, Gerber et al., 2022) und findet sich auch in etablierten Modellen wieder. So beschreibt Shulman (1986), dass für Lehrkräfte neben dem pädagogischen Wissen und Fachwissen auch fachdidaktisches Wissen nötig ist. Diese Dreiteilung wurde im TPACK-Modell um eine technologische Komponente ergänzt (Koehler & Mishra, 2009). Demnach ist Wissen über die Technologie sowie die Beziehung jeweils zum Fach, zur Pädagogik und letztlich zur Fachdidaktik bedeutsam. Rocha‘ s (2013, 2020) KTMT-Modell (Knowledge for Teaching Mathematics with Technology) kann als mathematikspezifische Ausdeutung des TPACK-Modells gesehen werden. In diesem Modell sind zwei bereichsübergreifende Wissensbereiche besonders bedeutsam. Zum einen Mathematics and Technology Knowledge (MTK), in welchem die Mathematik selbst mit der Technologie in Bezug gesetzt wird. Dazu gehört Wissen über den Einfluss der Technologie auf das Fach sowie dessen mathematische Korrektheit und Genauigkeit. Zum anderen ist Teaching and Learning and Technology Knowledge (TLTK) bedeutsam. Hierbei geht es um die Wirkung der Technologie auf Lernende und mögliche Herausforderungen, die diese im Umgang mit der Technologie haben. Bezogen auf LLMs ist Wissen in diesen beiden bereichsübergreifenden Komponenten
essenziell, da die Technologie keine zuverlässige Wissensquelle darstellt. Das heißt, in Bezug auf MTK müssen (angehende) Lehrkräfte in der Lage sein, die mathematische Korrektheit der Ausgaben von LLMs zu beurteilen und zum anderen sich bewusst machen, wie sich LLMs auf Lernprozesse (TLTK) auswirken können (Noster et al., 2024). MTK dient als Voraussetzung zum Aufbau von TLTK, ist der Aufbau
dieser Komponente bereichsübergreifenden Wissens für Lehrkräfte ist somit essenziell.

Eigene Vorarbeiten

• Buchholtz, N., Schorcht, S., Baumanns, L., Huget, J., Noster, N., Rott, B., Siller., H.-St., & Sommerhoff, D. (2024). Damit rechnet niemand! Sechs Leitgedanken zu Implikationen und Forschungsbedarfen zu KI-Technologien im Mathematikunterricht. Mitteilungen der Gesellschaft für Didaktik der Mathematik 117. ojs.didaktik-der-mathematik.de/index.php/mgdm/article/view/1249
• Fock, A., Noster, N., Siller, H.-St. (in Vorbereitung). Mathematische Denk- und Arbeitsweisen von Schüler:innen bei der Projektarbeit zum Thema „Reinforcement Learning“.
• Gerber, S., Noster, N., Siller, H.-St. (in Druck). ChatGPT zur Bearbeitung von Mathematikaufgaben - Erfahrungen und Erwartungen von Lehramtsstudierenden. Beiträge zum Mathematikunterricht 2024.
• Gerber, S., Quarder, J., Greefrath, G., & Siller, H.-St. (2022). Pre-service teachers’ pedagogical Content knowledge for teaching simulations and mathematical modelling with digital tools. In J. Hodgen, E. Geraniou, G. Bolondi & F. Ferretti (Eds.). Proceedings of the Twelfth Congress of the European Research Society in Mathematics Education (CERME12) (pp. 1051–1058). ERME.
• Gerber S., Quarder J., Greefrath G., & Siller H.-St. (2023). Promoting adaptive intervention competence for teaching simulations and mathematical modelling with digital tools: Theoretical background and empirical analysis of a university course in teacher education. Frontiers in Education, 8, (#1141063). https://doi.org/10.3389/feduc.2023.1141063
• Noster, N., Gerber, S., & Siller, H.-St. (2024). Pre-Service Teachers’ Approaches in Solving Mathematics Tasks with ChatGPT. Digital Experiences in Mathematics Education. https://doi.org/10.1007/s40751-024-00155-8
• Noster, N., Gerber, S., & Siller, H.-St. (in Druck). Tasks incorporating the use of ChatGPT in mathematics education – designed by pre-service teachers. In ERME Topic Conference on Mathematics Education in the Digital Age 2024. ERME.

Ziele & Arbeitsprogramm
Im Rahmen einer vorangegangenen explorativen Studie (Noster et al., 2024) wurde mittels einer kleinen Stichprobe ein Defizit im Bereich des professionellen Wissens (MTK und TLTK) im Umgang von LLMs festgestellt. Dabei deuten sich erste Effekte auf Basis kurzzeitiger mathematikbezogener Nutzung von LLMs an. So veränderten sich bspw. Erwartungen, die Lehramtsstudierende an die Technologie haben. Anhand folgender Forschungsfragen möchten wir feststellen, inwieweit ein Defizit im Bereich des domänenbezogenen Professionswissen bei Lehramtsstudierenden besteht, inwieweit
entsprechendes Wissen durch Interventionen aufgebaut wird und inwieweit sich eine Förderung von MTK auf TLTK auswirkt.

1. (FF 1) Inwieweit besitzen Studierende des Lehramtes bereichsübergreifendes Wissen zu Mathematik und LLMs?
2. (FF 2) Inwieweit lassen sich Wirkungen auf das Professionswissens mittels (kurzer) Interventionen erzielen?
3. (FF 3) Inwieweit sind kann Wissensaufbau in den bereichsübergreifenden Wissensdomänen MTK und TLTK unabhängig voneinander erfolgen?

(FF 1) dient dazu, mögliche Defizite zu identifizieren, wofür ein entsprechendes Testinstrument entwickelt werden muss. Auf Basis der Vorstudien ist zu erwarten, dass das Wissen in diesem Bereich kaum ausgeprägt ist. Die Ergebnisse können dazu genutzt werden, entsprechende um Unterstützungsangebote zum Aufbau entsprechender Kompetenzen zu schaffen. Weiterhin soll die Effektivität kurzer Intervention, analog zur Vorstudie, untersucht werden (FF 2). Auf Basis der Erkenntnisse lassen sich Maßnahmen ableiten, die dazu dienen, in der Breite angehende Studierende und respektive aktive Lehrkräfte zu fördern. Anhand von (FF 3) wird untersucht werden, inwieweit eine Wissensförderung in MTK zu einem Anstieg von Wissen in TLTK führt, da sich trotz möglicher Abhängigkeit nicht zwangsläufig ein Effekt ergibt und eine aktive Integration des Wissens aus einer Komponente in die andere erforderlich ist.

Literatur

• Bii, P., Too, J., & Mukwa, C. (2018). Teacher attitude towards use of Chatbots in routine teaching. Universal Journal of Educational Research, 6(7), 1586–1597. https://doi.org/10.13189/ujer.2018.060719
• Döhrmann, M., Kaiser, G., & Blömeke, S. (2012). The conceptualisation of mathematics competencies in the international teacher education study TEDS-M. ZDM: The International Journal on Mathematics Education, 44(3), 325–340. https://doi.org/10.1007/s11858-012-0432-z
• Emsley, R. (2023). ChatGPT: These are not hallucinations – they‘re fabrications and falsifications. Schizo-phrenia (Heidelberg, Germany), 9(1), (#52). https://doi.org/10.1038/s41537-023-00379-4
• Fütterer, T., Fischer, C., Alekseeva, A., Chen, X., Tate, T., Warschauer, M., & Gerjets, P. (2023). Chat-GPT in education: Global reactions to AI innovations. Scientific Reports, 13(1), (#15310). https://doi.org/10.1038/s41598-023-42227-6
• Koehler, M., & Mishra, P. (2009). What is technological pedagogical content knowledge? Contemporary Issues in Technology and Teacher Education, 9(1), 60–70.
• Kuhail, M., Alturki, N., Alramlawi, S., & Alhejori, K. (2023). Interacting with educational chatbots: A systematic review. Education and Information Technologies, 28(1), 973–1018. https://doi.org/10.1007/s10639-022-11177-3
• Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H., & Neubig, G. (2023). Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, 55(9), (#195). https://doi.org/10.1145/3560815
• Liu, Y., Han, T., Ma, S., Zhang, J., Yang, Y., Tian, J., He, H., Li, A., He, M., Liu, Z., Wu, Z., Zhao, L., Zhu, D., Li, X., Qiang, N., Shen, D., Liu, T., & Ge, B. (2023). Summary of ChatGPT-Related research and perspective towards the future of large language models. Meta-Radiology, 1(2), (#100017). https://doi.org/10.1016/j.metrad.2023.100017
• Mishra, P., Warr, M., & Islam, R. (2023). TPACK in the age of ChatGPT and generative AI. Journal of Digital Learning in Teacher Education, 39(4), 235–251. https://doi.org/10.1080/21532974.2023.2247480
• Rocha, H. (2013). Knowledge for teaching mathematics with technology: A new framework of teacher knowedge. In A. Lindmeier & A. Heinze (Eds.), Proceedings of the 37th Conference of the International Group for the Psychology of Mathematics Education (vol. 4, 105–112). PME.
• Rocha, H. (2020). Using tasks to develop pre-service teachers’ knowledge for teaching mathematics with digital technology. ZDM: Mathematics Education, 52(7), 1381–1396. https://doi.org/10.1007/s11858-020-01195-1
• Shulman, L. (1986). Those who understand: Knowledge growth in teaching. Educational Researcher, 15(2), 4–14. https://doi.org/10.2307/1175860
• Ständige Wissenschaftliche Kommission der Kultusministerkonferenz (SWK) (2024). Large Language Models und ihre Potenziale im Bildungssystem. Impulspapier der Ständigen Wissenschaftlichen Kommission (SWK) der Kultusministerkonferenz. https://doi.org/10.25656/01:28303
• White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, H., Elnashara, A., Spencer-Smith, J., & Schmidt, D. (2023). A prompt pattern catalog to enhance prompt engineering with ChatGPT. ArXiv. doi.org/10.48550/ar-Xiv.2302.11382

Large Language Models (LLMs) als eine Anwendung von künstlicher Intelligenz rücken zunehmend in den gesellschaftlichen wie auch den bildungspolitischen Diskurs. Seitens der ständigen wissenschaftlichen Kommission wurde beispielsweise die Forderung laut, dass LLMs Einzug in Schulen halten sollen. Da bekannt ist, dass der Einsatz von digitalen Technologien im Unterricht entsprechendes domänenspezifisches Wissen seitens der Lehrkräfte als Teil professioneller Kompetenz erfordert, widmet sich dieses Projekt der Untersuchung des Aufbaus entsprechenden Wissens zum Einsatz von LLMs im Kontext mathematischer Bildung. Grundlage hierfür bilden ein domänen-spezifisches Modell zum Einsatz von Technologien in der Mathematik sowie die voran-gehenden Studien des Antragsstellers.

Die Nutzung künstlicher Intelligenz (KI) in der Hochschullehre, setzt voraus, dass die Lernenden eine ausreichende Akzeptanz gegenüber dieser Technologie zeigen. Der reflektierte und verantwortungsvolle Umgang erfordert darüber hinaus notwendige Kompetenzen im Umgang mit KI. Im Rahmen einer Studie unter Lehramtsstudierenden verschiedener Schularten und Fachrichtungen sollen die Einstellungen sowie die selbsteingeschätzten und getesteten Kompetenzen bezüglich KI (AI-Literacy) erhoben werden. Zusätzlich soll ein KI-Chatbot basierend auf dem bekannten Modell ChatGPT im Lehr- Lern-Labor-Seminar Physik genutzt werden, um Studierende bei der strukturierten Reflexion ihrer ersten Unterrichtserfahrungen zu begleiten und zu unterstützen.

1. Kurzzusammenfassung
Das Projekt untersucht die Entwicklung und den Einsatz von KI-gestützten Tools für adaptiven Fremdsprachenunterricht. Es fokussiert auf die Kompetenzen angehender Lehrkräfte im Umgang mit KI-Technologien, die künftig die Fremdsprachendidaktik beeinflussen werden. Forschungsschwerpunkte sind die Auswirkungen von KI auf das Sprachlernen, das Verständnis und die Nutzung von KI durch Studierende sowie die Rolle von KI-Tools in Sprachmittlung und -bewusstheit.

2. Forschungsstand
Angesichts der rasanten Entwicklung digitaler Medien müssen aktuelle Diskussionen zur Medienkompetenz, die ein zentrales Bildungsziel des 21. Jahrhunderts ist, überdacht und angepasst werden (Ackeren et al. 2020). Auch die Fremdsprachendidaktik hat dieses Thema aufgegriffen und beleuchtet die Aspekte dieses sich schnell entwickelnden Forschungsfeldes. (vgl. z.B. Ciezka 2024; Eisenmann 2022; Eisenmann & Steinbock 2024 & 2023a & b; Mehlhorn et al. 2021; Rossa 2019; Ketzer-Nöltge & Markovic 2022; Will et al. 2022). Dabei stehen nicht nur die Potenziale der Digitalität für das Fremdsprachenlernen im Vordergrund, sondern auch die kritische Einordnung eines angenommenen und tatsächlichen Mehrwerts digitaler Technologien für den Fremdsprachenunterricht (vgl. Grünewald 2019; Viebrock 2019).
Seit Jahren bringt die Digitalisierung neue Dynamiken ins Klassenzimmer und die Weiterentwicklung durch Künstliche Intelligenz (KI) stellt einen bedeutenden Fortschritt dar, der mit ständig wechselnden Kompetenzerwartungen für Lehrende und Lernende einhergeht (vgl. Lütge & Merse 2021:11; Ludwig 2022:8). Die Einordnung von KI in die Fremdsprachendidaktik ist daher unerlässlich, und die Fachliteratur zeigt eine zunehmende Analyse und kritische Reflexion des Begriffs (Pandarova et al. 2019).
Der aktuelle Forschungsstand belegt, dass KI sowohl für Lernende als auch Lehrende transformative Potenziale besitzt. Die Forschung zur Nutzung von KI im Englischunterricht (Schmidt & Strasser 2022; Strasser 2023) hebt Potenziale wie die Personalisierung des Lernens, automatisiertes Feedback und KI-gestützte Konversationssysteme hervor, die das Lernen effektiver und motivierender gestalten können. Gleichzeitig müssen ethische Fragen und Datenschutzprobleme geklärt werden, während zukünftige Forschung die Integration menschlicher Interaktion mit KI-gestütztem Lernen weiter untersuchen muss, um optimale Lernergebnisse zu erzielen.

3. Eigene Vorarbeiten
Vorarbeiten im Bereich der Fremdsprachendidaktik wurden im Rahmen der BMBFgeförderten Projekte „CoTeach“ (2020–2023) und „DISO-SGW“ (2023–2025) geleistet. Im CoTeach-Projekt wurde interkulturelles Lernen in einer Social Virtual Reality (SVR)-Umgebung erforscht. Dabei wurde gezeigt, dass immersive Begegnungssituationen nicht nur das kognitive Wissen über eigene und fremde Kulturen vertiefen, sondern auch affektive Offenheit und konative Verhaltensänderungen fördern, die zu einer messbaren interkulturellen Kommunikationskompetenz führen (Eisenmann & Steinbock 2023b).
Das laufende DISO-SGW-Projekt entwickelt ein Fortbildungsmodul für Fremdsprachenlehrkräfte, das darauf abzielt, durch korpusbasierten und diversitätssensiblen Englischunterricht inter- und transkulturelle Kompetenzen zu fördern. SVR spielt auch hier die zentrale Rolle zum Aufbau einer ethisch-reflexiven digitalen Souveränität der Lehrpersonen. Aufbauend auf den Ergebnissen des CoTeach-Projekts wird gezeigt, wie SVR-Technologien durch Konzepte wie Präsenz, Immersion, Verkörperung, Handlungsfähigkeit und Empathie die multimediale, multimodale und interaktive Alltagswelt widerspiegeln und somit lernförderliche Interaktionen mit virtuellen Peers und Objekten im Englischunterricht ermöglichen. Nach der Evaluation und Optimierung der entwickelten Module ist ein bundesweiter Transfer der Ergebnisse geplant.

Publikationen:

• Eisenmann, M. & Steinbock, J. (2024). Diversity in the Foreign Language Classroom: A Social Virtual Reality Project. In Mañoso-Pacheco, L., Estrada Chichón, J. & Sánchez-Cabrero, R. (Eds.), Inclusive Education in Bilingual and Plurilingual Programs (pp. 265-280). IGI Global. doi.org/10.4018/979-8-3693-0563-8.ch014
• Eisenmann, M., Steinbock, J., Hein, R., Latoschik, M. & Wienrich, C. Virtual Reality im modernen Englischunterricht und das Potenzial für Inter- und Transkulturelles Lernen. Eine Pilotstudie. MedienPädagogik Zeitschrift für Theorie und Praxis der Medienbildung, 5, pp. 191-213. DOI: https://doi.org/10.21240/mpaed/51/2023.01.18.X
• Eisenmann, M. Hein, R., Latoschik, M., Erich, M. & Wienrich, C. (2021). Development of the InteractionSuitcase in virtual reality to support inter- and transcultural learning processes in English as Foreign Language education. DELFI 2021. Gesellschaft für Informatik e.V., pp. 91-96.
• Eisenmann, M. (2021). Differentiation Through Digital Teaching and Learning“. In Lütge, C. & Merse, T. (Eds.). Digital Teaching and Learning: Perspectives for English Language Education, pp.103-123. Narr.

Publikationen (2024, im Druck):

• Eisenmann, M. et al. (fc). Social Virtual Reality for Inter- and Transcultural Learning and Teaching in English Lessons. CoTeach - Connected Teacher Education. Interdisziplinäre Zusammenarbeit in digitalen Lernkonzepten und innovativen Lernformaten in der Lehrpersonenbildung. Springer.
• Eisenmann, M. et al. (fc). Das StoryTimE-Projekt – Ergebnisse einer Pilotstudie zur Rolle des Feedbacks im digital gestützten Englischunterricht. In Flügel, A., Lange, J., Müller-Neandrup & Wiesemann, J. (Eds.). Jahrbuch Grundschulforschung. Klinkhardt.
• Eisenmann, M. et al. (fc). Digital Storytelling im Englischunterricht der Grundschule aus fremdsprachendidaktischer, medienpädagogischer und kreativitätspädagogischer Perspektive. ZFF - Zeitschrift für Fremdsprachenforschung.
• Eisenmann, M. & Steinbock, J. (fc.) Promoting global citizenship education in EFL teacher education: Immersive anti-bias training through social virtual reality. In Summer, T. & Gießler, R. (Eds.) Textualities and digital spaces in ELT. NarrFranckeAttempto.
• Eisenmann, M. & Steinbock, J. (fc). Global Citizenship Education in virtueller Realität – ein interdisziplinäres Forschungsprojekt. In Kulovics, N., Mentz, O. & Raith, T. (Eds.). DGFFTagungsband.
  Schneider Hohengehren.
• Eisenmann, M. & Steinbock, J. (fc). Rassismuskritischer Englischunterricht in Social Virtual Reality. ZFF - Zeitschrift für Fremdsprachenforschung.
• Eisenmann, M., Grünewald, A. & Summer, T. (fc). Developing foreign language teacher training modules with a focus on AI and VR / Training Foreign Language Teachers in the Use of AI and VR: Project Insights. In Summer, T. & Gießler, R. (Eds.). Textualities and digital spaces in ELT. NarrFranckeAttempto.

4. Ziele
Aufbauend auf den oben beschriebenen Forschungsstand und den Vorarbeiten untersucht das Projekt die Entwicklung von KI-gestützten Tools zur Förderung adaptiver und individualisierter Praktiken im Fremdsprachenunterricht. Dabei liegt der Fokus auf der Erforschung und Förderung von Kompetenzen im Umgang mit KI-Technologien, die für angehende Fremdsprachenlehrkräfte relevant sind. Hierbei wird KI als ein breites, zahlreiche Technologien umfassendes Feld verstanden, welches künftig die Fremdsprachendidaktik beeinflussen wird. Wichtige Forschungsschwerpunkte sind wie folgt:

• Wie beeinflussen unterschiedliche KI-Konzepte und -Methoden das fremdsprachliche Lernen der Zukunft?
• In welchem Maße können Studierende die Funktionsprinzipien von KI-Technologien verstehen und für fundierte fremdsprachendidaktische Entscheidungen nutzen?
• Welche Rolle spielen KI-gestützte Tools in der Sprachmittlung und der Förderung von Sprachbewusstheit und Sprachlernkompetenz?

Die Projektergebnisse werden fortlaufend evaluiert und optimiert, um sie bestmöglich in den Lehramtskontext zu integrieren. Langfristig sollen die entwickelten Prototypen und Erkenntnisse zur Weiterentwicklung der Ausbildung von Fremdsprachenlehrkräften beitragen.

5. Arbeitsprogramm
Im Rahmen des Projekts wird ein prototypisches, lernpfadgestütztes System entwickelt, das Lehramtsstudierende im Fach Englisch dazu befähigt, digitale Souveränität im Umgang mit KIbasierten Tools zu erlangen. Diese Tools werden gemeinsam mit den Studierenden in Seminaren entwickelt, in Lehr-Lern-Situationen erprobt und hinsichtlich ihrer Wirkung, beispielsweise als Scaffolding-Elemente (wie in Punkt 2 beschrieben), empirisch untersucht. Diese Vorgehensweise vereint Strukturierung, Flexibilität, empirische Datenerfassung und individualisiertes Lernen. Es besteht aus einer Reihe von Lernmodulen und Aufgaben, die sequenziell durchlaufen werden, um gezielte Kompetenzen zu erwerben und effizient einen Prototypen zu erstellen. Ziel ist es, den Lernprozess durch strukturierte Anleitung zu optimieren und praxisnah zu gestalten.
Geplante Arbeitsschritte:
Im Rahmen eines Seminars für Lehramtsstudierende im Fach Englisch werden die Teilnehmenden in die Nutzung KI-basierter Tools eingeführt, die sich besonders für Sprachmittlung, Sprachbewusstheit und Sprachlernkompetenz im Fremdsprachenunterricht eignen (z. B. ChatGPT, DeepL). Nach einer kurzen Vorstellung des Seminarinhalts und der Bereitstellung relevanter Informationen werden praktische Unterrichtsbeispiele präsentiert und deren Anwendung im Fremdsprachenunterricht diskutiert. Ein begleitendes Online-Diskussionsforum ermöglicht den Austausch sowie den Zugriff auf ein Glossar und eine Bibliothek mit Profilen von über 20 KI-Tools, die für den Unterricht relevant sind.
Zu Beginn füllen die Studierenden einen Online-Fragebogen aus, um Vorwissen, digitale Kompetenzen und Erwartungen zu erfassen. Diese Informationen fließen in die Seminarplanung ein. Im zweiten Schritt erfolgt eine gemeinsame kritische Reflexion der Tools, mit dem Ziel, Unterrichtsaktivitäten zu entwickeln und – wenn möglich – in der Praxis zu erproben. Abschließend wird die Umsetzung der Aktivitäten und das Seminarkonzept evaluiert.
Das Seminarkonzept dient gleichzeitig als Pilotphase, in der Daten mittels (Online-)Fragebögen im Pre-Post-Design, Gruppendiskussionen und Experteninterviews erhoben werden, um die Relevanz des Themas, der didaktischen Methoden und der Seminarinhalte zu überprüfen. Erste Überarbeitungen sollen auf Feedback der Studierenden eingehen. Hier ist zu erwarten, dass Studierende den Wunsch nach mehr Orientierung bei der Auswahl der Lerninhalte äußern. Auch könnte die Vielzahl der angebotenen Unterrichtsbeispiele sowie die große Auswahl an KI-Tools als potenziell überwältigend wahrgenommen werden. Herausforderungen werden in der Transferphase erwartet, insbesondere hinsichtlich der Verbindlichkeit und der verfügbaren Zeit zur praktischen Umsetzung. Eine intensivere Zusammenarbeit bei der Analyse und Anpassung der Unterrichtsbeispiele an spezifische KITools könnte notwendig werden. Diese Erkenntnisse werden in zukünftigen Seminaren berücksichtigt und weiterentwickelt.

6. Literatur

• van Ackeren, I., Aufenanger, S., Eickelmann, B., Friedrich, S., Kammerl, R., Knopf, J., Mayrberger, K., Scheika, H., Scheiter, K., & Schiefner-Rohs, M. (2020). Digitalisierung in der Lehrerbildung. Herausforderungen, Entwicklungsfelder und Förderung von Gesamtkonzepten. Die Deutsche Schule, 111, pp. 103-109. https://doi.org/10.25656/01:19046.
• Ciezka, A. (2024). Generative KI-Tools: Die Zukunft des kreativen Lernens. Zeitschrift für Interkulturellen Fremdsprachenunterricht. MehrSprachen Lernen und Lehren, 29, pp. 375-405.
• Eisenmann, M. & Steinbock, J. (2024). Global Citizenship in Social Virtual Reality for Future English Teachers. In Domenech, J., Menéndez Álvarez-Hevia, D., Martínez-Varea, A., Llácer-Iglesias, R. & Brunetto, D. (Eds.) 10th International Conference on Higher Education Advances (HEAd'24), pp.83-90. Editorial Universitat Politècnica de València. (Awarded as one of the five best papers)
• Eisenmann, M. & Steinbock, J. (2023a). Vorwort. ZFF - Zeitschrift für Fremdsprachenforschung, 34(1), pp. 3-7.
• Eisenmann, M. & Steinbock, J. (2023b). Inter- und Transkulturelles Lernen in Social Virtual Reality. ZFF - Zeitschrift für Fremdsprachenforschung, 34, pp. 29-52.
• Eisenmann, M. (2022). Edu apps in EFL teaching. In Lütge, C. (Ed.). Foreign Language Learning in the Digital Age, pp. 209-222. Routledge DOI: 10-4324/9781003032083-18.
• Grünewald, A. (2019). Digitaler Wandel – Warum überhaupt noch Fremdsprachen in der Schule lernen?. In Burwitz-Melzer, E., Königs, F. G., Riemer, C. & Schmelter, L. (Eds.). Lehren und Lernen im digitalen Wandel. Arbeitspapiere der 38. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts. pp. 80-89. Narr.
• Ketzer-Nöltge, A. & Markovic, M. (2022). Fostering Pre-Service Teachers’ Informa-tion and Critical Digital Literacy Skills through a COIL Project. International Journal of TESOL Studies Special Issue on Teaching and Teacher Development in Technology-en-hanced Language Learning, 4, pp. 125-142.
• Lütge, C. & Merse, T. (Eds.). (2021). Digital Teaching and Learning. Narr.
• Ludwig, C. (2022). Digital Englisch unterrichten. Klett.
• Mehlhorn, G., Fiedler, S. & Balaz, P. (2021). Sprachenlernen mit digitalen Medien: Vorstellung des Erasmusprojekts TestU. In Brosch, C. R. & Fiedler; S. (Eds.). Jahrbuch der Gesellschaft für Interlinguistik, pp. 91-103. Leipziger Universitätsverlag.
• Mustroph, C. (2020). Digital Teaching and Learning: A Practical View. In Lütge, C. & Merse, T. (Eds.). Digital Teaching and Learning: Perspectives for English Language Education, pp. 257-270. Narr.
• Pandarova, I., Schmidt, T., Hartig, J., Boubekki, A., Jones, R. D., & Brefeld, U. (2019). Predicting the Difficulty of Exercise Items for Dynamic Difficulty Adaptation in Adaptive Language Tutoring. International Journal of Artificial Intelligence in Education, 29, pp. 342–367. https://doi.org/10.1007/s40593-019-00180-4.
• Rossa, H. (2019): Der digitale Wandel als Entwicklungsaufgabe für den Fremdsprachenunterricht. Augmenting the reality of language teaching. In Burwitz-Melzer, E., Riemer, C., & Schmelter, L. (Eds.). Arbeitspapiere der 39. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts, pp. 195-204. Narr.
• Schmidt, T., & Strasser, T. (2022). Artificial Intelligence in Foreign Language Learning and Teaching. Anglistik, 33(1), 165–184. https://doi.org/10.33675/ANGL/2022/1/14
• Strasser, T. (2023). Schwache KIs, starke Performanz? Form und Wirkung von KI-gestützten Erklärvideos im Englischgrammatikunterricht der Unterstufe. ZFF – Zeitschrift für Fremdsprachenforschung, 34(1), pp. 75-102.
• Viebrock, B. (2019): Alles digital?! Auswirkungen der Digitalisierung auf Fremdsprachendidaktik und Fremdsprachenunterricht. In Burwitz-Meltzer, E., Königs, F. G., Riemer, C., Schmelter, L., (Eds.). Das Lehren und Lernen von Fremd- und Zweitspra-chen im digitalen Wandel. 39. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts., pp. 269-280. Narr.
• Will, L., Kurtz, J., Zeyer, T. & Martinez, H. (Eds.). (2022). Dimensionen digitaler Lehre in der universitären Fremdsprachenlehrkräftebildung. Narr.

Das Projekt untersucht die Entwicklung und den Einsatz von KI-gestützten Tools für adaptiven Fremdsprachenunterricht. Es fokussiert auf die Kompetenzen angehender Lehrkräfte im Umgang mit KI-Technologien, die künftig die Fremdsprachendidaktik beeinflussen werden. Forschungsschwerpunkte sind die Auswirkungen von KI auf das Sprachlernen, das Verständnis und die Nutzung von KI durch Studierende sowie die Rolle von KI-Tools in Sprachmittlung und - bewusstheit.

Kurzzusammenfassung
Methoden der Künstlichen Intelligenz (KI) wie die großen Sprachmodelle (Large Language Models, LLM) haben das Potenzial, präzise Rückmeldungen zu generieren und so Lernprozesse
adaptiv und effektiv zu unterstützen. In unserem Projekt sollen diese Methoden genutzt werden, um Lernenden intelligentes tutorielles Feedback zur Beantwortung generativer Lernaufgaben (wie offene Antworten in Übungstests, Zusammenfassungen oder Aufsätze) zu geben. Solche generativen Lernaufgaben sind außerordentlich lernförderlich, allerdings nur dann, wenn sie mit informativem und zeitnahem Feedback verknüpft werden. Wir erforschen in einem ersten Schritt das Potenzial der Verknüpfung generativer Lernaufgaben mit KI-erzeugtem intelligenten tutoriellen Feedback in der Lehramtsausbildung. Dabei sollen Lehramtsstudierende in die Entwicklung entsprechender didaktischer Werkzeuge und ihre Wirksamkeitsprüfung einbezogen werden. Auf dieser Basis werden in einem zweiten Schritt digitale Schulungsmaterialien entwickelt, mit denen (angehende) Lehrkräfte vertiefte Kenntnisse in der Anwendung von LLM zur Förderung generativer Lernaktivitäten im Unterricht kennenlernen. Der Beitrag dieser Schulungsmaterialien für die Entwicklung KI-bezogener Kompetenzen (angehender) Lehrpersonen wird in einem dritten Schritt systematisch evaluiert.

Stand der Forschung
Eins-zu-eins-Betreuung wird generell als der Goldstandard in der Wissensvermittlung angesehen (Koschmann, 1996). Menschliche Tutor(inn)en sind in der Lage, den Lernprozess effizient zu steuern und das Wissen und die Fähigkeiten von Schüler(inne)n deutlich zu steigern (Bloom, 1984). In Schulklassen oder der universitären Lehre kann eine solche Situation jedoch nur sehr schwer hergestellt werden, da durch das ungünstige Verhältnis von Lernenden zu Lehrenden das Ausmaß an Feedback gering ausfällt. Fehlendes Feedback oder ungünstige Leistungsrückmeldungen können zu ausbleibendem Lernerfolg führen (Bangert-Downs et al., 1991). Lernprogramme, die eine 1:1-Situation auch nur annähernd so gekonnt umsetzen wie eine menschliche Lehrkraft, versprechen enorme Potenziale für den Wissens- und Fähigkeitserwerb an Schule und Hochschule. Intelligente Tutorielle Systeme (ITS) sollen dieses Versprechen einlösen, indem sie die Lernenden zu einer intensiven Auseinandersetzung mit einer Thematik animieren und auf der Basis eines tiefergehenden Verständnisses für die Lernprozesse mit den Lernenden interagieren (Corbett et al., 1997, S. 849). Sie geben individualisiertes Feedback und entlasten Lehrkräfte, damit diese sich intensiv um jene Lernenden kümmern können, die einer besonders intensiven Förderung bedürfen. Ein großer Nachteil von ITS war bislang ihre begrenzte Fähigkeit, mit natürlicher Sprache umzugehen und unbekanntes
Vokabular zu verarbeiten (Puppe, 1992). Dieses begrenzte Potenzial zur Verarbeitung natürlicher Sprache durch Computer setzte lange Zeit der Anwendung tutorieller Systeme enge Grenzen. Bereits einen großen Fortschritt zur Lösung dieses Problems markiert ein Verfahren der automatischen Sprachverarbeitung mit der Bezeichnung latente semantische Analyse (LSA; Deerwester et al., 1990), das den semantischen Gehalt von Wörtern und Texten in Vektorräumen repräsentiert und für Berechnungen verfügbar macht. Die neueren Entwicklungen von LLM stellen demgegenüber einen weiteren deutlichen Qualitätssprung in
der Verarbeitung menschlicher Sprache dar (Lenhard & Lenhard, preprint). Diese Technologie ermöglicht es, dass ITS menschliche Tutor(inn)en in der Unterstützung bestimmter Lernprozesse mindestens approximieren, wenn nicht punktuell sogar übertreffen können.

Besonders vielversprechend scheint die Verbindung von LLM mit generativen Lernaktivitäten, bei denen Lernende nach dem Lernen Kurzantwortfragen beantworten (Abrufübung/retrieval practice, Adesope et al., 2017; Greving & Richter, 2018), Zusammenfassungen erstellen (Donoghue & Hattie, 2021), eigenständig Teile des Lernstoffs generieren anstatt ihn lediglich zu rezipieren (Schindler & Richter, 2023) oder bereits vor dem Lernen Fragen zu den Lerninhalten beantworten (prequestioning/pretesting, Pan & Carpenter, 2023). Alle diese Lernaktivitäten können den Lernerfolg wesentlich verbessern, indem sie das Gelernte konsolidieren bzw. zu einem tiefen Verständnis der Lerninhalte beitragen und so nachhaltiges, anwendbares und transferierbares Wissen schaffen (Richter et al., 2022). Allerdings hängt ihre Lernwirksamkeit wesentlich davon ab, dass die Lernenden eine informative und zeitnahe Rückmeldung über die Richtigkeit und Angemessenheit ihrer Antworten erhalten, je nach Aufgabe auch elaboratives Feedback mit gezielten Hinweisen auf Verbesserungsmöglichkeiten bzw. alternative Lösungen (z. B. Bangert-Drowns et al., 1991; Mertens et al., 2022; Swart et al., 2019). Eine individuelle und engmaschige tutorielle Betreuung, die diese Form des Feedbacks ermöglichen würde, lässt sich im Unterricht in der Regel nicht umsetzen. ITS, die auf LLM beruhen, können diese Lücke womöglich schließen. Bislang existiert allerdings noch kaum systematische Forschung zu der Frage, ob und wie LLM-gestütztes automatisiertes Feedback zur Lernwirksamkeit generativer Lernaktivitäten beiträgt. Zudem ist aufgrund der rasanten Entwicklung der KI davon auszugehen, dass der Informations- und Qualifizierungsbedarf bei (angehenden) Lehrkräften hoch ist, auch wenn aussagekräftige Erhebungen zu dieser Frage unseres Wissens bislang noch nicht existieren.

Eigene Vorarbeiten
Im DFG-Forschungsprojekt „Entwicklung eines Computergeleiteten Trainings zur Verbesserung des Lernens aus Texten“ (2005-2007 und 2008 -2011) haben wir LSA-Algorithmen implementiert und erfolgreich auf eine Reihe an Fragestellungen angewandt, darunter die Bearbeitung von Wissenstests (Lenhard et al., 2007), die automatische Aufsatzbewertung (Literatur) und die Konstruktion intelligenter tutorieller Systeme (vgl. Lenhard, 2009), mit denen Studierende automatisierte Rückmeldungen zur Inhaltsabdeckung in Aufsatzaufgaben erhalten. In dem von uns entwickelten Tutorprogramm conText (Lenhard et al., 2012, 2013; https://www.psychometrica.de/context.html) werden Lesestrategien implizit vermittelt, indem Schülerinnen und Schüler Texte zusammenfassen und unmittelbar formatives Feedback erhalten (für die Lernwirksamkeit s. Lenhard et al., 2011). Zudem haben wir im Rahmen des ersten PSE-Promotionskollegs (2017-2020), des CoTeach-Projekts (BMBF-Qualitätsoffensive Lehrerbildung) (2020-2023) und der DFG-Forschungsgruppe „Lasting learning: Cognitive mechanisms and effective instructional implementation“ (seit 2022) umfangreiche Forschung zu generativen Lernaktivitäten und zur Abrufübung in  authentischen Lehr-Lernsituationen durchgeführt (z. B. Glaser & Richter, 2023a, 2023b; Richter et al., 2022; Schindler & Richter, 2023) und dabei auch die Rolle von Feedback untersucht (z. B. Greving, Lenhard & Richter, 2020, 2022). Auf den Ergebnissen beider Forschungslinien und den dabei gesammelten Erfahrungen baut das vorgeschlagene Forschungsprojekt auf. Schließlich verfügen beide Antragsteller über umfangreiche Erfahrungen in der Entwicklung, Durchführung und methodisch stringenten Evaluation von Informations- und Qualifizierungsmaßnahmen für Lehrkräfte, die für den dritten Projektschritt relevant sind.

Ziele
Ziel des Projekts ist die Entwicklung eines ITS auf Basis von LLM und die Erforschung der Lernwirksamkeit tutorieller Rückmeldungen in Kombination mit generativen Lernaufgaben auf Lernprozesse und Lernergebnisse. Die Projektziele umfassen die Entwicklung, anwendungsbezogene Forschung, Grundlagenforschung sowie die Entwicklung und Evaluation von Informations- und Schulungsmaßnahmen für Lehrkräfte. Die Ziele im Einzelnen:

1. Integration des frei verfügbaren Sprachmodells XLM-RoBERTa (Modell, das auch vom PISA-Konsortium zur Bewertung offener Antworten verwendet wird) in conText und in unsere Forschungsinfrastruktur
2. Implementation von Algorithmen des Textvergleichs von Texten/Kurzantworten und Ideallösungen auf der Basis der Tensoren und Embeddings der Ausgangsschichten des Sprachmodells. Hierzu zählen Cosinus-Maße, euklidische Distanz und Verfahren aus dem Bereich Pattern Recognition, insbesondere Support Vector Machines
3. Bestimmung der Güte der Ähnlichkeitsmaße anhand manuell bewerteter, von Studierenden generierter Texte
4. Experimentelle Untersuchung der Auswirkung interaktiven Feedbacks beim Schreiben von Textzusammenfassungen und bei der Abrufübung (retrieva practice) mit Kurzanwortfragen
5. Veröffentlichung der Lernumgebung für die Nutzung durch Lehrkräfte und Entwicklung und Evaluation von Informations- und Schulungsmaßnahmen zur Entwicklung KI-bezogener Kompetenzen bei Lehrkräften

Arbeitsprogramm (ausgelegt auf 36 Monate)

Literatur

• Adesope, O. O., Trevisan, D. A. & Sundararajan, N. (2017). Rethinking the use of tests: Ameta-analysis of practice testing. Review of Educational R̶esearch, 87(3), 659-701. https://doi.org/10.3102/0034654316689306
• Bangert-Drowns, R. L., Kulik, C. L., Kulik, J. A. & Morgan, M. (1991). The instructional effect of feedback in test-like events. Review of Educational Research, 61, 213-238. https://doi.org/10.3102/00346543061002213
• Bloom, B. S. (1984). The 2 Sigma Problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational Researcher, 13, 4-16.
• Corbett, A. T., Koedinger, K. R. & Anderson, J. R. (1997). Intelligent tutoring systems. In M. G. Helander, T. K. Landauer & P. V. Prabhu (Eds.), Handbook of Human-Computer Interaction (pp. 849-874). Elsevier Science.
• Deerwester, S., Dumais, S. T., Furnas, G. W., Landauer, T. K. & Harshman, R. (1990). Indexing by Latent Semantic Analysis. Journal of the American Society for Information Science, 41, 391-407.
• Donoghue, G. M. & Hattie, J. A. (2021). A meta-analysis of ten learning techniques. Frontiers in Education, 6, Article 581216. https://doi.org/10.3389/feduc.2021.581216
• Glaser, J. & Richter, T. (2023a). The testing effect in the lecture hall: Does it transfer to content studied but not practiced? Teaching of Psychology. https://doi.org/10.1177/00986283231218943
• Glaser, J. & Richter, T. (2023b). The testing effect in the lecture hall: Does it depend on learner prerequisites? Psychology Learning and Teaching, 22(2), 159-178. https://doi.org/10.1177/14757257221136660
• Greving, S., Lenhard, W. & Richter, T. (2020). Adaptive retrieval practice with multiple-choice questions in the university classroom. Journal of Computer Assisted Learning, 36, 799-809. https://doi.org/10.1111/jcal.12445
• Greving, S., Lenhard, W. & Richter, T. (2022). The testing effect in university teaching: Using multiple-choice testing to promote retention of highly retrievable information. Teaching of Psychology, 50(4), 332-341. https://doi.org/10/1177/00986283211061204
• Greving, S. & Richter, T. (2018). Examining the testing effect in university teaching: Retrievability and question format matter. Frontiers in Psychology, 9, Article 2412. https://doi.org/10.3389/fpsyg.2018.02412
• Koschmann, T. (1996). Paradigm shifts and instructional technology: An introduction. In T. Koschmann (Ed.), CSCL: Theory and practice (pp. 1-23). Lawrence Erlbaum Associates.
• Lenhard, W. (2009). Der Einsatz intelligenter tutorieller Systeme zur Vermittlung von Leseverständnisstrategien. In W. Lenhard & W. Schneider (Hrsg.), Diagnostik und Förderung des Leseverständnisses (S. 227-242). Göttingen: Hogrefe.
• Lenhard, W. & Lenhard, A. (preprint). Beyond human boundaries: Exploring the pro-ficiency of AI technology and its potential in psychometric test construction. PsyArXiv. https://doi.org/10.31234/osf.io/jpr2t
• Lenhard, W., Baier, H., Endlich, D., Schneider, W. & Hofmann, J. (2011). Rethinking strategy instruction: Effects of implicit versus explicit reading strategy trainings. Journal of Research in
  Reading, 36(2), 223-240. https://doi.org/10.1111/j.1467-9817.2011.01505.x
• Lenhard, W., Baier, H., Endlich, D., Lenhard, A., Schneider, W. & Hoffmann, J. (2012). Computerunterstützte Leseverständnisförderung: Die Effekte automatisch generierter Rückmeldungen.
  Zeitschrift für Pädagogische Psychologie, 26(2), 135-148. https://doi.org/10.1024/1010-0652/a000066
• Lenhard, W., Baier, H., Hoffmann, J. & Schneider, W. (2007). Automatische Bewertung offener Antworten mittels Latenter Semantischer Analyse. Diagnostica, 53, 155-165.
• Lenhard, W., Baier, H., Lenhard, A., Hoffmann, J. & Schneider, W. (2013). conText: Förderung des Leseverständnisses durch das Arbeiten mit Texten. Hogrefe.
• Mertens, U., Finn, B. & Lindner, M. A. (2022). Effects of computer-based feedback on lowerand higher-order learning outcomes: A network meta-analysis. Journal of Educational Psychology,
  114(8), 1743-1772. https://doi.org/10.1037/edu0000764 Pan, S. C. & Carpenter, S. K. (2023). Prequestioning and pretesting effects: a review of empirical research, theoretical perspectives, and implications for educational practice. Educational Psychology Review, 35(4), Article 97. https://doi.org/10.1007/s10648-023-09814-5
• Puppe, F. (1992). Intelligente Tutorsysteme. Informatik-Spektrum, 15, 195-207.
• Richter, T., Berger, R., Ebersbach, M., Eitel, A., Endres, T., Borromeo Ferri, R., Hänze, M., Lachner, A., Leutner, D., Lipowsky, F., Nemeth, L., Renkl, A., Roelle, J., Rummer R., Scheiter, K., Schweppe J., von Aufschnaiter, C. & Vorholzer, A. (2022). How to promote lasting learning in schools: Theoretical approaches and an agenda for research. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie/German Journal of Developmental Psychology and Educational Psychology, 54(4), 135-141. https://doi.org/10.1026/0049-8637/a000258
• Schindler, J. & Richter, T. (2023). Text generation benefits learning: A meta-analytic review. Educational Psychology Review, 35, Article 44. https://doi.org/10.1007/s10648-023-09758-w
• Swart, E. K., Nielen, T. M. & Sikkema-de Jong, M. T. (2019). Supporting learning from text: A meta-analysis on the timing and content of effective feedback. Educational Research Review, 28, Article 100296. https://doi.org/10.3102/00346543061002213

Eigene, themenbezogene Publikationen

• Ahat, M., Lenhard W., Baier H., Hoareau V., Jhean-Larose S. & Denhière G. (2007). Le concours DEFT'07 envisagé du point de vue de l’Analyse de la Sémantique Latente (LSA). Actes de l'atelier DEFT'07, 135-143.
• Denhière, G., Hoareau, V., Jhean-Larose, S., Lehnhard, W., Baier, B. & Bellissens, C. (2007). Human hierarchization of semantic information in narratives and latent semantic analysis. In Proceedings of the First European Workshop on Latent Semantic Analysis in Technology Enhanced Learning (S. 15-16). March, Heerlen (Holland).
• Glaser, J. & Richter, T. (2023a). The testing effect in the lecture hall: Does it transfer to content studied but not practiced? Teaching of Psychology. https://doi.org/10.1177/00986283231218943
• Glaser, J. & Richter, T. (2023b). The testing effect in the lecture hall: Does it depend on learner prerequisites? Psychology Learning and Teaching, 22(2), 159-178. https://doi.org/10.1177/14757257221136660
• Greving, S., Lenhard, W. & Richter, T. (2020). Adaptive retrieval practice with multiple-choice questions in the university classroom. Journal of Computer Assisted Learning, 36, 799-809. https://doi.org/10.1111/jcal.12445
• Greving, S., Lenhard, W. & Richter, T. (2022). The testing effect in university teaching: Using multiple-choice testing to promote retention of highly retrievable information. Teaching of Psychology, 50(4), 332-341. https://doi.org/10/1177/00986283211061204
• Greving, S. & Richter, T. (2018). Examining the testing effect in university teaching: Retrievability and question format matter. Frontiers in Psychology, 9, Article 2412. https://doi.org/10.3389/fpsyg.2018.02412
• Lenhard, W. (2008). Bridging the gap to natural language: Latent semantic analysis as a tool for the development of Intelligent Tutoring Systems. Research Report. University of Würzburg.
• Lenhard, W. (2009). Der Einsatz intelligenter tutorieller Systeme zur Vermittlung von Leseverständnisstrategien. In W. Lenhard & W. Schneider (Hrsg.), Diagnostik und Förderung des Leseverständnisses (S. 227-247). Hogrefe.
• Lenhard, W. (2024). Leseverständnis und Lesekompetenz: Grundlagen - Diagnostik - Förderung. Kohlhammer.
• Lenhard, W., & Lenhard, A. (preprint). Beyond human boundaries: Exploring the proficiency of AI technology and its potential in psychometric test construction. PsyArXiv. https://doi.org/10.31234/osf.io/jpr2t
• Lenhard, W., Baier, H., Endlich, D., Schneider, W. & Hofmann, J. (2011). Rethinking strategy instruction: Effects of implicit versus explicit reading strategy trainings. Journal of Research in Reading, 36(2), 223-240. https://doi.org/10.1111/j.1467-9817.2011.01505.x
• Lenhard, W., Baier, H., Endlich, D., Lenhard, A., Schneider, W. & Hoffmann, J. (2012). Computerunterstützte Leseverständnisförderung: Die Effekte automatisch generierter Rückmeldungen. Zeitschrift für Pädagogische Psychologie, 26(2), 135-148. https://doi.org/10.1024/1010-0652/a000066
• Lenhard, W., Baier, H., Hoffmann, J. & Schneider, W. (2007). Automatische Bewertung offener Antworten mittels Latenter Semantischer Analyse. Diagnostica, 53, 155-165.
• Lenhard, W., Baier, H., Hoffmann, J., Schneider, W. & Lenhard, A. (2007). Training of summarisation skills via the use of content based feedback. Proceedings of the First European Workshop on Latent Semantic Analysis in Technology Enhanced Learning, 26-27.
• Lenhard, W., Baier, H., Lenhard, A., Hoffmann, J. & Schneider, W. (2013). conText: Förderung des Leseverständnisses durch das Arbeiten mit Texten. Hogrefe.
• Richter, T. & Lenhard, W. (2024). Diagnose und Förderung des Lesens im digitalen Kontext. Hogrefe.
• Richter, T., Berger, R., Ebersbach, M., Eitel, A., Endres, T., Borromeo Ferri, R., Hänze, M., Lachner, A., Leutner, D., Lipowsky, F., Nemeth, L., Renkl, A., Roelle, J., Rummer R., Scheiter, K., Schweppe J., von Aufschnaiter, C. & Vorholzer, A. (2022). How to promote lasting learning in schools: Theoretical approaches and an agenda for research. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie/German Journal of Developmental Psychology and Educational Psychology, 54(4), 135-141. https://doi.org/10.1026/0049-8637/a000258
• Schindler, J. & Richter, T. (2023). Text generation benefits learning: A meta-analytic review. Educational Psychology Review, 35, Article 44. https://doi.org/10.1007/s10648-023-09758-w
• Seifried, E., Lenhard, W. & Spinath, B. (2016). Automatic essay assessment: Effects on students’ acceptance and on learning-related characteristics. Psihologija, 49(4), 469-482.
• Seifried, E., Lenhard, W. & Spinath, B. (2017). Filtering essays by means of a software tool. Journal of Educational Computing Research, 55(1), 26-45. https://doi.org/10.1177/0735633116652407
• Seifried, E., Lenhard, W. & Spinath, B. (2015). Plagiarism detection: A comparison of teachingassistants and a software tool in identifying cheating in a psychology course. Psychology Learning & Teaching, 14(3), 236-249. https://doi.org/10.1177/1475725715617114
• Seifried, E., Lenhard, W., Baier, H. & Spinath, B. (2012). On the reliability and validity of human and LSA-based evaluations of complex student-authored texts. Journal of Educational Computing Research, 47(1), 67-92.

Methoden der Künstlichen Intelligenz (KI) wie die großen Sprachmodelle (Large Language Models, LLM) haben das Potenzial, präzise Rückmeldungen zu generieren und so Lernpro-zesse adaptiv und effektiv zu unterstützen. In unserem Projekt sollen diese Methoden ge-nutzt werden, um Lernenden intelligentes tutorielles Feedback zur Beantwortung generativer Lernaufgaben (wie offene Antworten in Übungstests, Zusammenfassungen oder Aufsätze) zu geben. Solche generativen Lernaufgaben sind außerordentlich lernförderlich, allerdings nur dann, wenn sie mit informativem und zeitnahem Feedback verknüpft werden. Wir erforschen in einem ersten Schritt das Potenzial der Verknüpfung generativer Lernaufgaben mit KI-er-zeugtem intelligenten tutoriellen Feedback in der Lehramtsausbildung. Dabei sollen Lehr-amtsstudierende in die Entwicklung entsprechender didaktischer Werkzeuge und ihre Wirk-samkeitsprüfung einbezogen werden. Auf dieser Basis werden in einem zweiten Schritt digi-tale Schulungsmaterialien entwickelt, mit denen (angehende) Lehrkräfte vertiefte Kenntnisse in der Anwendung von LLM zur Förderung generativer Lernaktivitäten im Unterricht kennen-lernen. Der Beitrag dieser Schulungsmaterialien für die Entwicklung KI-bezogener Kompe-tenzen (angehender) Lehrpersonen wird in einem dritten Schritt systematisch evaluiert.

Dieses Teilprojekt zielt darauf ab, anspruchsvolle Planungsaufgaben für Unterricht durch KI-gestützte Applikationen zu erleichtern. Die anwendungsorientierte Forschung baut auf ein validiertes Seminarkonzept für fortgeschrittene Lehramtsstudierende auf. Der Fokus soll insbesondere darauf liegen, Unterricht diversitätssensibel auszurichten. Solcherart inklusiv angelegter Unterricht muss vor allem adaptiv umsetzbar sein. In einem Design-Based Research-Ansatz sollen für die verschiedenen Planungsschritte hilfreiche KI-Applikationen identifiziert werden, diese in die bestehende Lehrmethodik integriert und abschließend der Effekt der KI-Unterstützung beim Planungsprozess untersucht werden. Ziel ist eine auf verschiedene Fächer transferierbare Methodik für die Vermittlung KI-gestützter Planungskompetenz an (zukünftige) Lehrkräfte.

Theoretische Rahmung und Desiderat
Fränkel et al. (2023) zeigen auf, dass bisherige Professionalisierungsangebote an Hochschulen eher ein enges Inklusionsverständnis vertreten, also darüber nachdenken, wie Lernende mit Behinderung in den „normalen“ Unterricht integriert werden können. Systemisch sind die Lehrveranstaltungen als ‚add-on‘ angelegt, statt eine konsequent inklusionsdidaktische, also auf Partizipation und Fachlichkeit ausgerichtete Perspektive einzunehmen. Diversitätssensibler Unterricht nimmt die gesamte Verschiedenheit aller Lernenden in den Blick (weites Inklusionsverständnis, s. z.B. Abels & Witten, 2023). Bisher gibt es nur wenige Versuche, Inhaltsbereiche und Prinzipien einer solchen inklusiven Didaktik zu beschreiben (z. B. Reich, 2014; Weirauchet al., 2024). Fränkel et al. (2023) geben eine Übersicht über aktuelle Ansätze für naturwissenschaftlichen Unterricht und erste hilfreiche Schritte einer Modellierung wurden vom Netzwerk inklusiver naturwissenschaftlicher Unterricht mit dem NinU-Raster erreicht (Ferreira-Gonzáles et al., 2021; Stinken-Rösner et al., 2020). Eine zentrale Forderung dieses Planungs- und Reflexionsrasters ist die stringente und für die Lernenden sinngebende Kontextualisierung des gesamten Unterrichts (context-based science education CBSE), um die Zugänglichkeit für Alle zu erhöhen (Weirauch & Schenk, 2022).
Unterricht, in dem alle Lernenden unabhängig von ihren Voraussetzungen gefördert werden, muss zwangsläufig adaptiv angelegt sein. Brühwiler beschreibt adaptive Lehrkompetenz als die „Fähigkeit einer Lehrperson, ihren Unterricht so auf die individuellen Voraussetzungen der Schülerinnen und Schüler auszurichten und während des Unterrichts laufend anzupassen, dass für möglichst viele Schülerinnen und Schüler günstige Bedingungen für das Erreichen der Lernziele geschaffen werden“ (Brühwiler., 2014, S. 74). Verschiedene KI-gestützte Applikationen (KIgA) werden damit beworben, diese Anpassungen zu unterstützen, z.B. Lehrkräften die Anpassung von Materialien an individuelle Bedürfnisse abzunehmen (z.B. Knewton®, Smart Sparrow®), die Fragen von Schüler:innen in Echtzeit zu beantworten (z.B. chatGPT®) oder den Lernfortschritt zu überwachen und auf Lernschwierigkeiten aufmerksam zu machen (z.B. Dream-Box®, Lexia®). Aktuell wird die Nutzung von KI zur Unterrichtsplanung kritisch hinterfragt (z.B. Brott & Egerer, 2024; Pawlak, 2023). Die Metaanalyse von Chen et al. (2020) zeigt hingegen, dass KIgA durchaus dabei unterstützen können, auf individuelle Bedürfnisse der Lernenden einzugehen, womit die Planung eines adaptiven Unterrichts für (angehende) Lehrkräfte potenziell erleichtert würde.
Greiner et al. (2020) betonen, dass für das erfolgreiche Konzipieren von inklusiv angelegtem Unterricht die Selbstwirksamkeitserwartungen der Lehrkräfte ausschlaggebend sind. Damit stellt sich die Frage, wie (angehende) Lehrkräfte zu einer entsprechenden Selbsteinschätzung und zugrundeliegenden, auch kritisch reflektierenden Kompetenz (EU, 2022) geführt werden können. Für die KIgA-bezogene Professionalisierung von Lehrkräften für naturwissenschaftlichen Unterricht schlägt Tassoti (2024) das Five-S-Prompting-Framework vor. Für die universitäre Ausbildung zukünftiger Lehrkräfte dringend notwendig ist darüber hinaus ein Lehrkonzept (‚targeted educational framework‘, ebd.), welches die Potenziale von KIgA für die Planung adaptiv angelegten und damit diversitätssensiblen Unterrichts konsequent ausschöpft und den Studierenden einen diesbezüglichen Kompetenzerwerb ermöglicht. Um die Inklusivität der Methodik dabei ebenso sicherzustellen, wie die Übertragbarkeit auf verschiedene Fächer soll das hier beantragte Forschungsvorhaben interdisziplinär betreut werden durch Forschende aus Biologiedidaktik, Chemiedidaktik und Sonderpädagogik.

Eigene Vorarbeiten
Das Chemie all-inclusive-Konzept (Chai) gehört aktuell zu den wenigen veröffentlichten naturwissenschaftsbezogenen und inklusionsdidaktischen Methoden (Fränkel et al., 2024), sowohl für schulischen Unterricht als auch für universitäre Lehre. Seine besondere Qualität entwickelt es aus der stringent praxis- und theorie-fundierten Reflexion und iterativen Überarbeitung im Sinne einer partizipativen Forschung (Lehrkräfte,
Dozent:innen, Forschende, Studierende). Die resultierende ausgezeichnete Chai-Methodik (1. Preis Bundesverb. Schülerlab. LeLa f. Lehrkräftebildung) ist vielfältig publiziert (Weirauch & Schenk, 2022; Weirauch, Schenk, & Ratz, 2021; Weirauch, Schenk, et al., 2020; Weirauch, Schenk, Ratz, et al., 2021; Weirauch et al., 2024) und das dazugehörige Seminarkonzept wird inzwischen auch an anderen Universitäten genutzt
(Bielefeld/Chemie, Aachen/Biologie) und universitätsübergreifend beforscht (WüBie-Studie; Schwedler et al. 2022). In diesen Seminaren arbeiten Studierende projektorientiert und in Teams. Projektziel an der JMU ist die adaptive Durchführung diversitätssensibel angelegten Unterrichts mit Schüler:innen im Lehr-Lern-Labor (LLL) am Ende des Semesters. Durch den Echtheitscharakter der Aufgabe wird eine maximale Annäherung an die spätere Lehrsituation in der Schule erreicht (Weirauch et al., 2024). Durch die Vorgabe, stringent CBSE umzusetzen, also für die Lernenden sinngebenden und dabei experimentell ausgerichteten Unterricht zu planen, wird der didaktische ‚state of the art‘ für inklusiven Unterricht eingefordert (Hüfner, Weirauch, Menthe & Abels, in prep.). Um die belegbar hohe Komplexität dieser Planungsaufgabe zu verringern, wird im LLL ein Microteaching-Setting angelegt (Boshuis, 2022): Die Studierenden wiederholen die von ihnen geplante Unterrichtseinheit mehrfach hintereinander mit verschiedenen Teilgruppen einer Klasse. Dabei sind sie gezwungen, den von ihnen geplanten Unterricht in der Praxis adaptiv an die Bedarfe der jeweiligen Lernenden anzupassen (Weirauch et al., 2024). Dies ist qualitativ hochwertig nur leistbar, wenn schon während der Unterrichtsplanung die gesamte Diversität der Lernenden antizipiert wird und in einer entsprechenden didaktischen Strukturierung für inklusiven Unterricht mündet (Schwedler et al., 2022). Planungsschritte, die dafür im Seminar initiiert werden und von KIgA potenziell unterstützt werden könnten, sind z.B. das Finden eines sinngebenden Phänomens für einen Fachinhalt, die Einschätzung der diversen
Vorerfahrungen der Lernenden, die Sachanalyse, die Vereinfachung von Sprache, die Gestaltung von Lernmaterial, das Finden verschiedener Zugangsebenen für jeden Erkenntnisschritt, die Zusammenarbeit im Team und das professionelle Reflektieren aller Entwürfe, etc. (s. auch Brott & Egerer, 2024).

Ziele und Forschungsfragen
Das beantragte Forschungsvorhaben zielt darauf ab in drei iterativen Design-, Implementations-
und Analyse-Zyklen …
i) … KI-gestützte Applikationen zu identifizieren, welche eine hochwertige, diversitätssensible Unterrichtsplanung unterstützen, und damit zusammenhängende Herausforderungen zu erkennen.
ii) … über Expert:innen-Ratings kriteriengeleitet eine Methodik zu entwickeln und in das bestehende Seminarkonzept zu integrieren, die die Studierenden bei der Planung von diversitätssensiblem Unterricht mit KIgA unterstützt.
iii) … zu beschreiben, wie (angehende) Lehrpersonen nach dem erweiterten Chai-Konzept für die zielführende Anwendung von KI-gestützten Applikationen qualifiziert werden können.
iv) … im Kontrollgruppenabgleich zu untersuchen, welchen Unterschied die Nutzung der KI-gestützten Applikationen für den Planungsprozess sowie das resultierende Planungsprodukt macht.

Die Stärke dieses Vorhabens liegt einerseits in der großen Realitätsnähe des bestehenden Seminars zur Arbeit von Lehrkräften bei guter Kontrollierbarkeit des Geschehens durch umfangreiche Vorarbeiten, und gut steuerbaren Untersuchungsbedingungen im LLL andererseits. Damit kann im Rahmen eines Dissertationsvorhabens potenziell der gesamte Weg von der ersten Erkundung über die Entwicklung einer Intervention
bis zur Implementation und qualitativ-vergleichenden Evaluation durchlaufen werden. Die dabei gewonnenen deskriptiven Erkenntnisse sind nicht nur für die direkt beteiligten Fachbereiche äußerst gewinnbringend, sondern lassen sich in weiten Teilen analog in die Lehramtsausbildung anderer Fächer integrieren. Damit wird die Basis für eine fächerübergreifende und kausalanalytische quantitative Beforschung gelegt.

Arbeitsprogramm
International fehlen sowohl Modelle für relevante Konstrukte als auch validierte quantitative Messinstrumente sowohl für Inklusivität von Unterricht als auch für diesbezügliche sowie KI-bezogene Planungskompetenzen. Um dem folglich explorativen Charakter des stark anwendungsbezogenen Forschungsziels Rechnung zu tragen, wird ein Design-Based-Reasearch-Ansatz gewählt. In aufeinander folgenden Semestern werden Nutzen und Herausforderung durch die KI-gestützte Unterrichtsplanung mittels kontinuierlich eingesetzter digitaler Logbucheinträge sowie über leitfadengestützes audiographiertes‚Think-Aloud‘ der Studierenden kleinschrittig erfasst (N = 60). Die gewonnenen Daten werden inhaltsanalytisch konsekutiv ausgewertet. Die Dokumentation von Coaching-Gesprächen zwischen Studierenden und dem Betreuer:innenteam gibt durch systematische teilnehmende Beobachtung einen tieferen Einblick in die Qualität der individuellen Unterrichtsplanung der Studierenden und stärken diese in ihrer Planungskompetenz. Hierüber, aber auch durch leitfadengestütztes Feedback von externen Expert:innen werden die Studierenden-Feedbacks zu KIgA’s im Hinblick auf Diversitätssensibilität beurteilt. Die Erkenntnisse des ersten Analysezyklus fließen in das Design der Lehrmethodik für die nächste Seminarrunde ein, deren zwei Seminare (Bio, Chemie) wiederum auf beschriebene Weise analysiert werden. Beginnend mit existierenden Frameworks (Tassoti, 2024; Brott & Egerer, 2024) werden iterativ Vorgaben für zielführendes Prompting in Richtung diversitätssensible Planung erarbeitet. In einem dritten Zyklus kann im Vergleich mit einer Kontrollgruppe der Effekt der KIgA herausgearbeitet werden. Da die zu absolvierenden Planungsschritte für diversitätssensiblen Unterricht in weiten Bereichen fachbezogen, aber nicht fachspezifisch sind, gehen wir von einer analogen Einsatzbarkeit der erarbeiteten KI-bezogenen Empfehlungen in anderen Fächern aus.

Literatur

• Abels, S., & Witten, U. (2023). Was Naturwissenschaftsdidaktiken und Religionspädagogik voneinander über Inklusion lernen können. Zeitschrift für Inklusion, 2. https://www.inklusion-online.net/index.php/inklusion-online/article/view/716/508
• Boshuis, T. (2022). Konzeption eines praxisorientierten Seminarkonzepts im Biologie/Chemiestudium zur Erfassung und förderung der Reflexionsfähigkeit von Lehramtsstudierenden [Dissertation, Universität Würzburg]. Würzburg.
• Brott, M., & Egerer, C. (2024). Kann ein Chatbot die Vorbereitung für den Chemieunterricht übernehmen? Eine Analyse der Qualität von Unterrichtsplanungen von ChatGPT und Chemielehramtsstudierenden. MNU journal, 2, 104-10.
• Brühwiler, C. (2014). Adaptive Lehrkompetenz und schulisches Lernen. Effekte handlungssteuernder Kognitionen von Lehrpersonen auf Unterrichtsprozesse und Lernergebnisse der Schülerinnen und Schüler (Vol. 91). Waxmann.
• Chen, L., Chen, P. and Lin, Z. (2020) Artificial Intelligence in Education: A Review. IEEE Access, 8, 75264-75278. https://doi.org/10.1109/ACCESS.2020.2988510
• Ferreira-Gonzáles, L., Fühner, L., Sührig, L., Weck, H., Weirauch, K., & Abels, S. (2021). Ein Unterstützungsraster zur Planung und Reflexion inklusiven naturwissenschaftlichen Unterrichts. Sonderpädagogische Förderung - heute, 4. Fränkel, S., Sterken, M., & Stinken-Rösner, L. (2023). From Barriers to Boosters: Initial Teacher Education for Inclusive Science Education. Frontiers in Education. doi.org https://doi.org/10.3389/feduc.2023.1191619
• Greiner, F., Taskinen, P., & Kracke, B. (2020). Einstellungen und Selbstwirksamkeitsüberzeugungen von Lehramtsstudierenden bezüglich inklusiven Unterrichts: Zusammenhänge mit Kontakterfahrungen und Grundlagenkenntnissen über schulische Inklusion. Unterrichtswissenschaften, 48, 273-95.  https://doi.org/https://doi.org/10.1007/s42010-020-00069-5
• Hüfner, S., Weirauch, K., Abels, S., & Menthe, J. (in prep.). Context-based Science Education to Promote Diversity-Equity-Inclusion? A Systematic Literature Review on the Understanding of Context in Science Education (planned for Studies in Science Education).
• Kommission, E. (2022). Ethische Leitlinien für Lehrkräfte über die Nuitzung von KI und Daten für Lehr- und Lernzwecke. Retrieved from https://data.europa.eu/doi/10.2766/494
• Pawlak, F. (2023). ChatGPT - ein Paradigmenwechsel für das Lehren und Lernen im Chemieunterricht?! CHEMKON, 31(2), 48-53. https://doi.org/doi.org/10.1002/ckon.202300010
• Reich, K. (2014). Herausforderungen an eine inklusive Didaktik. Schulpädagogik heute, 10.
• Schwedler, S., Weirauch, K., Reuter, C., & Zimmermann, J. (2022). Planungskompetenz für inklusiven Unterricht - eine Interventionsstudie. In S. H. (Ed.) (Ed.), Unsicherheit als Element von naturwissenschaftsbezogenen Bildungsprozessen. GDCP.
• Stinken-Rösner, L., Rott, L., Hundertmark, S., Baumann, T., Menthe, J., Hoffmann, T., Abels, S. (2020). Thinking Inclusive Science Education from two Perspectives: Inclusive Pedagogy and Science Education. RISTAL. Tassoti, S. (2024). Assessment of Students Use of Generative Artificial Intelligence: Prompting Strategies and Prompt Engineering in Chemistry Education. Journal of Chemical Education, 101, 2475-82. https://doi.org/https://pubs.acs.org/doi/10.1021/acs.jchemed.4c00212
• Weirauch, K., & Schenk, C. (2022). Chemie all-inclusive. Ein Methodenkompendium für die Planung inklusiv angelegter naturwissenschaftlicher Experimentier-Stationen. In E. M. Watts & C. Hoffmann (Eds.), Digitale NAWIgation von Inklusion. Tagungsband zur multiprofessionellen Tagung am 11 und 12. Juni 2021. Springer Verlag.
• Weirauch, K., Schenk, C., & Ratz, C. (2021). Experimentieren im inklusiven Chemieunterricht. Anleitungen und differenzierte Materialien zum Erkunden von Alltagsphänomenen. Persen Verlag.
• Weirauch, K., Schenk, C., Ratz, C., & Reuter, C. (2020). Chemie all-inclusive: Ein Kompendium von Methodenwerkzeugen für die Entwicklung inklusiv angelegter naturwissenschaftlicher Experimentier-Stationen (Vol. Band 2). https://opus.bibliothek.uni-wuerzburg.de/opus4-wuerzburg/frontdoor/deliver/index/docId/20766/file/Lernwerkstatt_Online_2_Weirauch_et_al_Chemie_all-inclusive.pdf
• Weirauch, K., Schenk, C., Ratz, C., & Reuter, C. (2021). Experimente gestalten für inklusiven Chemieunterricht. Erkenntnisse aus dem interdisziplinären Lehr- und Forschungsprojekt 'Chemie all-inclusive' (Chai). Sonderpädagogische Förderung heute, 4, 101-16.
• Weirauch, K., Schwedler, S., & Reuter, C. (2024). Interdisziplinäre Hochschullehre für diversitätsbewussten naturwissenschaftlichen Unterricht nach dem Chai-Konzept. In N. Graulich, et al. (Eds.), Lehrkräftebildung von morgen. Beiträge der Naturwissenschaftsdidaktiken zur Förderung überfachlicher Kompetenzen (pp. 201-11). Waxmann.

Dieses Projekt zielt darauf ab, anspruchsvolle Planungsaufgaben für Unterricht durch KI-gestützte Applikationen zu erleichtern. Die anwendungsorientierte Forschung baut auf ein validiertes Seminarkonzept für fortgeschrittene Lehramtsstudierende auf. Der Fokus soll insbesondere darauf liegen, Unterricht diversitätssensibel auszurichten. Solcherart inklusiv angelegter Unterricht muss vor allem adaptiv umsetzbar sein. In einem Design-Based Research-Ansatz sollen für die verschiedenen Planungsschritte hilfreiche KI-Applikationen identifiziert werden, diese in die bestehende Lehrmethodik integriert und abschließend der Effekt der KI-Unterstützung beim Planungsprozess untersucht werden. Ziel ist eine auf verschiedene Fächer transferierbare Methodik für die Vermittlung KI-gestützter Planungskompetenz an (zukünftige) Lehrkräfte.