Was ist das Ziel der Forschung?
Ziel ist es, wissenschaftlich zu untersuchen, ob und wie der Einsatz von OneTutor Wirksamkeit entfaltet, also wie er:
den Lernerfolg verbessert,
das Verständnis vertieft,
den Spaß am Lernen erhöht,
oder Abbruchquoten senkt.
Darüber hinaus sollen Methoden zur Evaluation von KI-gestützter Lehre entwickelt werden.
Wie wird der Lernerfolg gemessen?
Das bidt entwickelt umfassende Fragebögen und Analyseverfahren, die Nutzungsdaten mit Umfrageergebnissen kombinieren.
Auf diese Weise wird untersucht, wie Faktoren wie Motivation, Verständnis oder Vertrauen in KI den Lernerfolg beeinflussen.
Eine Korrelation von individuellen Interaktionsdaten mit Klausurergebnissen ist jedoch nicht möglich, da OneTutor im Rahmen seines Pseudonymisierungsversprechens sicherstellt, dass Studierende die Plattform geschützt nutzen können – ohne dass einzelne Interaktionen auf konkrete Personen und deren Note zurückgeführt werden können.
Auf aggregierter Kursebene kann jedoch ein Vergleich mit denselben Veranstaltungen aus früheren Semestern vorgenommen werden, um mögliche Veränderungen im Lernerfolg zu erkennen.
Was bedeutet es für teilnehmende Universitäten?
Teilnehmende Universitäten verfügen über ein Budget für OneTutor-Kurse, die im Rahmen des Forschungsprojekts kostenlos zur Verfügung stehen und an der jeweiligen Institution eingesetzt werden können.
In diesen Kursen erhalten Studierende pseudonymisierte Fragebögen, deren Ergebnisse als Grundlage für die wissenschaftliche Begleitforschung dienen.
Die Teilnahme an weiterführenden Befragungen, z.B. unter dem Lehrkörper, ist optional, aber ebenfalls erwünscht.
Darüber hinaus besteht die Möglichkeit, einen wissenschaftlichen Mitarbeitenden der Institution über das Forschungsbudget in das Projekt einzubinden und aktiv an dem Forschungsprojekt zu beteiligen.
Welche Fragebögen werden gestellt?
Die Erhebung der Daten erfolgt über mehrere Fragebögen:
Hauptinstrumente sind zwei In-OneTutor-Umfragen:
Erstbefragung: Wird aktiven Nutzer*innen nach einer bestimmten Anzahl an Interaktionen in einem Kurs zu Beginn des Semesters angezeigt. Falls dieser bereits in einem anderen Kurs ausgefüllt wurde, wird nur noch eine gekürzte Variante angezeigt.
Zweitbefragung: Erfolgt am Ende des Semesters und wird nur denjenigen angezeigt, die bereits an der Erstbefragung teilgenommen haben – mit einem definierten zeitlichen Abstand.
Beide Umfragen sind verpflichtend auszufüllen, um das Tool weiter nutzen zu können, jedoch kann bei jeder Frage die Option „Keine Angabe“ gewählt werden.
Zusätzlich wird eine Umfrage an Studierende außerhalb des Tools durchgeführt. Diese ist optional und wird vom bidt, per Link an die Dozierenden geschickt, welche diese an die Studierenden weitergeben können. Diese zielt insbesondere darauf ab, Nicht-Nutzer*innen zu erreichen.
Darüber hinaus gibt es eine optionale Umfrage für Dozierende, um deren Perspektive und Erfahrungen zu erfassen.
Der Inhalt der In-OneTutor-Fragebögen ist hier einsehbar.
Wann werden Fragebögen veröffentlicht?
Kalenderwochen zeigen das Startdatum, an dem die Fragebögen freigeschaltet werden. Da sie jedoch erst nach aktiver Nutzung angezeigt werden, können sie den Studierenden auch zu einem späteren Zeitpunkt erscheinen. Nach der Freischaltung bleiben die Fragebögen dauerhaft aktiviert.
Welche Daten erhalten die teilnehmenden Dozierenden?
Im Rahmen des Forschungsprojekts werden durch das bidt wissenschaftliche Veröffentlichungen erstellt.
Die Auswertungen erfolgen überwiegend institutionsübergreifend, um Einflüsse unterschiedlicher Lehrumgebungen und Studiengänge berücksichtigen zu können.
Ergebnisse auf Kursebene werden nicht veröffentlicht.
Auf Anfrage besteht jedoch die Möglichkeit, Zugang zu den in den eigenen Kurs erhobenen pseudonymisierten Rohdaten, der Fragebögen zu erhalten.
Wie ist die rechtliche Grundlage?
Zwischen dem bidt und den teilnehmenden Hochschulen wurde eine Kooperations- und Zuwendungsvereinbarung geschlossen, die den wissenschaftlichen Rahmen des Projekts AIffectiveness in Education regelt.
Zwischen OneTutor und den Hochschulen bestehen Auftragsverarbeitungsverträge (Art. 28 DSGVO), welche die datenschutzkonforme Verarbeitung und Weitergabe von Forschungsdaten absichern.
Die Fragebögen werden von OneTutor pseudonymisiert erhoben und anschließend an das bidt zur wissenschaftlichen Auswertung übermittelt.
Nutzungs- und Befragungsdaten (z. B. pseudonymisierte Chat- und Quizdaten, Umfrageantworten) werden von OneTutor technisch erfasst und zu Forschungszwecken im Rahmen des Projekts verwendet.
Alle Daten werden pseudonymisiert verarbeitet – Studierende sind nicht persönlich identifizierbar.
Die wissenschaftlichen Ergebnisse werden aggregiert und anonymisiert veröffentlicht, sodass keine Rückschlüsse auf einzelne Personen oder Kurse möglich sind.
Wie wird der Datenschutz sichergestellt?
Alle Partner haben Kooperationsverträge abgeschlossen und verpflichten sich, die Datenschutzgrundverordnung (DSGVO), das BDSG und die Landesdatenschutzgesetze einzuhalten.
Falls erforderlich, werden zusätzliche datenschutzrechtliche Vereinbarungen nach Art. 26 oder 28 DSGVOgeschlossen.
Die Verarbeitung der Daten erfolgt ausschließlich:
zweckgebunden (für Forschung und Lehre),
pseudonymisiert (keine Identifikation von Studierenden),
zeitlich begrenzt (nur während der Projektlaufzeit).