ChatGPT und die
Zukunft der Lehre
Text Daniela Schuster, Barbara Gärtner
Foto Peter Purgathofer
Frei verfügbare generative Machine-Learning-Systeme – allen voran ChatGPT – verändern gerade die Welt. Welche Chancen und Probleme solche Tools für Studierende auf-
werfen, aber auch, welchen Platz und Wert sie in der Lehre der Fakultäten Informatik und Mathematik & Geoinformation einnehmen können oder gar sollen, damit beschäftigt sich
seit April ein .dcall-Forschungsprojekt im Auftrag des Rektorats. Prof. Peter Purgathofer gibt erste Einblicke.
In der Forschung, auch an der TU Wien, beschäftigt man sich bereits seit Längerem mit AI/ML-basierten Services und Tools, die mit größeren Datenmengen „angelernt“ werden. Die wahrgenommene Kompetenz plötzlich öffentlich frei verfügbarer Systeme wie ChatGPT und Co. hat die Expert*innen dennoch überrascht. Kein Wunder, wenn doch sogar selbst die Programmierer*innen von OpenAI die Entwicklung der vergangenen Monate nicht vorhergesehen haben.
Changemaker ChatGPT
Dass ChatGPT das Potenzial hat, auch Studium und Lehre an der TU Wien stark zu verändern, wurde Peter Purgathofer, Professor am Institut für Visual Computing and Human-Centered Technology, erstmals Ende Dezember ganz deutlich bewusst. Ein guter Teil seiner Erstsemester-Lehrveranstaltung beruhte – wie so viele – darauf, die Studierenden Texte schreiben zu lassen, um deren Lernfortschritt zu fördern und letztlich auch zu überprüfen. Ein im Rahmen der LV eingereichtes Worksheet – das erste von vielen folgenden, das mithilfe des Tools erstellt wurde – machte ihm jedoch klar: „Das Prinzip des Aufwands und der schriftlichen Nicht-vor-Ort-Leistungserbringung als Platzhalter für das Lernen war schon immer kritisch. Es wird nun aber durch das Auftauchen von ChatGPT grundlegend infrage gestellt. Das gilt insbesondere in der Informatik, weil ChatGPT in der Lage zu sein scheint, für einfache Programmieraufgaben kompetente Lösungen auszuwerfen.“
Dringende Fragen für Studierende und Lehrende
Was bedeutet es also, wenn Übungsarbeiten durch Studierende mit der Hilfe von ChatGPT erstellt werden bzw. werden können? Neben dieser Frage werfen das Tool und seine Artverwandten noch viele weitere Themen auf, „die recht dringend zu untersuchen sind“, wie Purgathofer betont. Etwa:
Wie ist damit umzugehen, dass mit ChatGPT erzeugte Textpassagen viele einfache Zusammenhänge kohärent und überzeugend, aber oft falsch erklären können? Diese Frage stellt sich sowohl in Bezug auf Arbeiten der Studierenden wie auch für erstellte Lehrmaterialien oder für die Generierung von individualisiertem Feedback.
Wie müssen Leistungsüberprüfungen – vom Test bis zur Seminararbeit – unter den Bedingungen von ChatGPT und Co. aussehen, insbesondere unter den Bedingungen der Massenlehre der ersten Semester? Welche Formen von Leistungsüberprüfung sind eher anfällig für solche „Angriffe“, welche sind möglichst nachhaltig immun?
Sind unsere Beurteilungs- und Benotungskriterien noch valide? Welche Leistung wird tatsächlich beurteilt, wenn Studierende Arbeiten mithilfe von ChatGPT erstellen? Was bedeutet es, wenn ein „large language model“ wie ChatGPT mit Hilfe statistisch-generativer Vorgehensweisen eine positive Note erreicht – werden da noch die richtigen Prüfungsfragen gestellt?
Was sollten Studierende und Lehrende darüber wissen, wann und wie solche Systeme eingesetzt werden können? Wie soll z. B. der Bias solcher Systeme adressiert werden? Wie sehr treiben solche Systeme eine gefährliche Dynamik weg vom Außergewöhnlichen hin zum Durchschnitt?
Prof. Peter Purgathofer,
Professor am Institut für Visual Computing and Human-Centered Technology
Das Banner auf der interne Projektseite wurde mittels Generative ML (stable diffusion) erzeugt. Der Prompt zum Banner waren Schlüsselworte aus dem Projektantrag, mit ein wenig Beschreibung der Struktur.
.dcall-Forschungsprojekt gestartet
Um Antworten zu finden und daraus Empfehlungen abzuleiten, wie LVs bzw. der Studienbetrieb an die neue Situation angepasst werden soll bzw. kann, hat Peter Purgathofer gemeinsam mit Martin Nöllenburg, Professor für Graph und Geometric Algorithms am Institut für Logic and Computation, und Sascha Hunold, Associate Professor im Forschungsbereich Parallel Computing, Ende des Wintersemesters einen .dcall-Forschungsantrag beim Rektorat eingereicht. Seit Ende April läuft nun das Projekt, in das auch die beiden studentischen Mitarbeiter*innen Shuyin Zheng und Konstantin Lackner eingebunden sind, die ihre Tätigkeit im Rahmen einer Diplomarbeit verwerten können.
Chance, Risiken und ein kritischer Diskurs
Wie komplex das Forschungsthema ist, zeigte unter anderem ein Informatic Circle noch vor Projektstart, der Chancen und Risiken des Tool-Einsatzes diskutierte. „Der Umgang damit ist eine Lebenseinstellung. Die einen verteufeln solche Tools und wünschen sich ein Zurück zur früheren ,Normalität‘. Andere sehen darin eine Chance, wie man etwas künftig anders machen kann und muss“, so Purgathofer.
Um diese unterschiedlichen Gruppenhaltungen aufzunehmen und zu begleiten, wurde ein Newsletter gestartet, der einmal pro Woche über das Projekt informiert. Er lädt auch dazu ein, auftauchende Fragen und Problematiken im Umgang mit dem Tool einzureichen, die ebenfalls in die Untersuchung einfließen können. Münden soll das in einen Katalog relevanter Fragestellungen mit Anleitung zur Diskussion und Antwortfindung. Ein kritischer Diskurs in der Fakultät kann dann über organisierte Veranstaltungen, Symposien, Workshops und eventuell Publikationen weiterlaufen.
Sicht der Studierenden
In Block 1 des Projektes wurden die Fragen zunächst aus der Sicht der Studierenden untersucht. Dazu trat Purgathofer bereits zum Ende des Wintersemesters in Diskussion mit seinen Studierenden und bat sie, ein anonymes, schriftliches Statement abzugeben, wie Lehrende denn nun zukünftig auf ChatGPT reagieren sollen. Ergebnis: „Die Studierende sind sich bewusst, wie disruptiv das Tool ist, und wissen auch ziemlich genau, was okay ist und was nicht. Sie wünschen sich aber klare Richtlinien dazu, auch im Hinblick auf Fairness und Chancengleichheit.“
Gleichzeitig beobachtet das Forschungsprojekt die Dynamik in den Backchannels, in denen sich Studierende z. B. darüber austauschen, wie Prompts für ChatGPT zu schreiben sind, um gute Prüfungsergebnisse zu erzielen oder – und das sieht Purgathofer als positive Entwicklung und große Chance – wie man ChatGPT als offene Bildungsressource nutzen kann, um sich etwa Übungsaufgaben zu stellen oder Inhalte noch einmal wie von einem individuellen, niemals ungeduldigen Tutor erklären zu lassen.
Sicht der Lehrenden
Im zweiten Block untersucht das Projekt die Problematik aus der Sicht der Lehrenden und evaluierte die Lehrveranstaltungen der STEOP in den Informatik-Studien konkret auf die Anwendung von ChatGPT und ähnlichen Systemen hin. Fragen sind: Inwiefern stellen diese Tools neue Anforderungen an die Inhalte der LVs? Welchen Umgang wollen wir mit dem System fordern, fördern oder unterbinden? Der Schwerpunkt der Arbeit liegt dabei auf der Herstellung eines kritischen Diskurses, auf der Erstellung und Verfügbarmachung von substanzieller und relevanter Information sowie auf der Arbeit mit den LV-Leiter*innen der STEOP zur Neugestaltung von Übungen und Leistungsbeurteilung.
„Am Ende sollten Inhalte definiert werden, aber auch Richtlinien entstehen, die den Umgang mit ChatGPT in einen regulatorischen Rahmen für Studierende wie Lehrende stellen, der sich wahrscheinlich auch im Code of Ethics niederschlagen muss“, so Purgathofer. Ein Ergebnis könne etwa ein Cluster sein, der definiert, welche Verwendungsformen positiv oder zumindest (noch) okay sind und welche nicht. Denkbar sei auch, dass bei schriftlichen Arbeiten verpflichtend ein Absatz angeführt werden muss, in dem die Studierenden erklären, wie und wofür ChatGPT verwendet und wie die faktische Richtigkeit des Tool-Outputs überprüft wurde.
Und die Ethik?
Bei allem „How to“ im Umgang mit der disruptiven Technik, die wohl gekommen ist, um zu bleiben: Nicht außer Acht lassen kann das Forschungsprojekt natürlich „ethische Fragen, die im Normalfall nicht kategorisch beantwortet werden können. Ist es zum Beispiel überhaupt ethisch vertretbar, solche Systeme einzusetzen?“ Diese Frage stelle sich sowohl in Bezug auf die Verwendung durch Studierende wie Lehrende, betont der Informatik-Professor. So ist OpenAI trotz des Namens keine offene Initiative, sondern ein gewinnorientiertes Unternehmen, das die gesammelten Daten der Nutzer*innen aggressiv monetarisiert.
Weitere Stichworte wären zum Beispiel der CO2-Fußabdruck der Systeme, der Datenschutz und das Urheberrecht und vor allem ihre starke Bias, die noch dazu von Tausenden unterbezahlten Clickworkern im globalen Süden behoben werden soll und die sich dabei mit psychisch sehr herausfordernden Situationen konfrontiert sehen, wenn sie die Texte und Daten aufbereiten.
Rettung der Lehre
Primäres Ziel, so Purgathofer, sei aber die Beantwortung der Frage: „Wie retten wir die Lehre?“ Seit vielen Jahren, so der Informatik-Professor, schummle man sich so durch. „Wir müssen mit den Leuten reden – doch davon sind wir in Massenstudiengängen Lichtjahre weit weg.“ Denn dafür brauche es Personal und damit Geld. Seine Hoffnung: „Durch den Einsatz von ChatGPT, das auf Erklärtexte spezialisiert ist, kann man sich vielleicht an manchen Stellen Ressourcen sparen, die dann anderswo eingesetzt werden könnten.“