Anpassung des Prüfungsformats

Problematik: 

Studierende können mithilfe von generativer KI auch ohne Eigenleistung positive Prüfungsergebnisse erbringen, wenn Prüfungsformate eingesetzt werden, die dies nicht verhindern oder es keine technischen bzw. organisatorischen Maßnahmen gibt. 

  • Wenn die Verwendung generativer KI-Tools seitens der Lehrenden verboten wird, ist ohne technische bzw. organisatorische Maßnahmen nicht überprüfbar, ob dies von den Studierenden eingehalten wird. 
  • Eine zuverlässige technische Identifikation des Einsatzes von KI-Tools ist kaum möglich.

Lösungsansätze - Je nach didaktischem Konzept der Lehrveranstaltung ist der passende Lösungsansatz auszuwählen:

  • Prüfungen vor Ort - mündlich, handschriftlich, abgesicherter digitaler Prüfungsmodus vor Ort (innerhalb der TU Wien Räumlichkeiten)
  • Kombinierte Prüfungen - (un)beaufsichtigte schriftliche Prüfungen um zusätzliche Elemente zu ergänzen (z.B. Plausibilitätscheck von Prüfungsantworten durch mündliches Nachfragen, kurze mündliche Prüfungen oder schriftliche Reflexionen)
  • Prüfungsformate werden so umgestaltet, dass Sie nicht ausschließlich durch KI-Outputs gelöst werden können:
    • Prüfungen mit Lernergebnissen auf höherem Niveau: Generative KI Tools können vor allem bei niedrigen Lernergebnis-Niveaus (erinnern, verstehen) eingesetzt werden. Hier sind die Antworten oft gut bis sehr gut. Je höher das Lernergebnis-Niveau ist, desto schwieriger ist es, KI Tools zur direkten Lösungsgenerierung einzusetzen. Daher empfehlen sich Prüfungsfragen auf höherem Niveau (z.B. Lerninhalte nicht in Form von Faktenwissen abprüfen, sondern auf die Anwendung des Gelernten in praxisnahen und komplexen Sachverhalten abzielen).
    • Assessment auf allen Ebenen - neben einer Prüfungsleistung, die auch beispielsweise ein Lernprodukt darstellen kann (z.B. als Umsetzung im Rahmen eines Projekts), wird auch der Lernprozess bewertet; das kann durch didaktische Methoden wie z.B. projektbasiertes Lernen, fallbasiertes Lernen, problembasiertes Lernen begleitet werden. Beispiel für eine mögliche Umsetzung: Mehrere Aufgaben werden über ein Semester gestellt. Diese können neben Texten auch multimediale Inhalte beinhalten, wie z.B. Visualisierungen, Collagen, etc. Die Lernprodukte können in der Präsenz gemeinsam diskutiert werden. 
Feedbackblasen

© Pixabay | Shari Jo

Feedbackblasen

Empfehlung: 

Ausgehend vom didaktischen Konzept und den Lernergebnissen sollte entschieden werden, welche Anpassungen beim Prüfungsformat geeignet sind. Je nach didaktischem Szenario könnte sich der Aufwand erhöhen (z.B. manuelle Korrektur komplexerer Fragen, steigende Anzahl mündlicher Prüfungen, höherer Betreuungsaufwand)

Umgang mit generativen KI-Tools als erlaubtes Hilfsmitte

Problematik:

 Studierende verwenden generative KI-Tools als erlaubte Hilfsmittel und ...

  • ... verlassen sich zu stark auf die Tools und hinterfragen die Ergebnisse kaum. Ein etwaiger Bias bzw. etwaige Falschinformationen werden nicht erkannt.
  • ... verfügen über sehr unterschiedliches und teilweise über nicht ausreichendes Basis-Wissen der Lerninhalte, um etwaige Fehler erkennen zu können.  
  • ... erzielen qualitativ unterschiedliche Ergebnisse aufgrund ungleicher Zugänglichkeit (kostenpflichtige versus kostenlose KI-Tools, barrierefreie versus nicht barrierefreie KI-Tools). 

Lösungsansätze:

Sowohl Lehrende als auch Studierende sollten verantwortungsbewusst mit generativen KI-Tools in der Lehrveranstaltung umgehen. Lehrende sollten im Rahmen des didaktischen Konzepts die Nutzung kritisch hinterfragen und Studierende in der Lehrveranstaltung an den reflektierten Umgang heranführen:

  • Lernanlässe zum Einüben der reflektierten und kritischen Nutzung schaffen (z.B. Einsatz in Übungsformaten und Besprechung im Unterricht)
  • Spezifische Aufgabenstellungen und Prüfungsfragen bereitstellen, die auf den kritisch-reflektierten Umgang mit KI-Tools abzielen (z.B. Evaluierung beispielhafter Outputs generativer KI-Tools):
    • Beispiel 1: Bitten Sie die Studierenden, die Qualität des Outputs der generativen KI zu bewerten, Fehler zu identifizieren oder den Output zu verbessern. 
    • Beispiel 2: Lassen Sie die Studierenden spezifische Fehler oder Grenzen bei der Verwendung generativer KI-Tools in Bezug auf das Fachgebiet identifizieren.
  • Klare Vorgaben für die Nutzung von KI-Technologien in der Lehrveranstaltung bereitstellen: Definieren Sie in der Lehrveranstaltung vorab, wie, wann und mit welchem Ziel der Einsatz von KI-Tools zulässig ist. Alternativ können Sie Regeln zur Nutzung auch gemeinsam mit Ihren Studierenden erarbeiten. Ein Beispiel für Nutzungsregeln bieten die Rules for Tools von Prof. Dr. Christian Spannagel. Um die Verbindlichkeit der Regeln zu erhöhen, ist es empfehlenswert, eine Bestätigung seitens der Studierenden einzuholen. 
  • Gewährleistung von Zugänglichkeit und Fairness: Beachten Sie, dass die Nutzung mancher KI-Tools, wie beispielsweise ChatGPT, eine Registrierung erfordert und teilweise kostenpflichtig ist. Es kann daher nicht von Studierenden vorausgesetzt werden, dass sie diese Tools nutzen. Berücksichtigen Sie daher auch die Verwendung alternativer Angebote, die weder kostenpflichtig sind noch eine Registrierung erfordern. Hinweise zu empfohlenen generativen KI-Tools in der Lehrveranstaltung seitens der TU Wien folgen.
  • Nutzungshinweise für Prüfungen: Geben Sie schon vorab für Ihre Prüfungen bekannt, inwiefern der Einsatz von generativen KI-Tools zulässig ist (siehe Rules for Tools). Kombinieren Sie dies, wenn erforderlich, mit einer Eigenständigkeitserklärung der TU Wien (Eine Mustervorlage finden Sie im Leitfaden zum Umgang mit Plagiaten in studentischen Arbeiten an der TU Wien, Kapitel 3.3 Einsatz von Plagiatssoftware).
  • Thematisierung der gesetzlichen Regeln zum Datenschutz: Schaffen Sie in Ihrer Lehrveranstaltung Bewusstsein dafür, dass man bei der Eingabe von Daten in das Modell vorsichtig sein und die gesetzlichen Regeln zum Datenschutz einhalten muss.
    Achtung: Geben Sie niemals personenbezogene Daten von sich und insbesondere von anderen Personen (Namen, Gesundheitsdaten, E-Mail-Adresse, ...) ein oder Daten, die Personen identifizierbar machen. Als Faustregel gilt, verwenden Sie keine Informationen in Prompts, die Sie sonst nicht veröffentlichen würden (z.B. in Social Media). Hinweise zu datenschutzrechtlichen Vorgaben bei der Verwendung von KI finden Sie in der Empfehlung zur guten Praxis im Umgang mit generativer KI an der Technischen Universität Wien. 
  • Bewusstseinsbildung in Hinblick auf Ethik: Machen Sie Ihren Studierenden bewusst, dass generative KI-Tools einen Bias aufweisen und thematisieren Sie ethische Fragen, wie z.B. Gleichbehandlung/Antidiskriminierung, akademische Integrität (Vertrauen, Ehrlichkeit und Respekt), Energieverbrauch, Falschaussagen, ungeklärte Copy-Right-Fragen, Missbrauch & Manipulation etc. Vertiefende Informationen bietet die Linksammlung AI v Ethics von Prof. Dr. Peter Purgathofer.  
  • Umgang mit Bias und Falschinformationen der KI-Technologien reflektieren: Testen Sie dies mit Ihren Studierenden und reflektieren Sie dann gemeinsam den Umgang damit.
Feedbackblasen

© Pixabay | Shari Jo

Feedbackblasen

Empfehlung: 

Es sollte überlegt werden, ob der Einsatz generativer KI-Tools aus didaktischer Perspektive sinnvoll ist: Wofür können generative KI-Tools verwendet werden und wofür nicht? (Eine Übersicht über die Lernziel-Taxonomien, in der die von KI übernehmbaren Aufgaben der kognitiven Anspruchsniveaus aufgeführt sind, finden Sie in der Darstellung Bloom’s Taxonomy Revisited, öffnet eine externe URL in einem neuen Fenster der Oregon State University.) Spezifisch menschliche Skills und Qualifikationen sollten im Vordergrund stehen und überprüft werden. Um Studierende zu einem kritisch-reflektierten Umgang mit generativen KI-Tools zu befähigen, sollten neben Lernanlässen auch Möglichkeiten zur Reflexion geschaffen werden. Regeln für die Nutzung von KI-Technologien sollten in der Lehrveranstaltung thematisiert werden und können mit Studierenden gemeinsam ausgearbeitet und beschlossen werden. Hinweise, wie KI-Technologien genutzt werden, können vorab in TISS und in TUWEL bereitgestellt werden.

Fazit: Prüfungsgestaltung

  • Anhand der zu überprüfenden Lernergebnisse entscheiden, welche Tools und in welchem Umfang erlaubt werden:

  • Transparente Kommunikation zu Beginn der Lehrveranstaltung (z.B. in der Lehrveranstaltungsbeschreibung in TISS):
    • Studierende müssen in der Lehrveranstaltung wissen, ob und wofür sie generative KI-Tools verwenden dürfen.
    • Studierende müssen vor der Prüfung transparente Informationen erhalten, welche Rahmenbedingungen für die Prüfung gelten. Idealerweise gibt es eine Erklärung, die noch einmal auf die geltenden Prüfungsrichtlinien hinweist.
  • Berücksichtigung im didaktischen Konzept der Lehrveranstaltung:
    • Aufgrund der Änderung des Prüfungsformats (z.B. kombinierte Prüfungen) kann es zu einem zeitlichen Mehraufwand für die Lehrenden kommen. Der zeitliche Mehraufwand von Prüfungen muss entsprechend in die Planung des Prüfungsformats und der didaktischen Methode der Lehrveranstaltung einbezogen werden. 
    • Durch die Verwendung von generativen KI-Tools kann sich der studentische Workload verschieben. Dieser sollte kritisch hinterfragt und das Prüfungsformat sowie die Ausrichtung der Lernergebnisse entsprechend angepasst werden. 

Im Text angeführte Informationsquellen

Zusätzliche, weiterführende Informationen