Dieser Blogartikel fasst den Vortrag „Betreuung und Bewertung von Abschlussarbeiten im Kontext von KI“ von MMag. Dr. Olivia Vrabl zusammen, der am 12. Juni 2024 im Rahmen von LEARN an der FH St. Pölten stattfand.
Das Thema hat mich besonders interessiert, da ich selbst an der FH St. Pölten unterrichte und nächstes Jahr meine Masterarbeit im Studiengang Content Strategy an der FH Joanneum schreiben werde.
Der ganztägige Vortrag behandelte zahlreiche Themen, aber in dieser Zusammenfassung konzentriere ich mich auf die Aspekte von Künstlicher Intelligenz im akademischen Kontext. Die Notizen wurden anschließend mithilfe der Wolf-Schneider-KI verbessert.
Die Rolle von KI in der akademischen Forschung und Lehre
Mit ChatGPT kann man leicht in Versuchung geraten, Hausübungen schnell schreiben zu lassen, anstatt sie selbst zu erledigen. Der Standard berichtete kürzlich darüber, dass die FH Wien aufgrund von KI-Schummelei ihr System der Bachelorarbeiten ändert. Ihre Lösung: Zukünftig sollen diese Arbeiten in Form einer Hochschuldiskussion über drei Semester innerhalb einer Peergroup erarbeitet werden.
Auf Reddit gibt es ebenfalls Beiträge, die zeigen, wie ChatGPT schamlos für wissenschaftliche Arbeiten verwendet wird, und man fragt sich, wie solche Beiträge durchgehen können.
Deswegen verwundert es nicht, dass der ÖVP-Bildungsminister Martin Polaschek eine Expertengruppe beauftragte, zu prüfen, ob schriftliche Abschlussarbeiten an AHS, BHS und BMS angesichts der schnellen Entwicklungen im Bereich KI noch angemessen sind. Obwohl erst vor kurzem ein Zwischenbericht vorgestellt wurde, steht für Polaschek bereits fest, dass die Verpflichtung zur VWA an Gymnasien abgeschafft werden soll.
Und was soll ich sagen? Eine Studierende fragte mich direkt, was eine Ersatzarbeit bringen würde, da sie diese sowieso nur mit ChatGPT schreiben würde.
Bedeutet das das Ende schriftlicher Arbeiten im Sinne der Bachelor-, Master- und Doktorarbeiten? Nach dem Vortrag von Dr. Vrabl ist meine Antwort darauf ein klares Nein, denn Didaktik, Lernen und Arbeiten und KI-Tools stehen nicht im Widerspruch zueinander.
Entscheidend ist jedoch, dass Studierende und Dozierende den Einfluss von KI-Tools wie ChatGPT auf die Betreuung von Abschlussarbeiten verstehen und wissen, wie diese den Lernprozess beeinflussen können. Deshalb ist es wichtig, sich mit den spezifischen Regelungen der eigenen Hochschulen vertraut zu machen, um sicherzustellen, dass der Einsatz von KI im Einklang mit den institutionellen Vorgaben steht.
In der Diskussion um die Qualität von Masterarbeiten sollten sowohl Lehrende als auch Lernende das übergeordnete Ziel dieser Abschlussarbeiten im Blick behalten. Für die Betreuenden ist es entscheidend, dass die eingereichten Arbeiten, die ihren Namen tragen, ein bestimmtes Qualitätsniveau aufweisen und die Studierenden über grundlegende Kompetenzen verfügen.
Auf der anderen Seite sollten die Studierenden die Prinzipien wissenschaftlichen Arbeitens verinnerlicht haben und sich kritisch mit einem Thema auseinandergesetzt haben, das ihnen potenziell berufliche Vorteile verschafft. Es ist von geringem Nutzen für die berufliche Laufbahn, wenn man sich darauf verlässt, dass KI-Systeme wie ChatGPT die Arbeit übernehmen, während man einfache Fragen zu diesem Thema im Bewerbungsgespräch nicht beantworten kann.
"Die Reflexion über den Prozess und auftretende Probleme ist entscheidend, um zu erkennen, wie intensiv sich die Studierenden mit dem Thema auseinandergesetzt hat.“
MMag. Dr. Olivia Vrabl
Die Bewertung der Autonomie und Originalität von studentischen Arbeiten
Die Bewertung studentischer Arbeiten erfordert eine klare Abgrenzung von der Unterstützung durch Lehrkräfte oder den Einsatz von KI-Tools, um die persönliche Arbeitsqualität der Studierenden zu reflektieren. Hier sind einige wichtige Aspekte, die dabei betrachtet werden sollten:
Erschließung und Abgrenzung des Themas:
Studierende müssen die Vollständigkeit und Korrektheit von Texten, die von großen Sprachmodellen wie ChatGPT generiert werden, überprüfen. Es ist wichtig, die Intention von LLMs zu verstehen, die darauf abzielen, vollständige Texte zu generieren, nicht unbedingt korrekte.
Begründung der Vorgehensweisen:
Studierende müssen ihre Methoden und Entscheidungen sorgfältig begründen, insbesondere bei der Nutzung von KI-Tools zur Informationsbeschaffung oder -verarbeitung. Da große Sprachmodelle wie ChatGPT auf Wahrscheinlichkeiten basieren, müssen die Inhalte gründlich geprüft werden, da sie nicht unbedingt absolute Wahrheiten darstellen.
Qualität von Bild und Text:
Die Qualität von Bildern und Texten ist entscheidend. Obwohl ChatGPT in Zukunft interaktive Tabellen erstellen kann,erfordert die derzeitige Erstellung von Grafiken noch manuelle Arbeit. Die Qualität dieser visuellen Darstellungen und des Textes zeigt, wie effektiv Studierende komplexe Informationen verknüpfen und sinnvoll darstellen können.
Kritische Auseinandersetzung mit der Materie:
Es ist von großer Bedeutung, über das akzeptierende Lesen hinauszugehen, das durch Tools wie ChatGPT gefördert wird. Studierende sollten die Informationen kritisch hinterfragen, um ihre Fähigkeit zu zeigen, komplexe Zusammenhänge zu verstehen. LLMs wie ChatGPT können keine tiefgreifenden Zusammenhänge herstellen, die für komplexe akademische Diskussionen erforderlich sind.
„Is it safe to use ChatGPT for your task?“ by Aleksander Tiulkanov, licensed under CC BY
Das vorbereitende Gespräch und die Dokumentation des Arbeitsprozesses
In einem Vorbereitungsgespräch zu Beginn einer wissenschaftlichen Arbeit werden wesentliche Aspekte der Forschung und die Nutzung von technologischen Hilfsmitteln geklärt. Dabei werden die Forschungsfrage, Hypothesen, Termine und Meilensteine definiert. Es wird auch eine transparente Übersicht über den Einsatz verschiedener Tools erstellt, wobei die Abhängigkeit von Technologie thematisiert und klare Richtlinien für die Nutzung festgelegt werden. Dr. Vrabl schlägt vor, eigene Regeln unter dem Motto „Rules for Tools“ zu definieren, um das Aufklärungsgespräch ansprechender zu gestalten.
Aber wie soll der Einsatz von KI am besten belegt werden?
Die Dokumentation eines Arbeitsprozesses bei der Verwendung von KI-Tools wie ChatGPT kann aufgrund der Nutzung mehrerer Bildschirme und verschiedener Anwendungen wie ChatGPT, JASP, Excel, Word und Google sehr aufwendig sein. Der nahtlose Übergang zwischen diesen Tools, insbesondere bei der dialogischen Funktionsweise von ChatGPT, erschwert eine präzise Dokumentation und kann zu einem unverhältnismäßigen Mehraufwand führen. Es ist eine Herausforderung, eine Methode zu finden, die effektiv und effizient ist, ohne den Arbeitsfluss unangemessen zu stören.
„Stecken Sie bereits beim ersten Treffen ab, welches Ziel die Studierenden bei der Arbeit haben und auf welche Note sie hinarbeiten wollen.“
MMag. Dr. Olivia Vrabl
Abhängigkeit von Technologien und Kompetenzentwicklung
Ich erkenne an mir selbst eine gewisse Abhängigkeit von Technologie, besonders wenn ChatGPT, wie kürzlich geschehen, für einen Tag ausfällt.
Dies verdeutlicht, wie sehr wir uns auf solche Systeme verlassen. ChatGPT ist so einfach zu bedienen, was dazu führen kann, dass es fälschlicherweise als Suchmaschine genutzt wird, obwohl das nicht der Fall ist.
Es ist wichtig, kritisch zu hinterfragen, wie gut KI-gestützte Features wie „AI Overview“ von Google wirklich funktionieren, da sie beispielsweise Satire-Websites nicht immer von echten unterscheiden können.
Die Abhängigkeit von Technologien kann dazu führen, dass bestimmte Fachkenntnisse vernachlässigt werden und die wahrgenommene Autonomie beeinflusst wird. Ein Bericht des St. Galler Tageblatts zeigt, dass Mitarbeiter großer Tech-Konzerne wie Google, Apple und Yahoo ihre Kinder vermehrt an Schulen ohne technologische Ablenkungen schicken,aus Sorge, dass digitale Technologien die Konzentrationsfähigkeit und Entwicklung ihrer Kinder negativ beeinflussen könnten.
Ein weiteres faszinierendes Thema im Zusammenhang mit kritischem Denken und Autonomie ist die Hermeneutik. Bei der Verwendung von Large Language Models (LLMs) wie ChatGPT ist es entscheidend zu verstehen, aus welcher Perspektive die Antworten generiert werden. Es ist wichtig, die Absicht der Autoren und den Kontext der Textbausteine zu berücksichtigen.
Ein weiteres sehr interessantes Thema im Zusammenhang mit kritischem Denken und Autonomie ist die Hermeneutik. Bei der Nutzung von Large Language Models (LLMs) wie ChatGPT ist es entscheidend zu verstehen, aufgrund welcher Weltanschauung die Antworten generiert werden. Es ist wichtig, die Absicht der Autorenschaft und den Kontext der Textbausteine zu kennen. Bei Perplexity handelt es sich beispielsweise um ein Tool, das von vielen genutzt wird, um Quellen offenzulegen. Es neigt jedoch dazu, Suchergebnisse zu bevorzugen, die in Suchmaschinen ganz oben stehen. Daher ist es hilfreich, verschiedene Modelle wie ChatGPT, Mistral (europäisch) und Claude mit denselben Prompts zu testen und ihre Reaktionen miteinander zu vergleichen. Dies ermöglicht es, ihre Leistung zu evaluieren.
„Sagen Sie zu einem Taschenrechner auch 'bitte' und 'danke'? Das verdeutlicht nur die Ebenwürdigkeit, die Sie ChatGPT zugestehen.“
MMag. Dr. Olivia Vrabl
Datenschutz und potentielle Rechtliche Folgen
Die Verwendung von künstlicher Intelligenz (KI) in der Bildung wirft wichtige Fragen bezüglich Datenschutz und Ethik auf. Hier sind die wichtigsten Punkte in einfacher Form:
Studierende könnten KI-Tools wie ChatGPT oder Perplexity nicht nutzen wollen, besonders wenn sie ein Konto dafür erstellen müssen. Es sollte nicht erzwungen werden, dass Studierende solche Konten erstellen, vor allem wenn dadurch Chatverläufe gespeichert werden, die persönliche Daten enthalten könnten.
Eine standardisierte eidesstattliche Erklärung, die Studierende zu Beginn ihrer schriftlichen Arbeiten ausfüllen, könnte hilfreich sein. In diesem Formular könnten sie angeben, wie und wofür sie KI verwendet haben. Dies würde Transparenz schaffen und sicherstellen, dass die Nutzung von KI den akademischen Integritätsrichtlinien entspricht.
Die Analyse von Interviews oder anderen persönlichen Daten mit hilfe von KI-Tools wie ChatGPT kann problematisch sein, wenn diese Daten nicht anonymisiert werden. Um die DSGVO-Konformität sicherzustellen, müssen solche Daten vor der Verarbeitung durch KI anonymisiert werden.
Beim Erstellen von Zusammenfassungen ihrer Arbeiten mit ChatGPT sollten Studierende sich der Datenpreisgabe bewusst sein, wenn sie das gesamte Dokument an die KI weitergeben. Eine mögliche Alternative bietet Adobe Sensei PDF KI Acrobat Reader, der großen Firmenkunden ermöglicht, Daten lokal zu speichern und zu verarbeiten, ohne sie an externe Server zu senden.
Es gibt Bedenken, dass die Verwendung von KI das Erschleichen von akademischen Titeln erleichtern könnte, insbesondere wenn PrüferInnen nur das Endprodukt bewerten und den methodischen Prozess nicht nachvollziehen bzw beurteilen können, weil sie als nebenberufliche DozentInnen aus der Praxis stammen. Es bleibt unklar, ob zukünftige KI-Technologien Betrugsfälle aufdecken könnten, die zu einer nachträglichen Aberkennung von Titeln führen würden.
Wofür sich ChatGPT bei einer wissenschaftlichen Arbeit eignet
Wie und wofür kann man ChatGPT für wissenschaftliche Arbeiten nutzen? Zunächst eine schlechte Nachricht: Basierend auf meiner eigenen Erfahrung war der Versuch, ein zweiseitiges wissenschaftliches Dokument mit ChatGPT zu verfassen, nicht erfolgreich. Es musste so viel umgeschrieben werden, dass die Nutzung von ChatGPT letztendlich keinen Mehrwert bot, da die Zusammenfassungen oft an Substanz mangelten. Trotzdem fand ich Wege, ChatGPT sinnvoll einzusetzen:
Trotzdem fand ich Wege, ChatGPT sinnvoll einzusetzen:
1. Zusammenfassungen: ChatGPT kann effektiv helfen, prägnante Überblicke über umfangreiche Inhalte zu erstellen, wie zum Beispiel für Abstracts, die ich ungern selbst schreibe.
2. Gestaltung von Abbildungsverzeichnissen: Das Tool kann sicherstellen, dass alle Grafiken, Bilder und Tabellen einheitlich formatiert sind. Bei einem umfangreichen Verzeichnis mit ca. 70 Elementen war dies besonders hilfreich.
3. Beschreibung von Grafiken und Bildern: ChatGPT kann präzise Beschreibungen für visuelle Inhalte erstellen, was für ALT-Texte oder die Überprüfung von Diagrammen nützlich ist.
4. Umformulierungen und Erstellung von Überschriften: Das Tool verbessert die Struktur und Lesbarkeit von Texten, was zur klaren Kommunikation wissenschaftlicher Ideen beiträgt.
5. Erstellung von Inhaltsverzeichnissen: ChatGPT erleichtert die Organisation und Strukturierung von Dokumenten, was besonders nützlich ist, wenn verschiedene Strukturen während eines Termins mit dem Lektor diskutiert werden.
6. Vereinfachung komplexer Sätze: ChatGPT kann schwierige Sätze in verständlichere Sprache umwandeln, was hilfreich ist, wenn komplexe wissenschaftliche Papers gelesen werden.
7. Einheitlichkeit: Das Tool kann die Grammatik überprüfen und sicherstellen, dass die Schriftgröße im gesamten Dokument einheitlich ist.
Diese Anwendungen zeigen, dass ChatGPT zwar nicht direkt für das Verfassen kompletter wissenschaftlicher Dokumente geeignet ist, aber dennoch wertvolle Unterstützung bei vielen Aspekten der wissenschaftlichen Arbeit bieten kann.
Ein weiterer wichtiger Punkt aus dem Vortrag war das Thema Lektorat. Als ich meine Bachelorarbeit vor 10 Jahren geschrieben habe, habe ich nicht daran gedacht, eine dritte Person um ein Lektorat zu bitten. Ein solches Lektorat wird jedoch nicht als Täuschung betrachtet und kann die Qualität der Arbeit erheblich verbessern. Alternativ kann man das Lektorat auch selbst durchführen. Dafür ist es wichtig, den Text nach Fertigstellung etwa zwei Wochen ruhen zu lassen,um ihn dann mit frischem Blick zu überarbeiten. Viele Studierende planen diesen Schritt jedoch nicht ein, und dann bleibt oft nur ChatGPT als Rechtschreibprüfung übrig.
Conclusio
Es war sehr lehrreich, den Bewertungs- und Durchführungsprozess wissenschaftlicher Arbeiten aus der Perspektive einer Lehrkraft zu betrachten.
Ich habe nun ein besseres Verständnis dafür, worauf ich und mein Betreuer im kommenden Jahr achten müssen. Die Reflexion über den Prozess und auftretende Probleme ist entscheidend, um zu erkennen, wie intensiv man sich mit einem Thema auseinandergesetzt hat. Wenn ich keine Fragen oder Probleme zu den Terminen mitbringe, habe ich mich nicht ausreichend mit der Materie beschäftigt.
Des Weiteren habe ich überlegt, wie ich meinen Workflow zur Dokumentation mit KI verbessern kann. Da ich bereits Awork als Zeitmanagement-Tool für meine Selbstständigkeit nutze, bietet es sich an, es ebenfalls als Projekttagebuch für die Masterarbeit zu nutzen – um festzuhalten, wann ich welche Aufgaben erledigt habe und welche KI-Tools ich verwendet habe. Diese Daten lassen sich dann problemlos exportieren.
Zusammenfassend verstehe ich, warum vorwissenschaftliche Arbeiten möglicherweise obsolet werden könnten, da ChatGPT in der Lage ist, oberflächlich sehr grundlegende Themen zu behandeln, was oft ausreichend für derartige Projekte ist. Für akademische Arbeiten wie Bachelor-, Master- und Doktorarbeiten reicht die Technologie jedoch noch nicht aus. Dennoch kann sie das Niveau der Arbeit verbessern, indem sie bestimmte Aufgaben erleichtert und optimiert.
Dies war nur ein kurzer Einblick in den beeindruckenden Vortrag. Mein Tipp: Buchen Sie Dr. Olivia Vrabl für einen Tag. Das Thema ist wirklich sehr spannend.
Let's go
Sie haben Fragen zu
meiner Dienstleistung?
Ich biete spezialisierte Workshops für generative KI im Marketing und Midjourney-Kurse für Werbeagenturen an. 🙋♀️💜