Hallo zusammen!

Ich bin Robert Nickel, Informatikstudent der Hochschule Konstanz. Meine Masterarbeit schreibe ich über crowdsourced Prüfungen im akademischen Kontext. Dafür entwickle ich eine open source Software namens scalexam.

Problem: Online Prüfungen in der Pandemie

Während der Pandemie wurden an vielen Hochschulen Onlineprüfungen durchgeführt, doch das lief nicht immer ganz glatt. Die große Frage war: Wie geht man sicher, dass die Studenten nicht mogeln? In anderen Worten: Die Validität der normalen Prüfung schien der Onlineprüfung zu weichen, da das Umfeld nicht gleichermaßen kontrollierbar war, da halfen ehrlicherweise auch Webcampflicht und andere Maßnahmen nur wenig.

Einige Professoren hatten die Idee, mehrere unterschiedliche Prüfungen für die Studenten zu erstellen, um dieses Problem zu adressieren. Sie merkten schnell, mit welchem Mehraufwand dies verbunden ist, sowohl in der Prüfungsstellung als auch in der Korrektur. Und es stellt sich eine weitere Frage: Sind solche Prüfungen wirklich vergleichbar? Könnte es nicht sein, dass man als Student schwierigere Aufgaben erhält, als ein anderer Student – einfach weil man Pech hatte? Zuletzt gab es noch mündliche Prüfungen via Videotelefonie, welche zwar eine höhere Validität aufweisen, gleichzeitig aber nur für kleine Kursgrößen umsetzbar sind, und auch hier die Frage der Vergleichbarkeit im Raum steht.

Abstrahiert kann man festhalten, dass eine Prüfung scheinbar nur zwei der drei folgenden wünschenswerten Eigenschaften haben kann: vergleichbar, valide und online. Dies nenne ich im folgenden das eiserne Prüfungsdreieck.

Ziel: Skalierbare Prüfungen

Würde es doch gelingen, alle drei Eigenschaften (vergleichbar, valide und online) in einer Prüfung zu vereinen, also das eiserne Dreieck zu durchbrechen, so hätte man skalierbare Prüfungen. Das ist durchaus erstrebenswert, da Prüfungen den Flaschenhals der Onlinelehre bilden: Das Austeilen von Wissen ist danke Moodle, YouTube, WebEx etc. sehr einfach, aber der Rückweg ist unklar. Die Onlinelehre ist eine positive Entwicklung in unserem Zeitalter der Digitalisierung, da durch die höhere Flexibilität mehr Menschen Zugang zu Bildung erhalten.

Wie also lautet die Formel für den Durchbruch des eisernen Prüfungsdreieck?

Crowdsourcing!

Die Grundidee von scalexam ist eine intelligente Verbindung von crowdsourcing mit Onlineprüfungen. Das bedeutet, dass jeder Student zu einer Prüfung beiträgt, indem er Aufgaben vorschlägt, welche von anderen Studenten während der Prüfung gefiltert, bewertet und beantwortet werden. Jede der Phasen trägt zur Gesamtnote bei. Klarer wird dies bei einem Beispiel.

Alice nimmt an einer scalexam Prüfung teil und stellt im ersten Schritt drei offene Fragen. Dabei achtet sie darauf, dass die Fragen möglichst kreativ, interessant und einmalig, aber auch lösbar sind. Anschließend erhält sie fünf zufällig ausgewählte Aufgaben, welche sie nicht lösen, sondern nach genannten qualitativen Kriterien in eine Reihenfolge bringen soll. Gleichen sich zwei Aufgaben inhaltlich, kann sie ein Duplikat melden, und sich für die bessere Formulierung entscheiden. Ist eine Aufgabe grob falsch, besonders kreativ oder erfordert formale Korrektur, so kann sie diese entsprechend markieren. Daraufhin beginnt der klassische Teil der Prüfung: Sie erhält fünf individuelle Aufgaben, welche sie so gut wie möglich löst. Zuletzt findet die gegenseitige Korrektur statt, bei der sie eine Aufgabe und vier Antworten unterschiedlicher Studenten darauf sieht. Diese bringt sie in eine qualitative Reihenfolge, wobei sie bei den unteren Bewertungen eine Begründung angibt. Jeder ihrer Schritte wird von einem demokratischen System bewertet und führt schlussendlich dazu, dass sie ihre Gesamtbewertung direkt nach der Prüfung erhält.

Wie geht es nun weiter?

Ich entwickle die Software, suche nach Interessierten und schicke Anfang November die nächste E-Mail zu scalexam. Insbesondere bin ich auf der Suche nach Bildungswissenschaftlern/Pädagogen oder anderen Leuten, die sich gut mit dem Lernen selbst und der Rolle der Prüfung auskennen, um die richtigen Anforderungen an das Softwaresystem ableiten zu können. Auch möchte ich Sie dazu einladen, meiner Mailingliste beizutreten und in Ihrem Bekanntenkreis an Interessierte weiterzuleiten, die einfache Anmeldung finden Sie auf https://scalexam.com. Dort schreibe ich einmal monatlich an alle Interessierten über das Problem, die Lösung, den aktuellen Entwicklungsstatus, Erfolge und Schwierigkeiten.

Bei Fragen, Feedback oder Interesse an dem Produkt freue ich mich, wenn Sie Kontakt mit mir aufnehmen.

Robert Nickel