Erste Ergebnisse: Projektmanagement 1

Das Semester ist vorüber, die Klausuren sind geschrieben und bewertet. Zeit also, eine erste Bilanz auf Basis der Klausurergebnisse zu ziehen. In diesem Beitrag soll es um die Veranstaltung „Projektmanagement 1“ (PM1) gehen.

Rahmenbedingungen

Ich bewerte die Klausuren schon seit einigen Jahren quasi-anonym: auf den Klausuren steht nur die Matrikelnummer. Erst bei der Eingabe der Noten erfahre ich, welche Person welche Bewertung erhalten hat.

Neben dem Fach PM1 unterrichtete ich im vergangenen Wintersemester zusätzlich das Fach „Software Engineering 1“ (SE1) für die gleiche Zielgruppe an Studierenden (2. Studiensemester), aber nicht nach der Methode „Agiles Studieren“, sondern wie in den vergangenen Jahren auch. Damit habe ich eine Kontrollgruppe.

In beiden Fächern habe ich die identischen Aufgaben wie vor einem Jahr gestellt. Die Bearbeitung der Aufgaben lässt darauf schließen, dass dies keiner der Studierenden groß gemerkt hat.

Warum vergleiche ich mit Klausuren, die vor einem Jahr geschrieben wurden? Es gibt eine Art saisonale Schwankung bei den Klausurergebnissen. Statistisch gesehen schneiden Studierende, die ihr Studium in einem Wintersemester begonnen haben, im Mittel um ca. eine Teilnote besser ab. Dies bestätigen mir viele Kollegen in Gesprächen. Über die Gründe kann ich nur mutmaßen und möchte sie hier nicht vertiefen.

Bei der Veranstaltung SE1 gab es allerdings eine relevante Änderung zum Vorjahr. Ab diesem Wintersemester habe ich in allen Veranstaltungen darauf verzichtet, den Studierenden auf Basis von Arbeiten während des Semesters (zusammenfassende Präsentationen, Dokumentieren der Lernergebnisse in einem Wiki) sog. „Bonuspunkte“ zu gewähren. Der Grund war die Fixierung der Studierenden auf die Bonuspunkte und nicht auf die Inhalte. Daher vergleiche ich hier auch nur primär die erreichten Punkte in der Klausur. Die Bonuspunkte haben auf das Bestehen der Klausuren keinen Einfluss.

Trotzdem besitzen die Bonuspunkte einen vermuteten Effekt: die Studierenden werden während der Vorlesungszeit aktiviert, sich mit den Inhalten zu beschäftigen, die sie im Rahmen einer Kurzpräsentation zusammenfassen sollen. Diese Inhalte beherrschen die Studierenden vermutlich besser als der Durchschnitt.

Erwartungen

Dieser Effekt lässt sich mit einer anderen Klausur dieses Wintersemesters belegen: „Software Engineering 2“ (SE2), üblicherweise belegt durch Studierende des 3. Semesters. Zwar habe ich in diesem Fach nicht die identische Klausur wie vor einem Jahr schreiben lassen, der Inhalt war aber vom Schwierigkeitsgrad sehr vergleichbar. In SE2 sank die durchschnittlich erreichte Punktezahl um 5,1 Punkte gegenüber im Vorjahr (gleiche Anzahl an Klausuren). Das entspricht in etwa ein klein wenig mehr als einer Teilnote. In SE1 sank dagegen die durchschnittliche erreichte Punktzahl um 6,5 Punkte (49 Klausuren vor einem Jahr, 39 Klausuren in diesem Wintersemester), das entspricht eher 1,5 Teilnoten.

In allen Klausuren, auch PM1, konnten durch Bearbeitung der Klausuraufgaben maximal 90 Punkte erzielt werden.

Da es in PM1 in der Vergangenheit keine Bonuspunkte gab, hätte ich nur eine kleine Verringerung der durchschnittlich erreichten Punktzahl erwartet, wenn ich die Veranstaltung wie bisher durchgeführt hätte. Sprich: wenn sich die Ergebnisse von SE2 und SE1 auf PM1 hochrechnen lassen, wäre ein Absinken der durchschnittlich erreichten Punkte um 1,4 Punkte zu erwarten.

Was waren meine Erwartungen für das agile Studieren im Fach PM1? Ich habe meine Erwartungen nicht vorher öffentlich dokumentiert, um die Studierenden nicht zu beeinflussen. Meine Erwartung war, dass die Ergebnisse in etwa denen der vergangenen Jahre ähneln. Wer schon einmal an Änderungsprozessen beteiligt war, weiß, nach einer Änderung vieles erst einmal schlechter wird. Wenn alle Beteiligten die Änderungen wirklich akzeptiert haben, verbessern sich die Ergebnisse (idealerweise auch gegenüber dem Stand vor der Änderung).

In diesem Sinne ist meine Erwartung durchaus gewagt. Das Konzept ist neu. Keinem von uns Lehrenden war zu Beginn klar, ob wir es so umsetzen können, wie geplant war. Für die Studierenden bedeutete es eine erhebliche Umstellung. Da von keiner Verschlechterung auszugehen, ist wohl eher optimistisch.

Ergebnisse

Nachdem ich (geschickt?) die Erwartungen gedämpft habe, will ich die Ergebnisse für PM1 darstellen.

Der Durchschnitt der erreichten Punkte ist um 0,2 Punkte gesunken. Das ist weniger, als wenn ich weiterhin konventionell vorgegangen wäre (klassische Vorlesung mit Übungen). Allerdings ist die Anzahl der Klausurteilnehmer bei PM1 von 50 im letzten Jahr auf 33 in diesem Wintersemester stärker gesunken als bei SE1 (dort nur 10 Teilnehmer weniger).

Die wesentlich geringere Anzahl an Klausurteilnehmern führe ich auf das agile Studieren zurück. Meine These: ca. sieben Studierende haben sich erst gar nicht zur Klausur angemeldet, weil sie durch das agile Vorgehen entsprechendes Feedback zu ihrem vermeintlich ungenügendem Wissensstand erhalten haben.

Sollte meine These stimmen, dann wäre der Durchschnitt der Punkte zu hoch. Hätte ich PM1 konventionell durchgeführt, hätten sich diese 7 Studierenden zur Klausur angemeldet.

Um eine sehr pessimistische Abschätzung für den nach meiner These zu hohen Durchschnitt zu erhalten, habe ich die sieben schlechtesten Ergebnisse dupliziert. Damit erhalte ich die erwarteten 40 Klausurteilnehmer. In diesem Fall sinkt die durchschnittlich erreichte Punktezahl um 3 Punkte (im Vergleich zum letzten Jahr).

In einem anderen Szenario hätten die fehlenden Klausurteilnehmer vergleichbare Ergebnisse erzielt, wie die Studierenden, die so gut wie nicht am agilen Studieren teilgenommen hatten. Da mir eine Monte-Carlo-Simulation zu aufwändig ist, habe ich die Ergebnisse der Studierenden, die nicht am agilen Studieren teilnahmen, aufsteigend sortiert und per Abzählverfahren jedes 10. Ergebnis verwendet, bis ich 7 Ergebnisse hatte. In diesem Fall sinkt der Punktedurchschnitt um 1,5 Punkte (im Vergleich zum letzten Jahr).

Für mich ergibt sich, dass das Vorgehen nach dem agilen Studieren meine Erwartungen erfüllt hat. Trotz der ganzen Änderungen in diesem Semester wurden von den Studierenden ähnliche Ergebnisse, wie bei einem konventionellen Vorgehen, erzielt.

Bestanden?

Eine gravierende Änderung zum Vorjahr lässt sich aus diesen Werten nicht herauslesen: die Verteilung der Punkte. Das Konzept der Standardabweichung lässt sich hier nicht anwenden, da die Punkteverteilung so gut wie nie einer Glockenkurve ähnelt.

Jetzt wird die Notenverteilung doch noch relevant. Ich habe die Klausur genauso bewertet wie vor einem Jahr. Bis auf eine Ausnahme ähnelt sich die Verteilung der Noten von vor einem Jahr mit der Notenverteilung in diesem Wintersemester. Es gibt eine geringe Zahl an Einsen, etwas mehr Zweien und noch mehr Dreien. Bei denen, die nicht bestanden haben, gibt es doppelt so häufig die Note „5+“, wie die Note „5“. Eine Note „4-“ ist an der Hochschule Heilbronn nicht vorgesehen. So weit, so normal.

Was aber auffällt, ist das fast völlige Fehlen der Note „4“. Hatte ich im Vorjahr diese Note zu ca. 20% vergeben, war es jetzt nur ein Mal. Ein „gerade mal so bestanden“ gab es in diesem Semester so gut wie nicht. Das spiegelt sich auch am Anteil der nichtbestandenen Klausuren wider: in diesem Jahr haben vom Anteil her doppelt so viele Studierende die Klausur nicht bestanden, wie im letzten Jahr.

Wie schon oben angedeutet, haben viele Studierenden nicht wahrnehmbar am agilen Studieren teilgenommen. Das entspricht der geringen Teilnahme an konventionellen Veranstaltungsformen. Darüber hatte ich schon in Die Idee geschrieben. Wie verteilen sich die Ergebnisse zwischen den aktiven und den „weniger aktiven“ Studierenden?

Im Unterschied zu einer Vorlesung, selbst wenn diese „seminaristisch“ ist, können wir Professoren beim agilen Studieren sehr gut nachvollziehen, wer aktiv mitarbeitet und wer eher Inhalte konsumiert oder gar passiv ist. Das sehr klare Ergebnis hat mich überrascht.

Jeder aktiv am agilen Studieren teilnehmende Studierende hat die Klausur bestanden, wirklich jeder.

Mich hat das auch deshalb überrascht, weil darunter Studierende sind, welche die deutsche Sprache nicht so gut beherrschen.

Es gab eine Gruppe von Studierenden, die sporadisch und selten in einer Gruppe am agilen Studieren teilnahmen. Von diesen hat die Hälfte bestanden. Die beste Note war eine „3+“.

Bei der Gruppe der Studierenden, die kaum oder gar nicht wahrnehmbar am agilen Studieren teilnahmen, hat nur ein Drittel die Klausur bestanden. Auch hier war die beste Note eine „3+“.

Fazit

Wie bewerte ich diese Ergebnisse, auch wenn sie nur eine Momentaufnahme sind?

Zum einen bin ich froh, dass die Ergebnisse trotz der ganzen Änderungen vergleichbar zu früheren Jahren blieben. Der Punktedurchschnitt ist im erwarteten Rahmen, alle aktiven Studierenden haben die Klausur bestanden. Das Experiment muss nicht abgebrochen werden. Im Gegenteil.

Zum anderen bin ich fast erschrocken, wie sehr der (Lern-, Klausur-, …) Erfolg eines jeden einzelnen Studierenden von der eigenen Aktivität abhängt. Das bestätigt für mich die (Binsen-?) Weisheit, dass jeder Studierende für den eigenen Lernerfolg zuerst selbst verantwortlich ist.

Wie geht es weiter?

Ja, es geht weiter. Ich kenne die Detailergebnisse meiner Kollegen noch nicht und bin darauf sehr gespannt. Aus meiner Sicht deuten meine Ergebnisse das große Potential der Methode „agiles Studieren“ an.