(zettel (meta (author "Detlef Stern") (back "20190218125000") (backward "20190218125000") (box-number "1") (created "20140303154500") (forward "20131206183923") (modified "20231122164449") (published "20231122164449") (role "post") (syntax "zmk") (tags "#bericht #fach") (title "Erste Ergebnisse: Projektmanagement 1") (visibility "public")) (rights 4) (encoding "") (content "Das Semester ist vorüber, die Klausuren sind geschrieben und bewertet.\nZeit also, eine erste Bilanz auf Basis der Klausurergebnisse zu ziehen.\nIn diesem Beitrag soll es um die Veranstaltung \"\"Projektmanagement 1\"\" (PM1) gehen.\n\n=== Rahmenbedingungen\n\nIch bewerte die Klausuren schon seit einigen Jahren quasi-anonym: auf den Klausuren steht nur die Matrikelnummer.\nErst bei der Eingabe der Noten erfahre ich, welche Person welche Bewertung erhalten hat.\n\nNeben dem Fach PM1 unterrichtete ich im vergangenen Wintersemester zusätzlich das Fach \"\"Software Engineering 1\"\" (SE1) für die gleiche Zielgruppe an Studierenden (2. Studiensemester), aber nicht nach der Methode \"\"Agiles Studieren\"\", sondern wie in den vergangenen Jahren auch.\nDamit habe ich eine Kontrollgruppe.\n\nIn beiden Fächern habe ich die identischen Aufgaben wie vor einem Jahr gestellt.\nDie Bearbeitung der Aufgaben lässt darauf schließen, dass dies keiner der Studierenden groß gemerkt hat.\n\nWarum vergleiche ich mit Klausuren, die vor einem Jahr geschrieben wurden?\nEs gibt eine Art saisonale Schwankung bei den Klausurergebnissen.\nStatistisch gesehen schneiden Studierende, die ihr Studium in einem Wintersemester begonnen haben, im Mittel um ca. eine Teilnote besser ab.\nDies bestätigen mir viele Kollegen in Gesprächen.\nÜber die Gründe kann ich nur mutmaßen und möchte sie hier nicht vertiefen.\n\nBei der Veranstaltung SE1 gab es allerdings eine relevante Änderung zum Vorjahr.\nAb diesem Wintersemester habe ich in allen Veranstaltungen darauf verzichtet, den Studierenden auf Basis von Arbeiten während des Semesters (zusammenfassende Präsentationen, Dokumentieren der Lernergebnisse in einem Wiki) sog. \"\"Bonuspunkte\"\" zu gewähren.\nDer Grund war die Fixierung der Studierenden auf die Bonuspunkte und nicht auf die Inhalte.\nDaher vergleiche ich hier auch nur primär die erreichten Punkte in der Klausur.\nDie Bonuspunkte haben auf das Bestehen der Klausuren keinen Einfluss.\n\nTrotzdem besitzen die Bonuspunkte einen vermuteten Effekt: die Studierenden werden während der Vorlesungszeit aktiviert, sich mit den Inhalten zu\nbeschäftigen, die sie im Rahmen einer Kurzpräsentation zusammenfassen sollen.\nDiese Inhalte beherrschen die Studierenden vermutlich besser als der Durchschnitt.\n\n=== Erwartungen\n\nDieser Effekt lässt sich mit einer anderen Klausur dieses Wintersemesters belegen: \"\"Software Engineering 2\"\" (SE2), üblicherweise belegt durch Studierende des 3. Semesters.\nZwar habe ich in diesem Fach nicht die identische Klausur wie vor einem Jahr schreiben lassen, der Inhalt war aber vom Schwierigkeitsgrad sehr vergleichbar.\nIn SE2 sank die durchschnittlich erreichte Punktezahl um 5,1 Punkte gegenüber im Vorjahr (gleiche Anzahl an Klausuren).\nDas entspricht in etwa ein klein wenig mehr als einer Teilnote.\nIn SE1 sank dagegen die durchschnittliche erreichte Punktzahl um 6,5 Punkte (49 Klausuren vor einem Jahr, 39 Klausuren in diesem Wintersemester), das\nentspricht eher 1,5 Teilnoten.\n\nIn allen Klausuren, auch PM1, konnten durch Bearbeitung der Klausuraufgaben maximal 90 Punkte erzielt werden.\n\nDa es in PM1 in der Vergangenheit keine Bonuspunkte gab, hätte ich nur eine kleine Verringerung der durchschnittlich erreichten Punktzahl erwartet, wenn\nich die Veranstaltung wie bisher durchgeführt hätte.\nSprich: wenn sich die Ergebnisse von SE2 und SE1 auf PM1 hochrechnen lassen, wäre ein Absinken der durchschnittlich erreichten Punkte um 1,4 Punkte zu erwarten.\n\nWas waren meine Erwartungen für das agile Studieren im Fach PM1?\nIch habe meine Erwartungen nicht vorher öffentlich dokumentiert, um die Studierenden nicht zu beeinflussen.\nMeine Erwartung war, dass die Ergebnisse in etwa denen der vergangenen Jahre ähneln.\nWer schon einmal an Änderungsprozessen beteiligt war, weiß, nach einer Änderung vieles erst einmal schlechter wird.\nWenn alle Beteiligten die Änderungen wirklich akzeptiert haben, verbessern sich die Ergebnisse (idealerweise auch gegenüber dem Stand vor der Änderung).\n\nIn diesem Sinne ist meine Erwartung durchaus gewagt.\nDas Konzept ist neu.\nKeinem von uns Lehrenden war zu Beginn klar, ob wir es so umsetzen können, wie geplant war.\nFür die Studierenden bedeutete es eine erhebliche Umstellung.\nDa von keiner Verschlechterung auszugehen, ist wohl eher optimistisch.\n\n=== Ergebnisse\n\nNachdem ich  (geschickt?) die Erwartungen gedämpft habe, will ich die Ergebnisse für PM1 darstellen.\n\nDer Durchschnitt der erreichten Punkte ist um 0,2 Punkte gesunken.\nDas ist weniger, als wenn ich weiterhin konventionell vorgegangen wäre (klassische Vorlesung mit Übungen).\nAllerdings ist die Anzahl der Klausurteilnehmer bei PM1 von 50 im letzten Jahr auf 33 in diesem Wintersemester stärker gesunken als bei SE1 (dort nur 10 Teilnehmer weniger).\n\nDie wesentlich geringere Anzahl an Klausurteilnehmern führe ich auf das agile Studieren zurück.\nMeine These: ca. sieben Studierende haben sich erst gar nicht zur Klausur angemeldet, __weil__ sie durch das agile Vorgehen entsprechendes Feedback zu ihrem vermeintlich ungenügendem Wissensstand erhalten haben.\n\nSollte meine These stimmen, dann wäre der Durchschnitt der Punkte zu hoch.\nHätte ich PM1 konventionell durchgeführt, hätten sich diese 7 Studierenden zur Klausur angemeldet.\n\nUm eine sehr pessimistische Abschätzung für den nach meiner These zu hohen Durchschnitt zu erhalten, habe ich die sieben schlechtesten Ergebnisse dupliziert.\nDamit erhalte ich die erwarteten 40 Klausurteilnehmer.\nIn diesem Fall sinkt die durchschnittlich erreichte Punktezahl um 3 Punkte (im Vergleich zum letzten Jahr).\n\nIn einem anderen Szenario hätten die fehlenden Klausurteilnehmer vergleichbare Ergebnisse erzielt, wie die Studierenden, die so gut wie nicht am agilen\nStudieren teilgenommen hatten.\nDa mir eine Monte-Carlo-Simulation zu aufwändig ist, habe ich die Ergebnisse der Studierenden, die nicht am agilen Studieren teilnahmen, aufsteigend sortiert und per Abzählverfahren jedes 10. Ergebnis verwendet, bis ich 7 Ergebnisse hatte.\nIn diesem Fall sinkt der Punktedurchschnitt um 1,5 Punkte (im Vergleich zum letzten Jahr).\n\nFür mich ergibt sich, dass das Vorgehen nach dem agilen Studieren meine Erwartungen erfüllt hat.\nTrotz der ganzen Änderungen in diesem Semester wurden von den Studierenden ähnliche Ergebnisse, wie bei einem konventionellen Vorgehen, erzielt.\n\n=== Bestanden?\n\nEine gravierende Änderung zum Vorjahr lässt sich aus diesen Werten nicht herauslesen: die Verteilung der Punkte.\nDas Konzept der Standardabweichung lässt sich hier nicht anwenden, da die Punkteverteilung so gut wie nie einer Glockenkurve ähnelt.\n\nJetzt wird die Notenverteilung doch noch relevant.\nIch habe die Klausur genauso bewertet wie vor einem Jahr.\nBis auf eine Ausnahme ähnelt sich die Verteilung der Noten von vor einem Jahr mit der Notenverteilung in diesem Wintersemester.\nEs gibt eine geringe Zahl an Einsen, etwas mehr Zweien und noch mehr Dreien.\nBei denen, die nicht bestanden haben, gibt es doppelt so häufig die Note \"\"5+\"\", wie die Note \"\"5\"\".\nEine Note \"\"4-\"\" ist an der Hochschule Heilbronn nicht vorgesehen.\nSo weit, so normal.\n\nWas aber auffällt, ist das fast völlige Fehlen der Note \"\"4\"\".\nHatte ich im Vorjahr diese Note zu ca. 20% vergeben, war es jetzt nur ein Mal.\nEin \"\"gerade mal so bestanden\"\" gab es in diesem Semester so gut wie nicht.\nDas spiegelt sich auch am Anteil der nichtbestandenen Klausuren wider: in diesem Jahr haben vom Anteil her doppelt so viele Studierende die Klausur nicht bestanden, wie im letzten Jahr.\n\nWie schon oben angedeutet, haben viele Studierenden nicht wahrnehmbar am agilen Studieren teilgenommen.\nDas entspricht der geringen Teilnahme an konventionellen Veranstaltungsformen.\nDarüber hatte ich schon in [[Die Idee|20131206183923]] geschrieben.\nWie verteilen sich die Ergebnisse zwischen den aktiven und den \"\"weniger aktiven\"\" Studierenden?\n\nIm Unterschied zu einer Vorlesung, selbst wenn diese \"\"seminaristisch\"\" ist, können wir Professoren beim agilen Studieren sehr gut nachvollziehen, wer aktiv mitarbeitet und wer eher Inhalte konsumiert oder gar passiv ist.\nDas sehr klare Ergebnis hat mich überrascht.\n\nJeder aktiv am agilen Studieren teilnehmende Studierende hat die Klausur bestanden, wirklich jeder.\n\nMich hat das auch deshalb überrascht, weil darunter Studierende sind, welche die deutsche Sprache nicht so gut beherrschen.\n\nEs gab eine Gruppe von Studierenden, die sporadisch und selten in einer Gruppe am agilen Studieren teilnahmen.\nVon diesen hat die Hälfte bestanden.\nDie beste Note war eine \"\"3+\"\".\n\nBei der Gruppe der Studierenden, die kaum oder gar nicht wahrnehmbar am agilen Studieren teilnahmen, hat nur ein Drittel die Klausur bestanden.\nAuch hier war die beste Note eine \"\"3+\"\".\n\n=== Fazit\n\nWie bewerte ich diese Ergebnisse, auch wenn sie nur eine Momentaufnahme sind?\n\nZum einen bin ich froh, dass die Ergebnisse trotz der ganzen Änderungen vergleichbar zu früheren Jahren blieben.\nDer Punktedurchschnitt ist im erwarteten Rahmen, alle aktiven Studierenden haben die Klausur bestanden.\nDas Experiment muss nicht abgebrochen werden.\nIm Gegenteil.\n\nZum anderen bin ich fast erschrocken, wie sehr der (Lern-, Klausur-, …) Erfolg eines jeden einzelnen Studierenden von der eigenen Aktivität abhängt.\nDas bestätigt für mich die (Binsen-?) Weisheit, dass jeder Studierende für den eigenen Lernerfolg zuerst selbst verantwortlich ist.\n\nWie geht es weiter?\n\nJa, es geht weiter.\nIch kenne die Detailergebnisse meiner Kollegen noch nicht und bin darauf sehr gespannt.\nAus meiner Sicht deuten meine Ergebnisse das große Potential der Methode \"\"agiles Studieren\"\" an."))