1 11. Fachtagung für Psychologiedidaktik und Evaluation Psychologische Hochschule Berlin – Uhr Arnold Hinz Wie nützlich sind Lehrevaluationen durch Studierende mittels Ratingskalen?

2 1.Einführung 2.Ergebnisse Fragebogenerhebung 3.Ergebnisse Interviewerhebung 4.Diskussion Wie nützlich sind Lehrevaluationen...?

3 Einführung Gütekriterien der Forschung und von Messungen -Objektivität -Reliabilität -Validität -Nützlichkeit -Ökonomie -Zugänglichkeit -Vergleichbarkeit -Ethische Vertretbarkeit

4 Einführung Forschungsstand Forschungsstand Student Evaluation of Teaching (SET) -Es gibt viele die Validität der SET beeinträchtigende Biasvariablen (Hinz, 2012) -Mit Ratingskalen zur Lehrevaluation wird einigermaßen valide die studentische Zufriedenheit gemessen. -Der studentische Lernzuwachs wird mit Ratingskalen zur Lehrevaluation nicht gemessen (Arthur et al., 2003; Clayson, 2009; Stark-Wroblewski et al., 2007). -Zur Frage der Nützlichkeit der Lehrevaluation (Verbesserung der Lehre) gibt es eher negative Befunde (Kember et al., 2002; Lang & Kersting, 2007; Marsh & Hocevar, 1991; Marsh 2007; Richardson, 2005; Rindermann, 2009).

5 Infos zur Lehrevaluation der PH Ludwigsburg Lehrevaluation der PH Ludwigsburg entspricht dem hochschuldidaktischen Diskursmodell (Rindermann, 2001) („mid-term-feedback“, Knol et al., 2013): Lehrevaluation während des laufenden Semesters, Mitteilung der Ergebnisse an die Studierenden, Diskussion über nötige Veränderungen, dadurch Verbesserung der Lehre Letzte Durchführung der Lehrevaluation:

6 Infos zur Lehrevaluation Information über bisherige Durchschnittsergebnisse und über bekannte Biasvariablen → an jeden Dozenten

7 Forschungsfragen Forschungsfragen: -Wie wird die Lehrevaluation der PH Ludwigsburg umgesetzt? -Wie erleben, bewerten und diskutieren Studierende diese Lehrevaluation? -Verbessert sich aus Sicht der Studierenden durch die Lehrevaluation die Lehre?

8 Forschungsdesign Mixed-Methods-Design: 1.Fragebogenerhebung (quantitativ) 2.Gespräche mit Interessierten (qualitativ)

9 Stichprobe Fragebogenerhebung FRAGEBOGENERHEBUNG N = 204 (55 ♂, 148 ♀) M = 5.1, SD = 2.6

10 Ergebnisse Fragebogenerhebung 1 Anzahl Lehrevaluationen in diesem Semester Anzahl Vorstellung der Ergebnisse der Lehrevaluation in diesem Sem. M = 2.9, SD = 2.4 M = 0.8, SD = 1.1

11 Ergebnisse Fragebogenerhebung 2 Anzahl Lehrevaluationen insgesamt im Studium Anzahl Vorstellung der Evaluationsergebnisse insges. M = 10.3, SD = 8.4 M = 2.0, SD = 2.3

12 Ergebnisse Fragebogenerhebung 3 Die Vorstellung der Ergebnisse der Lehrevaluation erfolgte eher in den... Seminaren.

13 Ergebnisse Fragebogenerhebung 4 Ich wusste, dass ich das Recht auf Einsicht in die Ergebnisse der Lehrevaluation habe:

14 Ergebnisse Fragebogenerhebung 5 Glauben Sie, dass sich die Lehre Ihres/r Dozenten/in durch die durchgeführte Lehrevaluation verbessert (hat)? Der Glaube an die Verbesserung der Lehre durch Lehrevaluation sinkt mit steigender Semesterzahl (r =.14, p <.05) sowie mit steigender Teilnahme an Lehrevaluationen (r =.21, p <.01).

15 Gespräche über Lehrevaluation Stichprobe: 6 Studierende höheren Semesters (5 ♀, 1♂; 3 x GS, 2 x WHR, 1 x SoPäd; 2 x 7. Sem., 1 x 8. Sem., 2 x 10. Sem., 1 x 11. Sem. ) Gesprächsdauer: Minuten Stichprobenfindung: freiwillige Meldung von Interessierten Problem: Selbstselektion der Stichprobe

16 Abweichungen zur vorgeschriebenen Eval. -Lehrevaluation nicht in der vorgeschriebenen Woche, sondern erst kurz vor Semesterende -Selten Rückmeldung der Evaluationsergebnisse (manchmal erst in der letzten Woche) und noch seltener Diskussion der Ergebnisse -Information an die Studierenden, dass die Lehrevaluation wichtig für den Landeslehrpreis sei („dass sie das mitschickt und dass das Einfluss nehmen kann... dass man kritische Punkte auf jeden Fall nicht auf diesen Bogen schreibt“ (L. A.)) -„sind die wenigsten Studenten dazu bereit dass sie sich melden und wirklich sagen also das und das finde ich doof oder finde ich gar nicht gut“ (L.A.)

17 Annahmen über die Lehrevaluation -dass „der Chef die Ergebnisse angucken könnte“ (G.Q.) -„ich dachte, die Hochschule guckt das an, ich dachte, da würd‘ irgendwie schon draufgeschaut“ (R. L.) -„man hört vieles auf dem Campus... dass es was mit der Bezahlung zu tun hätte, dass sich wenn jemand ganz schlecht abschneidet, dass es sich über Jahre auch auf die Bezahlung ausschlagen würde, das ist eins der Gerüchte... zum anderen auch ob jemand, der jetzt keine feste Stellung hat, überhaupt verlängert wird... Es hält sich sehr hartnäckig, vor allem in den unteren Semestern... vielleicht ist es auch ein Wunsch, dass man irgendwie ne Mitentscheidungskraft hätte“ (L.A.)

18 Nützlichkeit der Lehrevaluation 1 „Aber es gibt ganz viele Leute, die einfach dieses Feedback da haben wollen, in welchem Sinne auch immer die das verwenden, selbst wenn die daraus immer was rausziehen, was mir als Student erstmal gar nicht auffällt vielleicht, aber was sie dann für sich vielleicht dann verändern im Vorbereiten... Ja und es muss ja auch nicht sofort sein“ (S. L.) „Ich finde es wichtig, ich finde es gut, dass die Studenten gefragt werden und ich hoffe, dass viele Dozenten auch daraus was mitnehmen, vielleicht wollte ich deshalb kommen... Ich find es aber allein deswegen ganz gut, weil ich das Gefühl hab, okay es interessiert auch irgendwie die Hochschule, was hier gemacht wird in dem Seminar und irgendwie die Möglichkeit des Feedbacks da ist“ (S. L.)

19 Nützlichkeit der Lehrevaluation 2 In einer „Vorlesung war die Bewertung ziemlich schlecht und die Dozentin hat‘s total überrascht, also die... ist damit nicht so gut klargekommen... wo wir wirklich dranstanden und dachten, eigentlich hätt Sie sich‘s denken können, allein von dem Lärmpegel, der da immer war“ (Z.R.) „Ich glaub dass viele nix mehr verändern, weil viele tun ihren Semesterablauf schon davor planen... Dann ham die sich bestimmt auch schon immer Methoden dazu überlegt wie ses machen... Ich glaub nich dass dann viele das so spontan umstellen, also ich hab das noch nich erlebt“ (R. L.) In einem Fall hat die Dozentin die Ergebnisse sehr lange und detailliert besprochen, dann kam heraus, dass viele den falschen Kurs gewählt haben, weil der besser im Stundenplan passte, dann hat sich die Dozentin aufgeregt und natürlich nichts geändert, aber es war gut, dass sie sich so viele Gedanken gemacht hat (R.L.)

20 Nützlichkeit der Lehrevaluation 3 „Ich hatte so das Gefühl, dass es vielen eigentlich auch nicht so wichtig war, weil sie eh so in dem Schema sind, ich machs so wie immer, und ich möchte eigentlich eh nichts dran ändern oder ich weiß auch nicht, was ich ändern soll, weil ich, also weil da die Rückmeldung nicht da ist, und von dem her habe ich eigentlich noch nie erlebt, dass sich wirklich was geändert hat, wobei ich verstehs auch, also ich wüsste auch nicht, wie ich so was nach so einer Rückmeldung ändern würd“ (Z.R.)

21 Nützlichkeit der Lehrevaluation 4 Erleben Lehrevaluation: „Dadurch dass es in der Seminarzeit ist und ich dann einfach keine andere Wahl hab, füge ich mich in mein Schicksal.“ (L.A.) „Papierverschwendung“ (L.A.) „Bei mir war das immer so, es hat sich nichts geändert und vor allem kam keine Rückmeldung, was ich irgendwie schade fand, weil ich kannte ja von dem Seminar immer nur meine eigene Meinung“ (R. O.) „Da ändert sich dann meistens... in den ersten zwei drei Sitzungen vielleicht was, aber net dass da sich was kontinuierlich ändern wird“. (R. A.) „der Dozent hat das im nächsten Semester grad wieder an den Anfang gestellt, die nächste Gruppe hatte sozusagen auch die Probleme“ (R. A.)

22 Änderungswünsche Lehrevaluation Öffentlicher Aushang der Ergebnisse der Lehrevaluation: „Also ich persönlich würde es für mich, wenn ich in der Situation bin, beschissen finden, aber ich fänd‘s interessant“ (R. O.)

23 Vernetzung unter Studierenden „Geht viel über Freunde“ (Z.R.)/ riesige Facebook- Gruppe/persönliche Gespräche/Schneeballsystem etc.: „dass da der Weg des Einfachsten gesucht wird, also am besten für am Wenigsten tun die meisten CPs bekommen, und am besten noch gute Noten“ (G.Q.); Empfehlungen für Examensthemen „Das Fachliche kommt eher nicht drin vor, einfach weil ich das auch nicht beurteilen kann, ob der Dozent fachlich gut ist“ (Z.R.) „viele fragen tatsächlich, hat jemand schon mal eine Hausarbeit bei dem und dem geschrieben, wie ist die so, und was für eine Note dann da rauskam“ (R. L.) „aber dann gibt’s auch tatsächlich Namen, ich kenn die nicht, ich hab die noch nie gesehen, aber dann weiß ich schon... Oh der oder die soll nicht so gut sein... Und ich dann denk, dann geh ich mal lieber woanders hin“ (R. L.)

24 Wie würden Veränderungen gelingen? „schon allein durch verschiedene Methoden... Was haben denn eigentlich die Studenten für Erwartungen... Wie machen das denn die Kollegen, dass man da eine größere Absprache mit macht und sich da auch in die Arbeit mit reingucken lässt und da auch gegenseitig berät, ich glaube das würde schon einiges helfen“ (L. A.) „wenn es nicht Leute aus dem Fach unbedingt, wenn‘s so en unabhängiges Gremium gäbe, die dann halt in gewissen Zeitabständen kommen und sich einen Dozenten vornehmen und da schauen, wie macht der das und was könnte man da verbessern, das fänd ich wahrscheinlich sinnvoll... Es müsste dann halt so ne Kultur entstehen auch, an der PH oder insgesamt in der Lehre, die das dann auch zulässt“ (L.A.)