PD Dr. Arnold Hinz Sind Lehr- und Unterrichtsevaluationen mittels Ratingskalen valide und effektiv?

Präsentation zum Thema: "PD Dr. Arnold Hinz Sind Lehr- und Unterrichtsevaluationen mittels Ratingskalen valide und effektiv?"—  Präsentation transkript:

1 PD Dr. Arnold Hinz Sind Lehr- und Unterrichtsevaluationen mittels Ratingskalen valide und effektiv?

2 1.Validität und SET (student evaluation of teaching quality/effectiveness) 2.Mögliche Biasfaktoren: a) Strenge der Benotung b) Expressivität des Dozenten c) physische Attraktivität des Dozenten 3.Effekte der SET

3

4 Herbert W. Marsh, University of Oxford He has been recognized as the most productive educational psychologist in the world, as one of the top 10 international researchers in Higher Education and in Social Psychology, and the 11th most productive researcher in the world across all disciplines of psychology. unsubstantiated dubious for each large, representative, well-designed study, there is another study, comment, or electronic bulletin- board message that relies on an atypical anecdote or an appeal to popular myth for its impact (Marsh & Roche, 2000, p. 202)

5 Validität

6 Konstruktvalidität Übereinstimmungsvalidität: Selbstbeurteilung – SET r =.29; Experten – SET: mäßige bis mittelhohe Korrelation (Cashin, 1995, Feldman, 1989) Forschungsproduktivität – SET: schwache Korrelation RateMyProfessors.com – SET: r =.68 (Coladarci & Kornfield, 2007)

7 Übereinstimmungsvalidität: SET - Lernerfolg sehr skeptisch: Clayson, 2009 Stark-Wroblewski et al., 2007: r =.15, p =.06 Arthur et al., 2003 (N = 652): Das Mögen einer Lehrveranstaltung ist größtenteils etwas anderes als das Lernen durch eine Lehrveranstaltung

8 Biasvariablen 1. Teilnehmerzahl 2. Vorinteresse (Pflicht-/Wahlveranstaltung) 3. Niveau des Kurses und der Teilnehmer 4. Fach 5. Veranstaltungszeit 6. Rezenzeffekt 7. Umfang der Hausaufgaben 8. Rassische Herkunft des Dozenten 9. Geschlecht des Dozenten 10. Alter des Dozenten 11. Reputation des Dozenten

9 Biasvariablen 12. Persönlichkeit des Dozenten (Extraversion; Warmherzigkeit) 13. Stimme des Dozenten 14. Politische Meinung des Dozenten 15. Ähnlichkeit zwischen Dozenten und Studierenden 16. Erwartete Benotung 17. Expressivität des Dozenten 18. Physische Attraktivität des Dozenten

10 Biasvariable: Erwartete Benotung Mason, Edwards & Roach (2002) N = 797, Arkansas Tech University

11 Hypothesen zur Beziehung zwischen erwarteter Benotung und SET 1.Validitätshypothese: SET Hohe Lehrqualität leichtes Lernen gute Studierendennoten (Centra, 2003; Marsh, 1987; Marsh & Roche, 2000) 2.Grading Leniency Hypothese/Reziprozitätshypothese (Wie du mir, so ich dir-Hypothese/Prinzip der Gegenseitigkeit) erwartete milde Benotung milde SET-Bewertung, erwartete strenge Benotung strenge SET-Bewertung (Greenwald & Gilmore, 1997; Isley & Singh, 2005) 3.Attributionshypothese: gute Benotung wird mit eigener Intelligenz und Anstrengung attribuiert, schlechte Benotung mit einem schlechten Unterricht oder Dozenten (self-serving bias) 4.Prior Characteristics Hypothese: Studierendennoten und SET sind abhängig vom Vorinteresse, der Motivation, von Seminarbedingungen etc.

12

13 Biasvariable: Erwartete Benotung r =.62, p <.001 (Felton et al., 2006)

14 Naftulin, Ware & Donnelly (1973) Biasvariable: Expressivität Dr. Myron Fox: Die mathematische Spieltheorie in der Ausbildung von Ärzten

15

16

17 Ware & Williams (1975) Anderes Experiment: Williams & Ceci (1997)

18 Ambady & Rosenthal, (1993) Problem: geringe Stichprobengröße (2 x 13 Lehrer) und α-Fehler-Kumulierung (162 Korrelationsberechnungen mit SET)

19 Biasvariable: Physische Attraktivität -erfahren mehr Aufmerksamkeit -erhalten eher Hilfe -größere Freundschaftsnetzwerke -mehr Verabred./sex. Erfahrungen -seltener verurteilt/geringere Strafe -höheres Gehalt/seltener entlassen -mehr Wählerstimmen -besser überzeugen -als intelligenter angesehen -als sozial kompetenter angesehen -gelten als motivierter

20 Methodische Voraussetzung für Studien: Einschätzung der Attraktivität und der Lehrqualität durch verschiedene Personen, da sonst Kausalrichtung unklar Ausschluss der Studien von Bonds-Raacke & Raacke (2007), Felton et al. (2004, 2008), Feeley (2002), Gurung & Vespia (2007), Hultman & Oghazi (2008), Kindred et al. (2005), Riniolo et al. (2006)

21 Studien mit unterschiedlichen Ratern für Attraktivität und SET: Sample, Ort Dozenten (, ) Rater (, ) Beurteiler- überein- stimmung α Korrelation SET– Attr. Männl. Doz (weibl. Doz.). Max. Effekt auf SET-Note Hamermesh & Parker, 2003 Austin, Texas 94 (54, 40) 6 (3, 3).91R 2 =.36 (R 2 =.16) 1.0 Süssmuth, 2006 LMU5048 (33, 15) 0.5 Bokek-Cohen & Davidowitz, 2008 Ariel, West- bank 49 (31, 18) Eine Kohorte Studier- ender r =.77 (r =.37) Klein & Rosar, 2006 Uni Köln206 (174, 32) 25-36.950.6 Rosar & Klein, 2009 Deutsch- land MeinProf. de 2745 (2466, 279) 24 (12, 12).95r =.140.6 Wolbring, 2010 LMU110 (69, 41) 20 (11, 9).95r = -.20 (r =.03) 0.8

22 Hamermesh & Parker, 2003 5 =excellent 4 = very good 3 = satisfactory 2 = unsatisfactory 1 = very unsatisfactory

23 Bokek-Cohen & Davidowitz, 2008

24 Klein & Rosar, 2006

25

26 Ist physische Attraktivität ein Bias-Faktor? 1.Diskriminierungseffekte: Haloeffekt Attractiveness Glamour Effekt Beauty-is-Beastly-Effekt 2.Phys. Attrakt. bessere Behandlung höheres Selbstwertgefühl bessere Forschung/Lehre SET (lebensgeschichtlicher Produktivitätseffekt) 3.Phys. Attrakt. mehr Aufmerksamkeit/Mitarbeit/ Teilnahme (Attractiveness Attention Boost) mehr Zufriedenheit/Sicherheit des Lehrenden bessere Lehre größerer Lernerfolg SET (interaktionistischer Produktivitätseffekt)

27 Wolbring & Hellmann (im Druck) Experiment: Vorlage der Fotographie eines (un)attraktiven Dozenten(in) + 11min. Audiovortrag Korrelation Attraktivität – Lernerfolg: r =.178 (p =.03)

28 Effekte der SET - Sensibilisierungshypothese - Feedbackhypothese - hochschuldidaktisches Diskursmodell Durchschnittliche Effektstärke bei allen drei Modellen: d = 0 (Rindermann, 2001; Marsh & Hocevar, 1991)

29 Beratungs- und Trainingsansatz - ausführliche, längere, wiederholte Beratungen - neben SET-Messung auch Videofeedback - Vergleich von Selbst- und Fremdwahrnehmung - Veränderung ungünstiger Attributionsstile - Training (z.B. Sprechtraining, Rollenspieltraining) (Aleamoni, 1999; Dresel, Rindermann & Tinsner, 2007; Penny & Coe, 2004)

30 Nebenwirkungen der SET bei Studierenden - Enttäuschung darüber, dass sich nichts ändert - Verstärkung der Anspruchs- und Konsumhaltung

31

32 Nebenwirkungen der SET bei Dozenten - Reduktion der intrinsischen Lehrmotivation - Einschränkung des Bedürfnisses nach Autonomie und Selbstbestimmung - Benachteiligungsgefühle und Gefühle der Demütigung bei vermuteten Biaseinflüssen oder Gesundheitsbelastungen - Frustration und Entmutigung - Verstärkung von Angst, Ärger, Spannung, Selbstzweifel, Scham und Depression

33 Nichols & Berliner (2007).

34

35

36

37 Wallach (2009): Qualitätssicherung wird zur neuen Religion und zum Götzen, dem Menschen geopfert werden

38

39 How to Improve Your Teaching Evaluation Scores Without Improving Your Teaching! (Trout, 1997) - try to look neat, and wear nice clothes (Hultman & Oghazi, 2008, p. 2592) - Studierende niemals konfrontieren: sei warmherzig und liebenswürdig/teaching teddy bear - enthusiastisch sprechen - Senkung der Ansprüche - sehr schlechten Studierenden sehr gute Noten geben - keine kontroversen Positionen vortragen - teach good news - Studierende großzügig loben - Plätzchen/Kuchen mitbringen/Feier organisieren

40 Fazit SETs sind weder valide noch nützlich, sondern verzerrt, schädlich und moralisch bedenklich. Einsatz von Beratungs- und Trainingsprogrammen ist erfolgversprechend. Angesichts fehlender positiver Effekte und der erheblichen Nebenwirkungen sollte der flächendeckende Einsatz der SET unterbleiben und gestoppt werden.