Entwicklung eines Online-Evaluationssystems 16. November 2005

Überblick • Block 1: Inhaltliches zur Lehrevaluation Was sind Kriterien guter Lehre Welche Urteilsverzerrungen und Biasvariablen gibt es bei der Lehrevaluation Erstellung einer Kurzbefragung zu Kriterien guter Lehre und Biasvariablen

Überblick Heute: Biasvariablen Was sind Biasvariablen? Erstellen der Kurzbefragung

Definition Biasvariablen sind….. Variablen, die nicht mit dem Lehr- und Lernprozess in Zusammenhang stehen, die jedoch systematisch mit dem Antwortverhalten der Studierenden kovariieren Variablen, die eigentlich nichts mit guter Lehre zu tun haben, die aber bei der Evaluation/der Beurteilung der Lehrenden durch Studierende eine Rolle spielen Verzerren das Urteil Variablen, die bei der Beurteilung der Studierenden eine Rolle spielen, die aber nicht gute Lehre messen! Dazu muss man natürlich ein genaues Konzept haben, was „gute Lehre“ bedeutet.

Potentielle Biasvariablen Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

Potentielle Biasvariablen Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

Potentielle Biasvariablen Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

Potentielle Biasvariablen Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

Potentielle Biasvariablen Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

Biasvariablen Münster 2003: Entwicklung eines Fragebogens für Vorlesungen und Seminare 9 Vorlesungen 164 Studierende

Biasvariablen Besuchsgrund Persönliche Berufsrelevanz: „Die Inhalte scheinen mir für meinen späteren Beruf irrelevant.“ Vorinteresse: „Die Inhalte der Veranstaltung haben mich schon vor der Veranstaltung interessiert.“ Prüfungsrelevanz: „Die Themen der Veranstaltung sind prüfungsrelevant.“ Wenig Arbeitsaufwand: „Ich musste wenig Arbeit in diese Vorlesung investieren.“ Sympathie: „Mir war das Auftreten der/des Lehrenden sympathisch.“ Guter Ruf: „Der/Die Lehrende hat einen guten Ruf.“ Berufsgrund: 5 Antwortkategorien (Prüfungsvorbereitung, Überblick über das Fach, Interesse am Fach, Dozent)

Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf Vorinteresse Schulnote Geringer Arbeitsaufwand Lernerfolg Persönliche Berufsrelevanz Korrelationen zwischen Biasvariablen und Schulnote sowie Lernerfolg als Kriterium Schulnote: Skala von 1 bis 15 Lernerfolg: „ich habe in der Vorlesung viel gelernt.“ Korrelationen zwischen .17 und .68 Prüfungsrelevanz

Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf Vorinteresse Schulnote .68 Geringer Arbeitsaufwand Lernerfolg .56 Persönliche Berufsrelevanz Korrelationen zwischen .17 und .68 Prüfungsrelevanz

Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf Vorinteresse Schulnote .66 Geringer Arbeitsaufwand Lernerfolg .47 Persönliche Berufsrelevanz Korrelationen zwischen .17 und .68 Prüfungsrelevanz

Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf Vorinteresse Schulnote .40 Geringer Arbeitsaufwand Lernerfolg .43 Persönliche Berufsrelevanz Korrelationen zwischen .17 und .68 Prüfungsrelevanz

Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf Vorinteresse Schulnote .43 Geringer Arbeitsaufwand Lernerfolg .44 Persönliche Berufsrelevanz Berufsgrund: wurde varianzanalytisch getestet, Bewertungen waren sign. Schlechter, wenn Vorlesung zur Vorbereitung auf Prüfung besucht wurde als bei „Überblick über das Fach“ „Interesse am Fach“ Korrelationen zwischen .17 und .68 Prüfungsrelevanz

Biasvariablen .75 Sympathie .73 Guter Ruf .63 Vorinteresse .61 Struktur .75 Sympathie Wahrgenomme-nes Engagement .73 Guter Ruf Angemessenheit des Niveaus .63 Vorinteresse Schulnote Mediengestaltung .61 Geringer Arbeitsaufwand Rhetorik .54 Eingehen auf Studierende .73 Persönliche Berufsrelevanz Interessantheit und Praxisbezug .83 Prüfungsrelevanz Ergänzende Materialien .24

Biasvariablen Sympathie Guter Ruf Struktur .75 .62 .63 Wahrgenomme-nes Engagement .73 .51 .55 Angemessenheit des Niveaus .63 .56 .59 Mediengestaltung .61 .42 .39 Rhetorik .54 .28 .24 Eingehen auf Studierende .73 .50 .61 Sympathie und guter Ruf: letzten beiden (ergänzende Materialien) nach Kontrolle nicht mehr signifikant Interessantheit und Praxisbezug .83 .69 .69 Ergänzende Materialien .24 .05 .11

Biasvariablen Sympathie Guter Ruf Vor-interesse Persönl. Berufsrelev. Struktur .75 .62 .63 72 .71 Wahrgenomme-nes Engagement .73 .51 .55 .70 .68 Angemessenheit des Niveaus .63 .56 .59 .54 .56 Mediengestaltung .61 .42 .39 .57 .59 Rhetorik .54 .28 .24 .55 .49 Eingehen auf Studierende .73 .50 .61 .69 .69 Sympathie und guter Ruf: letzten beiden (ergänzende Materialien) nach Kontrolle nicht mehr signifikant Interessantheit und Praxisbezug .83 .69 .69 .80 .78 Ergänzende Materialien .24 .05 .11 .26 .23

Biasvariablen Sympathie Guter Ruf Vor-interesse Persönl. Berufsrelev. Struktur .75 .62 .63 72 .71 .49 Wahrgenomme-nes Engagement .73 .51 .55 .70 .68 .36 .36 Angemessenheit des Niveaus .63 .56 .59 .54 .56 .47 Mediengestaltung .61 .42 .39 .57 .59 .30 Rhetorik .54 .28 .24 .55 .49 .18 Eingehen auf Studierende .73 .50 .61 .69 .69 .42 Sympathie und guter Ruf: letzten beiden (ergänzende Materialien) nach Kontrolle nicht mehr signifikant Interessantheit und Praxisbezug .83 .69 .69 .80 .78 .51 Ergänzende Materialien .24 .05 .11 .26 .23 .02

Biasvariablen Spiel & Gössler (2000) Fachbereiche der Universität Wien Juristen Theologen Medizin Geisteswissenschaften Formal- und Naturwissenschaften Sozial- und Wirtschaftswissenschaften Grund- und Integrativwissenschaften 20 zufällig ausgewählte Studierende pro Lehrveranstaltung Insgesamt 756 Studierende und 66 Lehrveranstaltungen aus 15 Fachbereichen

Biasvariablen REGRESSIONSANALYSE Kriterium: Gesamtbeurteilung der Lehrveranstaltung „Ich gehe gern in die LV.“ „Ich möchte mich weiterhin mit diesem Thema auseinandersetzen.“ „Ich engagiere mich in dieser LV mehr als sonst.“ „Ich würde die LV weiterempfehlen.“ Prädiktoren: Biasvariablen

Biasvariablen Gesamtstich-probe 755 .600 .351 41.81 <.001 Anzahl Studierende Multiples R Adjustiertes R2 F-Wert p-Wert Gesamtstich-probe 755 .600 .351 41.81 <.001 Vorlesung - Grundstudium 234 .724 .502 24.62 Vorlesung - Hauptstudium 155 .693 .444 13.38 Seminar – Grundstudium 206 .585 .309 10.22 Seminar - Hauptstudium 132 .423 .111 2.65 .006

.351 .502 .444 .309 .111 Biasvariablen Gesamtstich-probe 755 .600 Anzahl Studierende Multiples R Adjustiertes R2 F-Wert p-Wert Gesamtstich-probe 755 .600 .351 41.81 <.001 Vorlesung - Grundstudium 234 .724 .502 24.62 Vorlesung - Hauptstudium 155 .693 .444 13.38 Seminar – Grundstudium 206 .585 .309 10.22 Seminar - Hauptstudium 132 .423 .111 2.65 .006

Biasvariablen Gesamt Vorlesung - Grundstudium Vorlesung - Hauptstudium Geschlecht des/r Studierenden Geschlecht des/r Dozenten .08* Alter des/r Dozenten -.09* Anwesenheit .09** .12* Termin Besuchsgrund Interesse .52*** .63*** .65*** 10 (11) potentielle Biasvariablen Gesamt: Frauen werden besser bewertet Jüngere werden besser bewertet Je häufiger man da war, desto bessere Bewertung Je günstiger die Raumverhältnisse, desto besser die Bewertung Raumverhältnisse: skala von 4 Items – TN-zahl in Relation zum Lehrveranstaltungstyp, Lichtverhältnisse, Temperatur, Störung durch äußere Einflüsse Größe der Studienrichtung – Zahl der eingeschriebenen Studenten Besuchsgrund: Pflicht vs. Wahlpflicht Arbeitsaufwand .15** Raumverhältnisse .13*** .13* Größe der Studienrichtung -.11* R2 = .351 R2 = .502 R2 = .444

Biasvariablen Gesamt Seminar - Grundstudium Seminar- Hauptstudium .08* Geschlecht des/r Studierenden Geschlecht des/r Dozenten .08* Alter des/r Dozenten -.09* -.24** Anwesenheit .09** Termin Besuchsgrund Interesse .52*** .52*** .10 Arbeitsaufwand Raumverhältnisse .13*** .19*** -.41*** Größe der Studienrichtung R2 = .351 R2 = .309 R2 = .111

Biasvariablen Gesamt Juristen Naturwissen-schaften -.14* Semesterzahl: Geschlecht des/r Studierenden -.14* Semesterzahl: -.24** Geschlecht des/r Dozenten .08* -.22** Alter des/r Dozenten -.09* Anwesenheit .09** Termin Besuchsgrund Interesse .52*** .46*** .60*** Arbeitsaufwand .21*** Raumverhältnisse .13*** Größe der Studienrichtung R2 = .351 R2 = .26 R2 = .54

Biasvariablen INTERPRETATION Interesse: Sympathie: Vorinteresse (Bias) Im Laufe der Lehrveranstaltung gewecktes Interesse (kein Bias) Sympathie: Sympathie bestand bereits vor der Veranstaltung (Bias) Im Laufe der Lehrveranstaltung geweckte Sympathie als Folge guter Lehre (kein Bias)

Biasvariablen Hoher Arbeitsaufwand Benotungsstrenge Zeichen guter Lehre  Studenten lernen viel Zeichen schlechter Lehre  Kompensation für schlechten Unterricht Benotungsstrenge Hohe Lehreffektivität führt zu guten Evaluationen und Noten (kein Bias) Hohe Motivation der Studierenden führt zu guten Noten und Evaluationen (Bias) Studenten schließen bei schlechten/guten Noten auf schlechten/guten Unterricht zurück (Bias) Studenten belohnen gute Noten mit guten Evaluationen (Bias)