Entwicklung eines Online-Evaluationssystems

Präsentation zum Thema: "Entwicklung eines Online-Evaluationssystems"—  Präsentation transkript:

1 Entwicklung eines Online-Evaluationssystems
16. November 2005

2 Überblick • Block 1: Inhaltliches zur Lehrevaluation
Was sind Kriterien guter Lehre Welche Urteilsverzerrungen und Biasvariablen gibt es bei der Lehrevaluation Erstellung einer Kurzbefragung zu Kriterien guter Lehre und Biasvariablen

3 Überblick Heute: Biasvariablen Was sind Biasvariablen?
Erstellen der Kurzbefragung

4 Definition Biasvariablen sind…..
Variablen, die nicht mit dem Lehr- und Lernprozess in Zusammenhang stehen, die jedoch systematisch mit dem Antwortverhalten der Studierenden kovariieren Variablen, die eigentlich nichts mit guter Lehre zu tun haben, die aber bei der Evaluation/der Beurteilung der Lehrenden durch Studierende eine Rolle spielen Verzerren das Urteil Variablen, die bei der Beurteilung der Studierenden eine Rolle spielen, die aber nicht gute Lehre messen! Dazu muss man natürlich ein genaues Konzept haben, was „gute Lehre“ bedeutet.

5 Potentielle Biasvariablen
Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

6 Potentielle Biasvariablen
Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

7 Potentielle Biasvariablen
Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

8 Potentielle Biasvariablen
Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

9 Potentielle Biasvariablen
Dozent Studierende Geschlecht und Alter Geschlecht und Alter Persönlichkeitsmerkmale Persönlichkeitsmerkmale Popularität Leistungsniveau Rhetorische Fähigkeiten Besuchsgrund Potentielle Biasvariablen Interesse Umgebung Dozentenbezogene biographische Variablen (Alter, Geschlecht, Semesterzahl) können ebenso wie Persönlichkeitsvariablen als Verzerrungsvariablen ausgeschlossen werden (in fast allen Studien) Wahrgenommene und tatsächliche Ähnlichkeit zwischen Lehrenden und Studierenden (aus Studentensicht) Leistungsniveau der Studierenden (gemessen durch Abiturnote, Uniprüfungen, veranstaltungsrelevante Prüfungen)  in den meisten Studien nur schwache Zusammenhänge Besuchsgrund – Studierende beurteilen solche Veranstaltungen besser, die sie freiwillig besuchen (Besuchsgrund hat aber nichts mit Qualität einer Veranstaltung zu tun) Interesse: kann man nochmal aufteilen in „Vorinteresse“ und „Interesse, dass durch die Veranstaltung geweckt wird“ Interessante Themen, niedriges Anforderungsniveau, geringer Arbeitsaufwand, es ist leicht gute Noten oder Scheine zu bekommen  bessere Bewertung, aber auch Befunde, dass schwierigere Kurse, die mehr Zeit und Anstrengung verlangen, besser bewertet werden Klassengröße: kleine Klassen werden besser bewertet, aber auch Befunde, die kurvenlinearen Verlauf annehmen (kleine und große Klassen werden gut bewertet, aber nicht mittelgroße Klassen) Benotungsstrenge: gute Noten führen zu guten Evaluationen Interessantheit des Themas Termin der Veranstaltung Schwierigkeitsniveau Raumverhältnisse Arbeitsaufwand Teilnehmerzahl / Klassengröße Benotungsstrenge

10 Biasvariablen Münster 2003: Entwicklung eines Fragebogens für Vorlesungen und Seminare 9 Vorlesungen 164 Studierende

11 Biasvariablen Besuchsgrund
Persönliche Berufsrelevanz: „Die Inhalte scheinen mir für meinen späteren Beruf irrelevant.“ Vorinteresse: „Die Inhalte der Veranstaltung haben mich schon vor der Veranstaltung interessiert.“ Prüfungsrelevanz: „Die Themen der Veranstaltung sind prüfungsrelevant.“ Wenig Arbeitsaufwand: „Ich musste wenig Arbeit in diese Vorlesung investieren.“ Sympathie: „Mir war das Auftreten der/des Lehrenden sympathisch.“ Guter Ruf: „Der/Die Lehrende hat einen guten Ruf.“ Berufsgrund: 5 Antwortkategorien (Prüfungsvorbereitung, Überblick über das Fach, Interesse am Fach, Dozent)

12 Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf
Vorinteresse Schulnote Geringer Arbeitsaufwand Lernerfolg Persönliche Berufsrelevanz Korrelationen zwischen Biasvariablen und Schulnote sowie Lernerfolg als Kriterium Schulnote: Skala von 1 bis 15 Lernerfolg: „ich habe in der Vorlesung viel gelernt.“ Korrelationen zwischen .17 und .68 Prüfungsrelevanz

13 Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf
Vorinteresse Schulnote .68 Geringer Arbeitsaufwand Lernerfolg .56 Persönliche Berufsrelevanz Korrelationen zwischen .17 und .68 Prüfungsrelevanz

14 Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf
Vorinteresse Schulnote .66 Geringer Arbeitsaufwand Lernerfolg .47 Persönliche Berufsrelevanz Korrelationen zwischen .17 und .68 Prüfungsrelevanz

15 Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf
Vorinteresse Schulnote .40 Geringer Arbeitsaufwand Lernerfolg .43 Persönliche Berufsrelevanz Korrelationen zwischen .17 und .68 Prüfungsrelevanz

16 Biasvariablen Korrelationen zwischen .17 und .68 Sympathie Guter Ruf
Vorinteresse Schulnote .43 Geringer Arbeitsaufwand Lernerfolg .44 Persönliche Berufsrelevanz Berufsgrund: wurde varianzanalytisch getestet, Bewertungen waren sign. Schlechter, wenn Vorlesung zur Vorbereitung auf Prüfung besucht wurde als bei „Überblick über das Fach“ „Interesse am Fach“ Korrelationen zwischen .17 und .68 Prüfungsrelevanz

17 Biasvariablen .75 Sympathie .73 Guter Ruf .63 Vorinteresse .61
Struktur .75 Sympathie Wahrgenomme-nes Engagement .73 Guter Ruf Angemessenheit des Niveaus .63 Vorinteresse Schulnote Mediengestaltung .61 Geringer Arbeitsaufwand Rhetorik .54 Eingehen auf Studierende .73 Persönliche Berufsrelevanz Interessantheit und Praxisbezug .83 Prüfungsrelevanz Ergänzende Materialien .24

18 Biasvariablen Sympathie Guter Ruf Struktur .75 .62 .63 Wahrgenomme-nes Engagement .73 .51 .55 Angemessenheit des Niveaus .63 .56 .59 Mediengestaltung .61 .42 .39 Rhetorik .54 .28 .24 Eingehen auf Studierende .73 .50 .61 Sympathie und guter Ruf: letzten beiden (ergänzende Materialien) nach Kontrolle nicht mehr signifikant Interessantheit und Praxisbezug .83 .69 .69 Ergänzende Materialien .24 .05 .11

19 Biasvariablen Sympathie Guter Ruf Vor-interesse Persönl. Berufsrelev. Struktur .75 .62 .63 72 .71 Wahrgenomme-nes Engagement .73 .51 .55 .70 .68 Angemessenheit des Niveaus .63 .56 .59 .54 .56 Mediengestaltung .61 .42 .39 .57 .59 Rhetorik .54 .28 .24 .55 .49 Eingehen auf Studierende .73 .50 .61 .69 .69 Sympathie und guter Ruf: letzten beiden (ergänzende Materialien) nach Kontrolle nicht mehr signifikant Interessantheit und Praxisbezug .83 .69 .69 .80 .78 Ergänzende Materialien .24 .05 .11 .26 .23

20 Biasvariablen Sympathie Guter Ruf Vor-interesse Persönl. Berufsrelev. Struktur .75 .62 .63 72 .71 .49 Wahrgenomme-nes Engagement .73 .51 .55 .70 .68 .36 .36 Angemessenheit des Niveaus .63 .56 .59 .54 .56 .47 Mediengestaltung .61 .42 .39 .57 .59 .30 Rhetorik .54 .28 .24 .55 .49 .18 Eingehen auf Studierende .73 .50 .61 .69 .69 .42 Sympathie und guter Ruf: letzten beiden (ergänzende Materialien) nach Kontrolle nicht mehr signifikant Interessantheit und Praxisbezug .83 .69 .69 .80 .78 .51 Ergänzende Materialien .24 .05 .11 .26 .23 .02

21 Biasvariablen Spiel & Gössler (2000) Fachbereiche der Universität Wien
Juristen Theologen Medizin Geisteswissenschaften Formal- und Naturwissenschaften Sozial- und Wirtschaftswissenschaften Grund- und Integrativwissenschaften 20 zufällig ausgewählte Studierende pro Lehrveranstaltung Insgesamt 756 Studierende und 66 Lehrveranstaltungen aus 15 Fachbereichen

22 Biasvariablen REGRESSIONSANALYSE
Kriterium: Gesamtbeurteilung der Lehrveranstaltung „Ich gehe gern in die LV.“ „Ich möchte mich weiterhin mit diesem Thema auseinandersetzen.“ „Ich engagiere mich in dieser LV mehr als sonst.“ „Ich würde die LV weiterempfehlen.“ Prädiktoren: Biasvariablen

23 Biasvariablen Gesamtstich-probe 755 .600 .351 41.81 <.001
Anzahl Studierende Multiples R Adjustiertes R2 F-Wert p-Wert Gesamtstich-probe 755 .600 .351 41.81 <.001 Vorlesung - Grundstudium 234 .724 .502 24.62 Vorlesung - Hauptstudium 155 .693 .444 13.38 Seminar – Grundstudium 206 .585 .309 10.22 Seminar - Hauptstudium 132 .423 .111 2.65 .006

24 .351 .502 .444 .309 .111 Biasvariablen Gesamtstich-probe 755 .600
Anzahl Studierende Multiples R Adjustiertes R2 F-Wert p-Wert Gesamtstich-probe 755 .600 .351 41.81 <.001 Vorlesung - Grundstudium 234 .724 .502 24.62 Vorlesung - Hauptstudium 155 .693 .444 13.38 Seminar – Grundstudium 206 .585 .309 10.22 Seminar - Hauptstudium 132 .423 .111 2.65 .006

25 Biasvariablen Gesamt Vorlesung - Grundstudium Vorlesung - Hauptstudium
Geschlecht des/r Studierenden Geschlecht des/r Dozenten .08* Alter des/r Dozenten -.09* Anwesenheit .09** .12* Termin Besuchsgrund Interesse .52*** .63*** .65*** 10 (11) potentielle Biasvariablen Gesamt: Frauen werden besser bewertet Jüngere werden besser bewertet Je häufiger man da war, desto bessere Bewertung Je günstiger die Raumverhältnisse, desto besser die Bewertung Raumverhältnisse: skala von 4 Items – TN-zahl in Relation zum Lehrveranstaltungstyp, Lichtverhältnisse, Temperatur, Störung durch äußere Einflüsse Größe der Studienrichtung – Zahl der eingeschriebenen Studenten Besuchsgrund: Pflicht vs. Wahlpflicht Arbeitsaufwand .15** Raumverhältnisse .13*** .13* Größe der Studienrichtung -.11* R2 = .351 R2 = .502 R2 = .444

26 Biasvariablen Gesamt Seminar - Grundstudium Seminar- Hauptstudium .08*
Geschlecht des/r Studierenden Geschlecht des/r Dozenten .08* Alter des/r Dozenten -.09* -.24** Anwesenheit .09** Termin Besuchsgrund Interesse .52*** .52*** .10 Arbeitsaufwand Raumverhältnisse .13*** .19*** -.41*** Größe der Studienrichtung R2 = .351 R2 = .309 R2 = .111

27 Biasvariablen Gesamt Juristen Naturwissen-schaften -.14* Semesterzahl:
Geschlecht des/r Studierenden -.14* Semesterzahl: -.24** Geschlecht des/r Dozenten .08* -.22** Alter des/r Dozenten -.09* Anwesenheit .09** Termin Besuchsgrund Interesse .52*** .46*** .60*** Arbeitsaufwand .21*** Raumverhältnisse .13*** Größe der Studienrichtung R2 = .351 R2 = .26 R2 = .54

28 Biasvariablen INTERPRETATION Interesse: Sympathie: Vorinteresse (Bias)
Im Laufe der Lehrveranstaltung gewecktes Interesse (kein Bias) Sympathie: Sympathie bestand bereits vor der Veranstaltung (Bias) Im Laufe der Lehrveranstaltung geweckte Sympathie als Folge guter Lehre (kein Bias)

29 Biasvariablen Hoher Arbeitsaufwand Benotungsstrenge
Zeichen guter Lehre  Studenten lernen viel Zeichen schlechter Lehre  Kompensation für schlechten Unterricht Benotungsstrenge Hohe Lehreffektivität führt zu guten Evaluationen und Noten (kein Bias) Hohe Motivation der Studierenden führt zu guten Noten und Evaluationen (Bias) Studenten schließen bei schlechten/guten Noten auf schlechten/guten Unterricht zurück (Bias) Studenten belohnen gute Noten mit guten Evaluationen (Bias)