Entwicklung eines Online-Evaluationssystems 09. November 2005

Überblick Das Seminar im Wintersemester gliedert sich in fünf Blöcke • Block 1: Inhaltliches zur Lehrevaluation • Block 2: Grundzüge und Anwendung der klassischen Testtheorie (KTT) • Block 3: Befragung zu Kriterien guter Lehre, Auswertung der Daten, Itemgenerierung • Block 4: Ein wenig Statistik • Block 5: Testkonstruktion, Probeerhebung und Analyse der gesammelten Daten

Überblick • Block 1: Inhaltliches zur Lehrevaluation Das Seminar im Wintersemester gliedert sich in fünf Blöcke • Block 2: Grundzüge und Anwendung der klassischen Testtheorie (KTT) • Block 3: Befragung zu Kriterien guter Lehre, Auswertung der Daten, Itemgenerierung • Block 4: Ein wenig Statistik • Block 5: Testkonstruktion, Probeerhebung und Analyse der gesammelten Daten • Block 1: Inhaltliches zur Lehrevaluation Was sind Kriterien guter Lehre Welche Urteilsverzerrungen und Biasvariablen gibt es bei der Lehrevaluation Erstellung einer Kurzbefragung zu Kriterien guter Lehre und Biasvariablen

Überblick Heute: Was sind Merkmale guter Lehre? Kurze Einführung in Lehrevaluation (Begriffe, Geschichte) Welche Merkmale werden in der Literatur diskutiert? Selbst überlegen und diskutieren

Historischer Überblick erste publizierte studentische Evaluationsfragebögen: Herman H. Remmers (1927): Purdue Rating Scale for Instructors 1920 1968 1990 1998 Mittelalter: „indirekte Evaluation“ (Studenten mussten nach jeder Vorlesung bezahlen! Komitee von Studenten, die darüber berichteten, ob Professor Behandlung verschiedener Themen zu festgelegten Termin einhält oder ob er in Verzug gerät 1968: Forderung nach besserer Lehre - (Gesellschafts- und Wissenschaftskritik; Inhalte der Lehre) Studentenbewegung: Studenten forderten bessere Lehre

Historischer Überblick Lehrevaluation an 97% der US-amerikanischen Universitäten (Queis 1991) 1920 1968 1990 1998 Ab 1989: Spiegel-Rankings, RCDS, Studentenstreiks Ursache für Unterschiede Deutschland – Amerika: Leistungs- und Wettbewerbstradition in Nordamerika! Spiegel 1989: „Welche Uni ist die beste?“ Erstes Uni-Ranking

Historischer Überblick Internationale Vergleichsstudie Letzter Platz für Deutschland in der Lehrevaluation 1920 1968 1990 1998 1998: Hochschulrahmengesetz (Form der Lehre; Orientierung an Effizienz, Lehrqualität und Markt) Hochschulrahmengesetz: §6: „Die Arbeit der Hochschulen in Forschung und Lehre...soll regelmäßig bewertet werden. Studierende sind bei der Bewertung der Qualität der Lehre zu beteiligen.[..]“

Begriffe Lehrevaluation Ausbildungsinhalte Bibliotheksausstattung Studienzeiten Absolventenchancen Lehrveranstaltungsevaluation Veranstaltungs- und dozentenübergreifend Lehrevaluation Evaluation von Vorlesungen, Seminaren und anderen Lehrveranstaltungen Lehrveranstaltungsevaluation Lehrevaluation: Bezieht sich auf Lehre insgesamt Werden manchmal dennoch austauschbar verwendet

Funktionen Lehrevaluation werden von Hochschulen eingesetzt, um… Einzelnen Dozenten über Feedback zu helfen, ihre Lehre zu verbessern Die Kommunikation zwischen Lehrenden und Studierenden über die Lehre zu fördern Den Studierenden als Informationsgrundlage bei der Kurswahl oder Universitätswahl zu dienen Als ein Qualifikationsmaß bei Bleibe-, Gehalts- und Berufungsverhandlungen neben Forschungsleistungen herangezogen zu werden

Funktionen Lehrevaluation werden von Hochschulen eingesetzt, um… Einzelnen Dozenten über Feedback zu helfen, ihre Lehre zu verbessern Die Kommunikation zwischen Lehrenden und Studierenden über die Lehre zu fördern Den Studierenden als Informationsgrundlage bei der Kurswahl oder Universitätswahl zu dienen Als ein Qualifikationsmaß bei Bleibe-, Gehalts- und Berufungsverhandlungen neben Forschungsleistungen herangezogen zu werden Qualifikationsmodell Kommunikationsmodell Steuerungsmodell Transparenzmodell

 Ihr habt 20 Minuten Zeit!  Merkmale guter Lehre Stellt Euch bitte einen (fiktiven) guten Dozenten / eine gute Dozentin vor. Durch welche Charakteristika zeichnet sich diese Person und ihr Lehrstil aus? Stellt Euch bitte eine (fiktive) gute Veranstaltung vor. Durch welche Aspekte zeichnet sich eine solche Veranstaltung abgesehen von den in Frage 1 genannten aus? Bitte bildet aus Euren Antworten maximal 10 Kategorien und nummeriert diese nach ihrer Wichtigkeit (1=„am wichtigsten“, 2=„am zweitwichtigsten“ etc.) Arbeit in Gruppen Gruppierung!  Ihr habt 20 Minuten Zeit! 

Präsentation der Ergebnisse Merkmale guter Lehre Präsentation der Ergebnisse

Merkmale guter Dozenten (Rindermann, 1999b) Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen Kategoriensystem zur Auswertung Interaktion und Motivierung: Motivierung und Anregung der Studenten, Offenheit und Verständnis, Kooperativität sowie Zeit für Studenten bzw. Diskussionen (angepasste) Anforderungen von Lehrenden häufiger genannt

Merkmale guter Dozenten (Rindermann, 1999b) Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen Kategoriensystem zur Auswertung Interaktion und Motivierung: Motivierung und Anregung der Studenten, Offenheit und Verständnis, Kooperativität sowie Zeit für Studenten bzw. Diskussionen (angepasste) Anforderungen von Lehrenden häufiger genannt Studierende nannten Materialien und Medien häufiger

Merkmale guter Dozenten (Rindermann, 1999b) Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen Kategoriensystem zur Auswertung Interaktion und Motivierung: Motivierung und Anregung der Studenten, Offenheit und Verständnis, Kooperativität sowie Zeit für Studenten bzw. Diskussionen (angepasste) Anforderungen von Lehrenden häufiger genannt Studierende nannten Materialien und Medien häufiger

Merkmale guter Dozenten (Rindermann, 1999b) Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen Studierende nannten Materialien und Medien häufiger

Merkmale guter Dozenten (Rindermann, 1999b) Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen (angepasste) Anforderungen von Lehrenden häufiger genannt

Merkmale guter Dozenten (Rindermann, 1999b) Studierende Dozenten 9 Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen 5 Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen 10 3 9 6 1 1 3 7

Merkmale guter Dozenten (Rindermann, 1999b) Relevanz Studierende Dozenten Themenbehandlung Struktur Anforderungen Sprache Didaktische Kompetenzen Fachkompetenz Engagement Material und Medien Interaktion und Motivierung Persönlichkeitsfaktoren Themenbehandlung Sprache Fachkompetenz Didaktische Kompetenzen Interaktion und Motivierung Engagement Anforderungen Material und Medien Persönlichkeitsfaktoren Struktur

Merkmale guter Dozenten (Rindermann, 1999b) Relevanz Studierende Dozenten Themenbehandlung Struktur Anforderungen Sprache Didaktische Kompetenzen Fachkompetenz Engagement Material und Medien Interaktion und Motivierung Persönlichkeitsfaktoren Themenbehandlung Sprache Fachkompetenz Didaktische Kompetenzen Interaktion und Motivierung Engagement Anforderungen Material und Medien Persönlichkeitsfaktoren Struktur

Merkmale guter Veranstaltungen (Rindermann, 1999b) Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Auf räumliche und zeitl. Struktur hinweisen

Merkmale guter Veranstaltungen (Rindermann, 1999b) Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen

Merkmale guter Veranstaltungen (Rindermann, 1999b) Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen

Merkmale guter Veranstaltungen (Rindermann, 1999b) Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen

Merkmale guter Veranstaltungen (Rindermann, 1999b) Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Lehrende legen mehr Wert auf fachlich-inhaltliche Kriterien Studierende mehr auf Formen der Vermittlung u Darstellung des Stoffs, sowie Persönlichkeitsfaktoren

Beobachtung und Beschreibung realer Veranstaltungen Henninger & Balk, 1997 Spiel & Gössler, 1998 Verständlichkeit Fachliche Qualifikation Lebendigkeit Persönlichkeit des Dozenten Struktur Didaktik und Organisation Stoffmenge Inhalt des Kurses Tempo Organisatorische Rahmenbedingungen Mediale Unterstützung Verhalten der Studierenden Häufigkeit von Beispielen

Konzeption eines Evaluationsfragebogens Synkretistischer Ansatz Orientierung an bereits existierenden Instrumenten Befragungs-Ansatz Befragung Studierender und /oder Lehrender als Experten nach Kennzeichen des „idealen Dozenten“, der „idealen Veranstaltung“ Theoretischer Ansatz Ableitung aus hochschuldidaktischen Theorien / Theorien über den Lehr- bzw. Lernprozess

Synkretistischer Ansatz Auswertung von Lehrevaluationsbögen (Abrami & d‘Appolina 1990) Klarheit und Verständlichkeit Generelle Dozentenbeurteilung Allgemeinbeurteilung des Kurses Ermutigung zur Diskussion Arbeitsbelastung Vorbereitung/Organisation des Dozenten Stimulation von Interesse Klima Hilfsbereitschaft Feedback Notenfairness Klare Kursziele Classroom management

Konzeption eines Evaluationsfragebogens Synkretistischer Ansatz Orientierung an bereits existierenden Instrumenten Befragungs-Ansatz Befragung Studierender und /oder Lehrender als Experten nach Kennzeichen des „idealen Dozenten“, der „idealen Veranstaltung“ Theoretischer Ansatz Ableitung aus hochschuldidaktischen Theorien / Theorien über den Lehr- bzw. Lernprozess

Theoretischer Ansatz Westermann et al 1993, 1996: Konzept der Arbeitszufriedenheit Person-Environment-Fit-Theorie Zufriedenheit ist abhängig von der subjektiven Passung zwischen Bedürfnissen, Einstellungen, Fähigkeiten und den Merkmalen der studienbezogenen Umwelt

Zufriedenheit der Studierenden = Gute Lehre ?