Entwicklung eines Online-Evaluationssystems

Präsentation zum Thema: "Entwicklung eines Online-Evaluationssystems"—  Präsentation transkript:

1 Entwicklung eines Online-Evaluationssystems
09. November 2005

2 Überblick Das Seminar im Wintersemester gliedert sich in fünf Blöcke
• Block 1: Inhaltliches zur Lehrevaluation • Block 2: Grundzüge und Anwendung der klassischen Testtheorie (KTT) • Block 3: Befragung zu Kriterien guter Lehre, Auswertung der Daten, Itemgenerierung • Block 4: Ein wenig Statistik • Block 5: Testkonstruktion, Probeerhebung und Analyse der gesammelten Daten

3 Überblick • Block 1: Inhaltliches zur Lehrevaluation
Das Seminar im Wintersemester gliedert sich in fünf Blöcke • Block 2: Grundzüge und Anwendung der klassischen Testtheorie (KTT) • Block 3: Befragung zu Kriterien guter Lehre, Auswertung der Daten, Itemgenerierung • Block 4: Ein wenig Statistik • Block 5: Testkonstruktion, Probeerhebung und Analyse der gesammelten Daten • Block 1: Inhaltliches zur Lehrevaluation Was sind Kriterien guter Lehre Welche Urteilsverzerrungen und Biasvariablen gibt es bei der Lehrevaluation Erstellung einer Kurzbefragung zu Kriterien guter Lehre und Biasvariablen

4 Überblick Heute: Was sind Merkmale guter Lehre?
Kurze Einführung in Lehrevaluation (Begriffe, Geschichte) Welche Merkmale werden in der Literatur diskutiert? Selbst überlegen und diskutieren

5 Historischer Überblick
erste publizierte studentische Evaluationsfragebögen: Herman H. Remmers (1927): Purdue Rating Scale for Instructors 1920 1968 1990 1998 Mittelalter: „indirekte Evaluation“ (Studenten mussten nach jeder Vorlesung bezahlen! Komitee von Studenten, die darüber berichteten, ob Professor Behandlung verschiedener Themen zu festgelegten Termin einhält oder ob er in Verzug gerät 1968: Forderung nach besserer Lehre - (Gesellschafts- und Wissenschaftskritik; Inhalte der Lehre) Studentenbewegung: Studenten forderten bessere Lehre

6 Historischer Überblick
Lehrevaluation an 97% der US-amerikanischen Universitäten (Queis 1991) 1920 1968 1990 1998 Ab 1989: Spiegel-Rankings, RCDS, Studentenstreiks Ursache für Unterschiede Deutschland – Amerika: Leistungs- und Wettbewerbstradition in Nordamerika! Spiegel 1989: „Welche Uni ist die beste?“ Erstes Uni-Ranking

7 Historischer Überblick
Internationale Vergleichsstudie Letzter Platz für Deutschland in der Lehrevaluation 1920 1968 1990 1998 1998: Hochschulrahmengesetz (Form der Lehre; Orientierung an Effizienz, Lehrqualität und Markt) Hochschulrahmengesetz: §6: „Die Arbeit der Hochschulen in Forschung und Lehre...soll regelmäßig bewertet werden. Studierende sind bei der Bewertung der Qualität der Lehre zu beteiligen.[..]“

8 Begriffe Lehrevaluation Ausbildungsinhalte Bibliotheksausstattung
Studienzeiten Absolventenchancen Lehrveranstaltungsevaluation Veranstaltungs- und dozentenübergreifend Lehrevaluation Evaluation von Vorlesungen, Seminaren und anderen Lehrveranstaltungen Lehrveranstaltungsevaluation Lehrevaluation: Bezieht sich auf Lehre insgesamt Werden manchmal dennoch austauschbar verwendet

9 Funktionen Lehrevaluation werden von Hochschulen eingesetzt, um…
Einzelnen Dozenten über Feedback zu helfen, ihre Lehre zu verbessern Die Kommunikation zwischen Lehrenden und Studierenden über die Lehre zu fördern Den Studierenden als Informationsgrundlage bei der Kurswahl oder Universitätswahl zu dienen Als ein Qualifikationsmaß bei Bleibe-, Gehalts- und Berufungsverhandlungen neben Forschungsleistungen herangezogen zu werden

10 Funktionen Lehrevaluation werden von Hochschulen eingesetzt, um…
Einzelnen Dozenten über Feedback zu helfen, ihre Lehre zu verbessern Die Kommunikation zwischen Lehrenden und Studierenden über die Lehre zu fördern Den Studierenden als Informationsgrundlage bei der Kurswahl oder Universitätswahl zu dienen Als ein Qualifikationsmaß bei Bleibe-, Gehalts- und Berufungsverhandlungen neben Forschungsleistungen herangezogen zu werden Qualifikationsmodell Kommunikationsmodell Steuerungsmodell Transparenzmodell

11  Ihr habt 20 Minuten Zeit! 
Merkmale guter Lehre Stellt Euch bitte einen (fiktiven) guten Dozenten / eine gute Dozentin vor. Durch welche Charakteristika zeichnet sich diese Person und ihr Lehrstil aus? Stellt Euch bitte eine (fiktive) gute Veranstaltung vor. Durch welche Aspekte zeichnet sich eine solche Veranstaltung abgesehen von den in Frage 1 genannten aus? Bitte bildet aus Euren Antworten maximal 10 Kategorien und nummeriert diese nach ihrer Wichtigkeit (1=„am wichtigsten“, 2=„am zweitwichtigsten“ etc.) Arbeit in Gruppen Gruppierung!  Ihr habt 20 Minuten Zeit! 

12 Präsentation der Ergebnisse
Merkmale guter Lehre Präsentation der Ergebnisse

13 Merkmale guter Dozenten (Rindermann, 1999b)
Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen Kategoriensystem zur Auswertung Interaktion und Motivierung: Motivierung und Anregung der Studenten, Offenheit und Verständnis, Kooperativität sowie Zeit für Studenten bzw. Diskussionen (angepasste) Anforderungen von Lehrenden häufiger genannt

14 Merkmale guter Dozenten (Rindermann, 1999b)
Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen Kategoriensystem zur Auswertung Interaktion und Motivierung: Motivierung und Anregung der Studenten, Offenheit und Verständnis, Kooperativität sowie Zeit für Studenten bzw. Diskussionen (angepasste) Anforderungen von Lehrenden häufiger genannt Studierende nannten Materialien und Medien häufiger

15 Merkmale guter Dozenten (Rindermann, 1999b)
Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen Kategoriensystem zur Auswertung Interaktion und Motivierung: Motivierung und Anregung der Studenten, Offenheit und Verständnis, Kooperativität sowie Zeit für Studenten bzw. Diskussionen (angepasste) Anforderungen von Lehrenden häufiger genannt Studierende nannten Materialien und Medien häufiger

16 Merkmale guter Dozenten (Rindermann, 1999b)
Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen Studierende nannten Materialien und Medien häufiger

17 Merkmale guter Dozenten (Rindermann, 1999b)
Anzahl der Nennungen: Studierende Dozenten Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen (angepasste) Anforderungen von Lehrenden häufiger genannt

18 Merkmale guter Dozenten (Rindermann, 1999b)
Studierende Dozenten 9 Interaktion und Motivierung Persönlichkeitsfaktoren Didaktische Kompetenzen Fachkompetenz Engagement Sprache Themenbehandlung Struktur Material und Medien Anforderungen 5 Interaktion und Motivierung Fachkompetenz Persönlichkeitsfaktoren Didaktische Kompetenzen Engagement Themenbehandlung Sprache Struktur Material und Medien Anforderungen 10 3 9 6 1 1 3 7

19 Merkmale guter Dozenten (Rindermann, 1999b)
Relevanz Studierende Dozenten Themenbehandlung Struktur Anforderungen Sprache Didaktische Kompetenzen Fachkompetenz Engagement Material und Medien Interaktion und Motivierung Persönlichkeitsfaktoren Themenbehandlung Sprache Fachkompetenz Didaktische Kompetenzen Interaktion und Motivierung Engagement Anforderungen Material und Medien Persönlichkeitsfaktoren Struktur

20 Merkmale guter Dozenten (Rindermann, 1999b)
Relevanz Studierende Dozenten Themenbehandlung Struktur Anforderungen Sprache Didaktische Kompetenzen Fachkompetenz Engagement Material und Medien Interaktion und Motivierung Persönlichkeitsfaktoren Themenbehandlung Sprache Fachkompetenz Didaktische Kompetenzen Interaktion und Motivierung Engagement Anforderungen Material und Medien Persönlichkeitsfaktoren Struktur

21 Merkmale guter Veranstaltungen (Rindermann, 1999b)
Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Auf räumliche und zeitl. Struktur hinweisen

22 Merkmale guter Veranstaltungen (Rindermann, 1999b)
Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen

23 Merkmale guter Veranstaltungen (Rindermann, 1999b)
Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen

24 Merkmale guter Veranstaltungen (Rindermann, 1999b)
Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen

25 Merkmale guter Veranstaltungen (Rindermann, 1999b)
Studierende Dozenten Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Didaktische Kompetenzen Themenbehandlung Material und Medien Interaktion mit Doz. / unter Studierenden Äußere räumliche Gegebenheiten Struktur Student. Fähigkeiten und Beiträge Äußere zeitliche Gegebenheiten Anforderungen Lehrende legen mehr Wert auf fachlich-inhaltliche Kriterien Studierende mehr auf Formen der Vermittlung u Darstellung des Stoffs, sowie Persönlichkeitsfaktoren

26 Beobachtung und Beschreibung realer Veranstaltungen
Henninger & Balk, 1997 Spiel & Gössler, 1998 Verständlichkeit Fachliche Qualifikation Lebendigkeit Persönlichkeit des Dozenten Struktur Didaktik und Organisation Stoffmenge Inhalt des Kurses Tempo Organisatorische Rahmenbedingungen Mediale Unterstützung Verhalten der Studierenden Häufigkeit von Beispielen

27 Konzeption eines Evaluationsfragebogens
Synkretistischer Ansatz Orientierung an bereits existierenden Instrumenten Befragungs-Ansatz Befragung Studierender und /oder Lehrender als Experten nach Kennzeichen des „idealen Dozenten“, der „idealen Veranstaltung“ Theoretischer Ansatz Ableitung aus hochschuldidaktischen Theorien / Theorien über den Lehr- bzw. Lernprozess

28 Synkretistischer Ansatz
Auswertung von Lehrevaluationsbögen (Abrami & d‘Appolina 1990) Klarheit und Verständlichkeit Generelle Dozentenbeurteilung Allgemeinbeurteilung des Kurses Ermutigung zur Diskussion Arbeitsbelastung Vorbereitung/Organisation des Dozenten Stimulation von Interesse Klima Hilfsbereitschaft Feedback Notenfairness Klare Kursziele Classroom management

29 Konzeption eines Evaluationsfragebogens
Synkretistischer Ansatz Orientierung an bereits existierenden Instrumenten Befragungs-Ansatz Befragung Studierender und /oder Lehrender als Experten nach Kennzeichen des „idealen Dozenten“, der „idealen Veranstaltung“ Theoretischer Ansatz Ableitung aus hochschuldidaktischen Theorien / Theorien über den Lehr- bzw. Lernprozess

30 Theoretischer Ansatz Westermann et al 1993, 1996:
Konzept der Arbeitszufriedenheit Person-Environment-Fit-Theorie Zufriedenheit ist abhängig von der subjektiven Passung zwischen Bedürfnissen, Einstellungen, Fähigkeiten und den Merkmalen der studienbezogenen Umwelt

31 Zufriedenheit der Studierenden = Gute Lehre
?