Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Lehr-Evaluation Martin Brunner Max-Planck-Institut für Bildungsforschung

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner „In den Universitäten treiben [...] ‚Lehrflaschen‘ ihr Unwesen, ‚demotivieren ungezählte junge Menschen‘ und richten so ‚einen kaum wieder gutzumachenden Schaden an‘ (Der Spiegel, 1993, 86)“ zitiert nach Kromrey, 1996, S. 153 Qualität der Lehre? „Gerichte kamen zur Ansicht, daß Studenten ‚zu einer objektiven Beurteilung [der Lehre an Hochschulen] generell nicht in der Lage seien‘“ zitiert nach Rindermann, 1996, S. 130

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 5 Fragen zur Evaluation der universitären Lehre 1. Wer sind die Interessensträger/Stakeholder der Evaluation? 2. Welche Ergebniskriterien der Hochschullehre sollen evaluiert werden? 3. Welche Prozess-Daten der Lehre/ des Lehrgeschehens sollen evaluiert werden? 4. Welche „Datenquellen“ können erschlossen werden? 5. Was könnten mögliche Probleme bei der Ergebnisinterpretation sein?

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Aspekte der Lehrqualität  Motivation für den Lernstoff  Didaktik und Organisation  Fachliche Qualität  Enthusiasmus  Motivation zur aktiven Teilnahme  Formulierung der Erfolgskriterien Was ist Lehrqualität und wie kann man sie messen? Erfassungsmöglichkeiten  objektivierbare Zahlen (Dropout, Absenz, Krankheit,...)  Peer-Ratings  Studierende

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Einige Befunde Es gibt den besseren Dozenten (Marsh, 1984, Basis: 1364 Veranstaltungen) Zusammenhang zwischen Veranstaltungsqualität und Lernerfolg  r =.38 (bei Kontrolle Vorfähigkeiten und Interesse, Marsh, & Overall, 1980)  Meta-Analyse von Cohen (1981): r =.47  aber auch widersprechende Einzelbefunde (Rosemann & Schweer, 1996):

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Lernen: Passiv vs. Aktiv? Modelle des Lehrens und Lernens Wissen

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Angebot-Nutzungs-Modelle des Lehrens und Lernens (Helmke, 1996) Kontext der Lehre: Wahlmöglichkeit Freiwilligkeit Prüfungsrelevanz Scheinerwerb Räuml. & zeitl. Aspekte Teilnehmer- zusammensetzung Lehrangebot: Inhaltsaspekte Lehrmethode Didaktik Lernklima Qualitätsmerkmale: Passung, Verständlichkeit,... Lehrperson: fachl. Kompetenz Enthusiasmus Engagement Attraktivität Popularität Humor Materielle Studienbedingungen Finanzielle, familiäre, Wohnungssituation (z.B. Teilzeitstudent, Pendler) Individuelle Lernvoraussetzungen Kognitiv: Vorwissen, Intelligenz, Lernstrategien, Vorerfahrungen Motivational: Sachinteresse, Selbstkonzept, Leistungs- und Konkurrenzmotiv, Wertorientierungen Affektiv: Lern- und leistungsbezogene Emotionen Intentional: Motive der Studienwahl, Perspektive des Studiums und des Berufs Sozial: Fähigkeit zur Kommunikation und Kooperation Perzeption und Evaluation von Prozessmerkmalen der Lehre, Lehrperson und der Zielerreichung Nominale Nutzung des Lehrangebots Selektion einer Veranstaltung Regelmäßigkeit des Besuchs Aktive Nutzung des Lehrangebots Vorbereitung Lernengagement Nachbereitung Stoffvertiefung Anwendung/ Transfer Kognitive Wirkungen Kenntnisse Strategien Fertigkeiten Nicht-Kognitive Wirkungen Interesse Selbstwirksamkeit soziale Kompetenzen Subjektive Belastung Langfristige Wirkungen Berufserfolg Lebensbewältigung

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Was macht man mit den Ergebnissen der Evaluation? Synthese der Einzelbefunde? Ergebniskommunikation: –Items vs. Skalen? –Mittelwerte vs. Häufigkeiten? –Adressaten: Studierende, Dozenten, Dekan, Öffentlichkeit? Aggregationslevel: Dozent, Fakultät, Universität? Ergebnisse als Chance zur Verbesserung der Lehre? Konsequenzen für Berufsbeurteilung?

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner So geht es weiter

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Personen Variablen Zeit PrädiktorenTreatmentKriterien Stakeholder Nicht-Experimentell Experimentell Wittmanns (1983) Evaluationsmodell der 5 Datenboxen