Evaluation im MindMatters Projekt Institut für wirtschaftspsychologische Forschung und Beratung GmbH Evaluation im MindMatters Projekt Die Konzeption Dr. Günther Gediga Dipl. Psych. Maren Timmer Institut für wirtschaftspsychologische Forschung und Beratung GmbH Brinkstr. 19 * 49143 Bissendorf

Evaluationsstrategie Unabhängigkeit von Evaluation & Projektdurchführung Sowohl Bewertung als auch Prozess-Evaluation im Fokus Evaluation auf deutsche Verhältnisse zugeschnitten Ressourcensparende Evaluation Dennoch Evaluation mit Neuigkeitswert 2

Formativ Evaluationsbereiche Summativ Schüler Veränderungen im persönlichen Bereich Veränderungen im Bereich „Schule“ Kognitive Leistungen / Wissen Lehrer Umgang mit Schülern Umgang mit „Schule“ Schulleiter Formativ Verbesserung des Materials Verbesserung des Prozesses 3

Evaluationsinstrumente Initialerhebung (summativ) Schüler (3 Klassen pro Schule) Lehrer Schule (charakteristische Daten) Post-Test (summativ) Schüler (3 -identische- Klassen pro Schule) Materialien (formativ) Schüler (5 Klassen pro Heft) Lehrer (5 pro Heft) Interviews (Lehrer / Schulleiter; ca. 30) Evaluations-Workshop 4

Zeitplan Berichtlegung; Vorbereitung des Workshops Instrument- entwicklung Materia- lien Test Interviews Post-Test Pre-Test; Schuldaten Bis Jan. 04 Feb. 04 ... 2004 Dez. 04 Feb. 05 Evaluationsworkshop Techn. Umsetzung; Kontakt mit Schulen Materia- lien Test Materia- lien Test Schuldaten 5

Ressourcen für Evaluation (verpflichtend) 2-malige Meldung von Struktur- und Gesundheitsdaten (Sekretariat) Meldung aller durchgeführten MM-Einheiten mit Klassenangabe (Lehrer / Kontaktlehrer) Eine Lernkontrolle (Wissenstest) pro Klasse 3 Klassen für Initialbefragung und Post-Test (ca. 45 Min.) Initialbefragung und Post-Test für alle beteiligten Lehrer (ca. 45 Min.) Bewertung der Materialien (5 pro Heft) - per Zufall ausgewählt Insgesamt 30 Interviews (Lehrer und SL) zufällig ausgewählt 6

Ressourcen für Evaluation (optional) Teilnahme am MindMatters-(Evaluations-) Workshop Nutzung der Bewertungstools, die im Internet angeboten werden. 7

Details: Schülerbefragung Deutschsprachige und normierte Verfahren als Ausgangsmaterial Vorteil: Kulturadaptiert, erprobt, normiert Nachteil: Zu umfangreich und nicht passgenau. Auswahl der passgenauen Fragen nach Expertenurteil + psychometrischer Qualität Mit 79 Fragen werden abgedeckt: Schulzufriedenheit, Schulklima (5 Aspekte), Klassenklima (2 Aspekte), Prüfungsangst, Schulunlust, psychische Belastung, Schulstreß, psychovegetative Beschwerden (4 Aspekte), Selbstkonzept (3 Aspekte), soziale Kompetenz, Lebensqualität 8

Details: Lehrerbefragung Deutschsprachige und normierte Verfahren als Ausgangsmaterial Auswahl der passgenauen Fragen nach Expertenurteil + psychometrischer Qualität Mit 79 Fragen werden abgedeckt: Emotionale Erschöpfung, Leistungsmangel, Depersonalisierung, berufliche Belastung, Optimismus, kommunikative Kompetenz (3 Aspekte), Abgrenzung, Selbstwirksamkeit (2 Aspekte), Beziehungen (Schüler, Eltern, Kollegen), Rahmenbedingungen, Schulleitung, Schulqualität, gemeinsame Vorstellungen 9

Details: Materialfragebögen Nachfrage bei Schülern und Lehrern Lehrer: Bewertungsfragen in Richtung: Unterricht, Schüler, Wissensvermittlung, Passung zur Unterrichtsgestaltung, Einschätzung der Zielerreichung Veränderungsvorschläge/Problemberichte Schüler: Bewertungsfragen in Richtung: Interesse, emotionale Betroffenheit, Verständlichkeit, Arbeitsstil, Passung zum Schulkontext, persönliche Relevanz 10

Adaptiert aus der australischen MindMatters-Evaluation Details: Interviews Adaptiert aus der australischen MindMatters-Evaluation Lehrer: Veränderung im eigenen Verhalten Veränderung im Schülerverhalten Fragen zu jedem MindMatters-Modul Schulleiter: Veränderung des Lehrerverhaltens Fragen zu jedem MindMatters-Modul Aussenwirkung Partizipation 11

Zu erwartende Ergebnisse Status und Veränderung in den Befindlichkeitsvariablen von Schülern und Lehrern (Initialbefragung, Post-Test, Normen) Status und Veränderung in Gesundheitsvariablen (Schulbefragung) Erfolg in der Wissensvermittlung (Wissenstest) Rückmeldungen über notwendige Veränderungen in den Materialien und im Prozess (Begleitbögen, Interviews) 12

Bewertungen der Materialen genutzt zur Verbesserung der Module Verwertung der Daten Bewertungen der Materialen genutzt zur Verbesserung der Module Interviews genutzt zur Interpretation von Ergebnissen Workshop genutzt zur Verbesserung des gesamten Prozesses Ersttestung genutzt zur „Verortung“ der beteiligten Schulen Test auf Brauchbarkeit Zweittestung genutzt zur Veränderungsmessung 13

Ersttestung Standort der Schule in den erhobenen Variablen Auswertung pro Schule Ersttestung Standort der Schule in den erhobenen Variablen - Vergleich mit den anderen beteiligten Schulen - Vergleich mit Normen (soweit vorhanden) Zweittestung Standort der Schule bzgl. der Veränderung in den erhobenen Variablen - Absicherung gegen „Nicht-Veränderung“ 14