Evaluation im MindMatters Projekt

Präsentation zum Thema: "Evaluation im MindMatters Projekt"—  Präsentation transkript:

1 Evaluation im MindMatters Projekt
Institut für wirtschaftspsychologische Forschung und Beratung GmbH Evaluation im MindMatters Projekt Die Konzeption Dr. Günther Gediga Dipl. Psych. Maren Timmer Institut für wirtschaftspsychologische Forschung und Beratung GmbH Brinkstr. 19 * Bissendorf

2 Evaluationsstrategie
Unabhängigkeit von Evaluation & Projektdurchführung Sowohl Bewertung als auch Prozess-Evaluation im Fokus Evaluation auf deutsche Verhältnisse zugeschnitten Ressourcensparende Evaluation Dennoch Evaluation mit Neuigkeitswert 2

3 Formativ Evaluationsbereiche Summativ Schüler
Veränderungen im persönlichen Bereich Veränderungen im Bereich „Schule“ Kognitive Leistungen / Wissen Lehrer Umgang mit Schülern Umgang mit „Schule“ Schulleiter Formativ Verbesserung des Materials Verbesserung des Prozesses 3

4 Evaluationsinstrumente
Initialerhebung (summativ) Schüler (3 Klassen pro Schule) Lehrer Schule (charakteristische Daten) Post-Test (summativ) Schüler (3 -identische- Klassen pro Schule) Materialien (formativ) Schüler (5 Klassen pro Heft) Lehrer (5 pro Heft) Interviews (Lehrer / Schulleiter; ca. 30) Evaluations-Workshop 4

5 Zeitplan Berichtlegung; Vorbereitung des Workshops Instrument-
entwicklung Materia- lien Test Interviews Post-Test Pre-Test; Schuldaten Bis Jan. 04 Feb. 04 Dez. 04 Feb. 05 Evaluationsworkshop Techn. Umsetzung; Kontakt mit Schulen Materia- lien Test Materia- lien Test Schuldaten 5

6 Ressourcen für Evaluation (verpflichtend)
2-malige Meldung von Struktur- und Gesundheitsdaten (Sekretariat) Meldung aller durchgeführten MM-Einheiten mit Klassenangabe (Lehrer / Kontaktlehrer) Eine Lernkontrolle (Wissenstest) pro Klasse 3 Klassen für Initialbefragung und Post-Test (ca. 45 Min.) Initialbefragung und Post-Test für alle beteiligten Lehrer (ca. 45 Min.) Bewertung der Materialien (5 pro Heft) - per Zufall ausgewählt Insgesamt 30 Interviews (Lehrer und SL) zufällig ausgewählt 6

7 Ressourcen für Evaluation (optional)
Teilnahme am MindMatters-(Evaluations-) Workshop Nutzung der Bewertungstools, die im Internet angeboten werden. 7

8 Details: Schülerbefragung
Deutschsprachige und normierte Verfahren als Ausgangsmaterial Vorteil: Kulturadaptiert, erprobt, normiert Nachteil: Zu umfangreich und nicht passgenau. Auswahl der passgenauen Fragen nach Expertenurteil + psychometrischer Qualität Mit 79 Fragen werden abgedeckt: Schulzufriedenheit, Schulklima (5 Aspekte), Klassenklima (2 Aspekte), Prüfungsangst, Schulunlust, psychische Belastung, Schulstreß, psychovegetative Beschwerden (4 Aspekte), Selbstkonzept (3 Aspekte), soziale Kompetenz, Lebensqualität 8

9 Details: Lehrerbefragung
Deutschsprachige und normierte Verfahren als Ausgangsmaterial Auswahl der passgenauen Fragen nach Expertenurteil + psychometrischer Qualität Mit 79 Fragen werden abgedeckt: Emotionale Erschöpfung, Leistungsmangel, Depersonalisierung, berufliche Belastung, Optimismus, kommunikative Kompetenz (3 Aspekte), Abgrenzung, Selbstwirksamkeit (2 Aspekte), Beziehungen (Schüler, Eltern, Kollegen), Rahmenbedingungen, Schulleitung, Schulqualität, gemeinsame Vorstellungen 9

10 Details: Materialfragebögen
Nachfrage bei Schülern und Lehrern Lehrer: Bewertungsfragen in Richtung: Unterricht, Schüler, Wissensvermittlung, Passung zur Unterrichtsgestaltung, Einschätzung der Zielerreichung Veränderungsvorschläge/Problemberichte Schüler: Bewertungsfragen in Richtung: Interesse, emotionale Betroffenheit, Verständlichkeit, Arbeitsstil, Passung zum Schulkontext, persönliche Relevanz 10

11 Adaptiert aus der australischen MindMatters-Evaluation
Details: Interviews Adaptiert aus der australischen MindMatters-Evaluation Lehrer: Veränderung im eigenen Verhalten Veränderung im Schülerverhalten Fragen zu jedem MindMatters-Modul Schulleiter: Veränderung des Lehrerverhaltens Fragen zu jedem MindMatters-Modul Aussenwirkung Partizipation 11

12 Zu erwartende Ergebnisse
Status und Veränderung in den Befindlichkeitsvariablen von Schülern und Lehrern (Initialbefragung, Post-Test, Normen) Status und Veränderung in Gesundheitsvariablen (Schulbefragung) Erfolg in der Wissensvermittlung (Wissenstest) Rückmeldungen über notwendige Veränderungen in den Materialien und im Prozess (Begleitbögen, Interviews) 12

13 Bewertungen der Materialen genutzt zur Verbesserung der Module
Verwertung der Daten Bewertungen der Materialen genutzt zur Verbesserung der Module Interviews genutzt zur Interpretation von Ergebnissen Workshop genutzt zur Verbesserung des gesamten Prozesses Ersttestung genutzt zur „Verortung“ der beteiligten Schulen Test auf Brauchbarkeit Zweittestung genutzt zur Veränderungsmessung 13

14 Ersttestung Standort der Schule in den erhobenen Variablen
Auswertung pro Schule Ersttestung Standort der Schule in den erhobenen Variablen - Vergleich mit den anderen beteiligten Schulen - Vergleich mit Normen (soweit vorhanden) Zweittestung Standort der Schule bzgl. der Veränderung in den erhobenen Variablen - Absicherung gegen „Nicht-Veränderung“ 14