Evaluation – einige Ideen und Vorschläge Elke Wild University of Bielefeld Informationen zur Person Pädagogische Psychologin eigene Forschungsinteressen: Motivation, Selbstgesteuertes Lernen, Didaktik als Mitglied der nationalen Beratergruppe in PISA 2004 Prorektorin für Organisationsentwicklung

Evaluation - Definition In der Praxis gibt es grosse Vorbehalte gegenüber Evaluation weil diese häufig zur Rechtfertigung von Kürzungen herangezogen wird Der Zweck von Evaluation im Includeme-Projekt sollte jedoch meines Erachtens sein: den Effect der Mobiltiätsmassnahme festzustellen (Beobachtung) und diese durch Rückgriff auf Qualitätsstandards zu bewerten (hierbei kann auf eine kriteriale, temporäre oder soziale Bezugs-norm rekurriert werden; verbreitet sind soziale Vergleiche mit gematchten Kontrollgruppen) Evaluation ist dann ein Mittel um (zugeschriebene oder selbst definierte) Standards zu erreichen und zu erhalten („Qualitätssicherung“) und um Rückmeldungen zu bekommen, die zur Optimierung einer Massnahme genutzt werden können.

Traditionelle vs. „innovative“ Formen von Evaluation forschungsorientierte Feldstudien dienen der dokumentation von (Miß-)erfolg um Aufschluss über die Haltbarkeit theoretischer Annahmen zu bekommen „Kooperative Innovation“ ist eine alternative (und aus meiner Sicht praktisch relevantere) Form der Evaluation; hier kommt Praktikern eine zentrale Rolle bei der Definition von Zielen (Konstrukten) und Festlegung von Kriterien (empirischen Indikatoren) bei der konzeptuellen Entwicklung (von Handanweisungen, Materialien und diagnostischen Instrumenten) der Implementation von Massnahmen (hier: Mobilitätsmassnahmen) und der Festlegung der Evaluationszielen (Entscheidungen über die Zentralität von Zielen und die Investition von Ressourcen für die Erreichung verschiedener Ziele)

In dem Projektantrag wurden zwei Formen der Evaluation angekündigt: formative Evaluation als ein fortlaufender diagnostischer Prozess, der qualitatives feedback im Verlauf des Projekts liefert -> Evaluation ist eine Art von Beratung oder coaching mit dem Ziel, das Vorgehen sukzessive zu optimieren summative Evaluation meint die abschliessende Erhebung der erzielten Effekte um zu einer endgültigen Bewertung der Nützlichkeit eines Projekts zu kommen („Produktorientierte Evaluation“)

Fragen, die es zu klären gilt Häufigkeit und Zeitpunkt der Erhebungen: Vor Projektbeginn (Erwartungen)? nach der ersten Phase (Aufschluss über Probleme und Herausforderungen)? nach jeder Phase (Aufschluss über Fortschritte und neue Ziele?) und/oder am Ende (Klärung der Nachhaltigkeit der Effekte, der Generalisierbarkeit des Vorgehens auf andere Standorte, Fächer usw.; Verbreitung)? Zentralität der angestrebten Inhalte/Dimensionen: Wissen (Erweiterung der eigenen didaktischen Kompetenz und Fremdsprachenkenntnisse), Einstellungen (Bewusstsein für die „european dimension“; Sensitivität für soziale und polititsche Fragen), Veränderungen im Selbstkonzept/professionellen Selbstverständnis und der Motivation, über das Projekt hinaus Auslandsaufenthalte anzustreben, intra- und interdisziplinären Austausch voranzutreiben, Neue Medien zu nutzen.... Häufigkeit der Rückmeldung: 3. und 6. Treffen (laut Antrag)? Auswahl der Interviewpartner: was sind exemplarisch ausgewählte Standorte? Sollte man Standorte mit möglichst divergierenden Ausgangsbedingungen untersuchen?

Klärung (der Unterstützung) der Zielpersonen / Zielgruppen Leitungsteam Mentoren, Kollegium in den Ausbildungseinrichtungen und Schulen, Gastfamilien, Studierende (Refrendare), Schüler, an Mobilitätsprojekten interessierte Dritte (z.B. Lehrer, für die Lehreraus- und –fortbildung zuständige Personen

Klärung der Materialien / Strategien: a) die für Problemlösungen hilfreich sind b) die den Austausch zwischen den INCLUDEME-Teilnehmern fördern (z.B. Nützlichkeit der domain, homepages, des INTERWISE conference systems) c) die der Verbreitung der Erfahrungen /Handreichungen dienen (handouts / reports / „survival kids“; instruments for ongoing self-evaluation; marketing strategies) d) die auf eine Erhöhung der Akzeptanz von Mobilitätsmassnahmen abzielen (Identifizierung von notwendigen, hinreichenden und fakultativen Aspekten und Rahmenbedingungen),

Methodische Vorgehensweisen Einsatz von Fragebögen (paper-pencil Fragebögen, online Fragebögen, Tagebücher, Portfolios) um a) Informationen über Ähnlichkeiten und Unterschiede im Vorgehen herauszufinden (Frage der Generalisierbarkeit) b) die Wirkung auf die beteiligten Personen abzuschätzen (Vergleich mit Gruppen von Schülern, Referendaren und/oder Lehrern die nicht teilnehmen) c) die Nachhaltigkeit eines solchen Projekts zu prüfen (Änderungen in den Einstellungen von Kollegen, Kommilitonen etc.) Interviews (halbstrukturiert mit ausgewählten Personen(-gruppen) um Hinweis auf kritische und moderierende Faktoren zu bekommen Expertenratings (um den pädagogischen Nutzen der multimedialen Lernumgebung zu beurteilen und die Nützlichkeit der erstellten Handreichungen, Instrumente etc. für nachfolgende Interessenten ergänzende (zu?) aufwendige Methoden: Tests (zur objektiven Erfassung von Kompetenzen)? Beobachtungen (z.B. videographierte Interaktionen zwischen Refrendaren und Mentoren)? Akten / offizielle Unterlagen (Zeugnisse etc.) zur Prüfung der Representativität / Beschreibung der Stichprobe

abschliessender Hinweis die erste Evaluation wurde bereits von zwei externen Experten durchgeführt (s. Gutachten) Kritik an (noch) wenig präzisen Ausführungen zur Sicherung der Nachhaltigkeit und Verbreitung von Mobilitätsmassnahmen wir kann man Kollegen, Kommilitonen, Schüler mit der eigenen Begeisterung anstecken? wie kann Verbreitung der gewonnenen Einsichten gefördert werden? (marketing)