Zwischenbilanz und Ausblick auf den zweiten Austausch 3rd meeting in Madrid Evaluation – Zwischenbilanz und Ausblick auf den zweiten Austausch Elke Wild

Rückblick: Eckpfeiler der beantragten Evaluationsstudie 3rd meeting in Madrid Gliederung Rückblick: Eckpfeiler der beantragten Evaluationsstudie Zusammenfassende Darstellung der Ergebnisse der Befragung der Koordinatoren / Schlussfolgerungen für das Evaluationskonzept Zielkriterien quasi-experimentelles Design (Meßzeitpunkte, Ebenen) Adressaten Instrumente Offene Fragen, Anregungen, Vorschläge

Evaluation - Definition Evaluation ist ein Mittel um auf der Basis von (fortlaufenden) Rückmeldungen die Optimierung einer Massnahme vorantreiben zu können (formative Evaluation). um die Wirksamkeit einer Massnahme festzustellen, d.h. zu überprüfen ob (selbst definierte) Standards erreicht wurden („Qualitätssicherung“ durch summative Evaluation) Für die Evaluation des Includeme-Projekts folgt: Klärung der Ziele und Adressaten Festlegung der Instrumente zur Datenerhebung (Beschreibung des Ist-Zustands) Festlegung der Qualitätsstandards (Soll-Zustände), die bei der Bewertung der Daten zugrunde gelegt werden sollen Kriteriale Bezugsnormen können z.B. an vorliegenden (Aus-)Bildungsstandards formuliert werden temporäre Bezugsnormen basieren auf einem Vorher-Nachher-Vergleich ab soziale Vergleichsnormen rekurrieren auf Differenz zwischen EG und gematchter KG)

Ziele/Inhalte/Dimensionen des Austauschprogramms (s. EU-Antrag): Konzeptuell angestrebte Ziele auf individueller Ebene Akzeptanz (auf Seiten der Teilnehmer, der Mentoren, der Koordinatoren und beteiligter Dritter) Wissen der Teilnehmer (Erweiterung der eigenen didaktischen Kompetenz und Fremdsprachenkenntnisse), Einstellungen der Teilnehmer (Bewusstsein für die „european dimension“; Sensitivität für soziale und polititsche Fragen, professionelles Selbstverständnis, Interesse an Austausch, Medienkompetenz) Motivation der unterrichteten Schüler Implementation Koordination, intern und extern Zeitliche Abstimmung Pragmatische Organisation (Rekrutierung von Teilnehmern und Mentoren, Unterbringung, Abrechnung etc.) Formale Abstimmung (Akkreditierung, Zertifizierung) Inhaltliche Koordination (Passung der Fächer, Sprachen der Tandems, Unterrichtshospitation vs. Eigene U.praxis etc.) Kooperation mit externen Institutionen (Einrichtungen der Lehrerausbilung, Ministerien, EU-Ansprechpartnern etc.) Kooperation, intern und extern / Präsenz- und virtuelle Kommunikation: Qualität und Intensität des Austauschs zwischen Koordinatoren Mentoren Referendaren/Studierenden den Beteiligten und anderen Mitgliedern der Einrichtungen/Schulen Diversifikation Qualität der entwickelten Handreichungen (Survival Kids) Für Koordinatoren (Beantragung, Haushaltsführung, Rekrutierung, Organisation, Koordination, flankierende Maßnahmen) Für Mentoren Für Teilnehmer (Refrendare, Studierende) networking / PR Gestaltung und Nutzung der Internet-Plattform (homepages der Einrichtungen; Informations- und feed-back-Funktionen via mailing-Liste, chatrooms, Audiokonferenzen etc.) Qualität und Akzeptanz von Logo, Flyer etc. Maßnahmen zur Stabilisierung und Erweiterung des Netzes kooperierender Einrichtungen

Festlegung der Evaluationskriterien Vorschlag zu Evaluationskriterien: Beibehaltung aller Ziele als Kriterien für die zweite und dritte Phase (Zentralität AM > 3; Erreichbarkeit AM > 2,7), Kompetenzsteigerung / Bewußtseinsbildung Wissen der Teilnehmer (Erweiterung der didaktischen Kompetenz und Fremdsprachenkenntnisse), Einstellungen der Teilnehmer (Bewusstsein für die „european dimension“; Sensitivität für soziale und polititsche Fragen, professionelles Selbstverständnis, Interesse an Austausch, Medienkompetenz) Akzeptanz (auf Seiten der Teilnehmer, der Mentoren, der Koordinatoren und beteiligter Dritter) Implementation (Koordination, Kooperation, Kommunikation) Diversifikation (Handreichungen, PR)

Vorschlag zu Evaluationskriterien: Ergänzend in der zweiten Phase Fokussierung auf Vorbereitung der Mentoren (Konkretisierung AM = 1,9 / 2,3) und anderen Implementationsfragen (AM < 2,5; Auswahl, Vorbereitung und Integration der Teilnehmer) sowie in der dritten Phase zusätzlicher Fokus auf Aspekte der Diversifikation (AM = 2,0 / 2,1), da erst im Verlauf der zweiten Phase „Marketing“-Konzepte, Materialien (survival-kids, Manuale zur Vorbereitung der Mentoren und Teilnehmer) sowie Strategien zur Steigerung der Mediennutzung entwickelt werden.

Übergreifende Festlegungen zum Evaluationsdesign Konsequenzen für das Evaluationsdesign Auswertung der offenen Antwortungen zum erhofften Informationsgehalt der Evaluation Entwicklung adressatenspezifischer Instrumente (Methoden, Konstrukte) mit möglichst offenem Format Um Aufwand qualitativer Analysen zu begrenzen, pragmatischer Methodenmix: wiederholte Befragungen größerer Gruppen mittels Fragebogen, intensivere Befragung mittels halbstrukturierter Interviews nur auf der Ebene der Teilnehmer und nur an ausgewählten Standorten Fokus in der zweiten und dritten Erhebung auf den Einschätzungen der Mentoren und der beteiligten angehenden Lehrkräfte, inhaltliche Schwerpunktsetzung zu Vorinformation, Mitarbeit/Zusammenarbeit Gestaltung 'von der Hospitation zum selbsterteilten Unterricht' Sprachliche Verständigung Transfer durch Einbeziehung einer follow-up-Erhebung berücksichtigen Vordringliches Interesse an den Ergebnissen der formativen Evaluation Hier sollten spezifische Instrumente für die einzelnen Adressatengruppen entwickelt werden, die auch offene Fragen beinhalten. Besonderes Interesse besteht an den Rückmeldungen der Mentoren und der beteiligten angehenden Lehrkräfte über ihre Erfahrungen in Punkto Vorinformation, Mitarbeit/Zusammenarbeit Gestaltung 'von der Hospitation zum selbsterteilten Unterricht' Sprachliche Verständigung abschließende Beurteilung Großes Interesse wird auch an Transfergesichtspunkten (internationalisation @ home) geäußert.

Festlegungen über Zeitpunkte der Erhebung und Rückmeldung Vorschlag : Vor Projektbeginn NICHT nach der ersten Phase: Befragung der Koordinatoren – erste Erfahrungen und ggfs. Reformulierung der Ziele zweite Phase: standardisierte Erfassung der Effekte auf Seiten der Mentoren und Teilnehmer (formativ, Prä-, Post-, Follow-Up-Erhebung) Dritte Phase: Wirksamkeit auch auf der Ebene der Schüler, qualitative Analysen der Qualität der Materialien / tools (summativ, mit KG, quer- u. längsschnittlich)

Festlegung der Adressaten der jeweiligen Erhebung 1. Phase 2. Phase 3. Phase Inhalt Koordinatoren    Koordination und Diversifikation (Erfahrungen, Rahmenbedingungen), Rückmeldung / Veröff. von Eval.ergebnissen Mentoren Anleitung/Begleitung, Erfahrungen (Akzeptanz, Perspektive) Teilnehmer  (+KG) Anleitung/Begleitung, (Lern-)Erfahrungen (Effekte, Akzeptanz, Perspektive) Schüler (exempl.) Erfahrungen (Akzeptanz, Effekte) Externe Experten (exempl.) Akzeptanz, Nützlichkeit der survival kids / tools Gastfamilien Erfahrungen Ansprechpartner kooperierender Einrichtungen Erfahrungen (s.u.)

Instrumente zur formativen und summativen Evaluation Fragen / Optionen: Welche Instrumente sollen auf welcher Ebene und zu welchem Zeitpunkt zum Einsatz kommen? Fragebögen (paper pencil, online) Tagebücher / Portfolios der Studierenden Halbstandardisierte (themenzentrierte) Interviews Expertenbeurteilungen Internetbasierte Analysen (Nutzungsfrequenz der homepages, evtl. integriertes feedback) NICHT: TESTS Vorschlag: Mehrebenen-Analyse mit (halb-)standardisierten Instrumenten unter Berücksichtigung kriterialer, temporaler und sozialer Bezugsnormen FB und Portfolio-Analysen zur Erfassung der Effekte auf der Ebene der Teilnehmer - Förderung der Fremdsprachenkompetenz, - der Professionalisierung (Austausch, Reflexion, Didaktik), - der Weltoffenheit (Sensibilisierung, Wissen über (Aus-) Bildungssysteme) - Akzeptanz, sonstige Erfahrungen (Integration...) zur Qualität der Implementation - halbstrukturierte Interviews mit Koordinatoren zu Strategien/Problemen bei Koordination /Kommunikation der Partner (Institutionen, interne Kooperation) - FB und internet-basierte Analysen zur Intensität des Erfahrungsaustauschs innerhalb und zwischen allen Personengruppen (Präsenz, virtuell) Diversifikation Nützlichkeit der Handreichungen, Internetplatt-Form, PR-Maßnahmen durch Expertenurteil / Einschätzung potentieller Adressaten

Offene forschungspraktische Fragen - Vorschläge Rekrutierung: Vollerhebung? JA, aber nur auf der Ebene der Koordinatoren, Mentoren und Refrendare Ergänzende Interviews mit Teilnehmern an exemplarisch ausgewählten Standorten? JA, pragmatisch: Befragung von deutschen Refrendaren und Gastschülern aus Kiel nur in der dritten Phase. Befragung einer Kontrollgruppe von Referendaren / Schülern? JA, aber nur an einem Standort (Kiel?) Organisatorische Fragen Online-Befragung? Verteilung der Fragebögen für Prä-/Post- und Follow-up-Erhebung / Rücklauf von FB und Tagebüchern (wie, wann Abbruch)? Rekrutierung der Kontrollgruppen (nicht involvierte Refrendare, Schüler)? Durchführung der Interviews mit Refrendaren (wer? Wann? Wo?) Rekrutierung potentieller Interessenten zur Beurteilung der survival kids / Internet-Plattform (nicht teilnehmende Refrendare, Lehrer, Mitglieder von Lehrausbildungseinrichtungen)