Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

3rd meeting in Madrid Evaluation – Zwischenbilanz und Ausblick auf den zweiten Austausch Elke Wild.

Ähnliche Präsentationen


Präsentation zum Thema: "3rd meeting in Madrid Evaluation – Zwischenbilanz und Ausblick auf den zweiten Austausch Elke Wild."—  Präsentation transkript:

1 3rd meeting in Madrid Evaluation – Zwischenbilanz und Ausblick auf den zweiten Austausch Elke Wild

2 3rd meeting in Madrid Gliederung Rückblick: Eckpfeiler der beantragten Evaluationsstudie Zusammenfassende Darstellung der Ergebnisse der Befragung der Koordinatoren / Schlussfolgerungen für das Evaluationskonzept Zielkriterien quasi-experimentelles Design (Meßzeitpunkte, Ebenen) Adressaten Instrumente Offene Fragen, Anregungen, Vorschläge

3 3rd meeting in Madrid Evaluation - Definition Evaluation ist ein Mittel um auf der Basis von (fortlaufenden) Rückmeldungen die Optimierung einer Massnahme vorantreiben zu können (formative Evaluation). um die Wirksamkeit einer Massnahme festzustellen, d.h. zu überprüfen ob (selbst definierte) Standards erreicht wurden (Qualitätssicherung durch summative Evaluation) Für die Evaluation des Includeme-Projekts folgt: Klärung der Ziele und Adressaten Festlegung der Instrumente zur Datenerhebung ( Beschreibung des Ist-Zustands) Festlegung der Qualitätsstandards (Soll-Zustände), die bei der Bewertung der Daten zugrunde gelegt werden sollen Kriteriale Bezugsnormen können z.B. an vorliegenden (Aus-)Bildungsstandards formuliert werden temporäre Bezugsnormen basieren auf einem Vorher-Nachher-Vergleich ab soziale Vergleichsnormen rekurrieren auf Differenz zwischen EG und gematchter KG)

4 3rd meeting in Madrid Ziele/Inhalte/Dimensionen des Austauschprogramms (s. EU-Antrag): Konzeptuell angestrebte Ziele auf individueller Ebene Akzeptanz (auf Seiten der Teilnehmer, der Mentoren, der Koordinatoren und beteiligter Dritter) Wissen der Teilnehmer (Erweiterung der eigenen didaktischen Kompetenz und Fremdsprachenkenntnisse), Einstellungen der Teilnehmer (Bewusstsein für die european dimension; Sensitivität für soziale und polititsche Fragen, professionelles Selbstverständnis, Interesse an Austausch, Medienkompetenz) Motivation der unterrichteten Schüler Implementation Koordination, intern und extern Zeitliche Abstimmung Pragmatische Organisation (Rekrutierung von Teilnehmern und Mentoren, Unterbringung, Abrechnung etc.) Formale Abstimmung (Akkreditierung, Zertifizierung) Inhaltliche Koordination (Passung der Fächer, Sprachen der Tandems, Unterrichtshospitation vs. Eigene U.praxis etc.) Kooperation mit externen Institutionen (Einrichtungen der Lehrerausbilung, Ministerien, EU-Ansprechpartnern etc.) Kooperation, intern und extern / Präsenz- und virtuelle Kommunikation: Qualität und Intensität des Austauschs zwischen Koordinatoren Mentoren Referendaren/Studierenden den Beteiligten und anderen Mitgliedern der Einrichtungen/Schulen Diversifikation Qualität der entwickelten Handreichungen (Survival Kids) Für Koordinatoren (Beantragung, Haushaltsführung, Rekrutierung, Organisation, Koordination, flankierende Maßnahmen) Für Mentoren Für Teilnehmer (Refrendare, Studierende) networking / PR Gestaltung und Nutzung der Internet-Plattform (homepages der Einrichtungen; Informations- und feed-back-Funktionen via mailing-Liste, chatrooms, Audiokonferenzen etc.) Qualität und Akzeptanz von Logo, Flyer etc. Maßnahmen zur Stabilisierung und Erweiterung des Netzes kooperierender Einrichtungen

5 Vorschlag zu Evaluationskriterien: Beibehaltung aller Ziele als Kriterien für die zweite und dritte Phase (Zentralität AM > 3; Erreichbarkeit AM > 2,7), Kompetenzsteigerung / Bewußtseinsbildung Wissen der Teilnehmer (Erweiterung der didaktischen Kompetenz und Fremdsprachenkenntnisse), Einstellungen der Teilnehmer (Bewusstsein für die european dimension; Sensitivität für soziale und polititsche Fragen, professionelles Selbstverständnis, Interesse an Austausch, Medienkompetenz) Akzeptanz ( auf Seiten der Teilnehmer, der Mentoren, der Koordinatoren und beteiligter Dritter ) Implementation (Koordination, Kooperation, Kommunikation) Diversifikation (Handreichungen, PR) Festlegung der Evaluationskriterien

6 Vorschlag zu Evaluationskriterien: Ergänzend in der zweiten Phase Fokussierung auf Vorbereitung der Mentoren (Konkretisierung AM = 1,9 / 2,3) und anderen Implementationsfragen (AM < 2,5; Auswahl, Vorbereitung und Integration der Teilnehmer) sowie in der dritten Phase zusätzlicher Fokus auf Aspekte der Diversifikation (AM = 2,0 / 2,1), da erst im Verlauf der zweiten Phase Marketing-Konzepte, Materialien (survival-kids, Manuale zur Vorbereitung der Mentoren und Teilnehmer) sowie Strategien zur Steigerung der Mediennutzung entwickelt werden.

7 3rd meeting in Madrid Auswertung der offenen Antwortungen zum erhofften Informationsgehalt der Evaluation Vordringliches Interesse an den Ergebnissen der formativen Evaluation Hier sollten spezifische Instrumente für die einzelnen Adressatengruppen entwickelt werden, die auch offene Fragen beinhalten. Besonderes Interesse besteht an den Rückmeldungen der Mentoren und der beteiligten angehenden Lehrkräfte über ihre Erfahrungen in Punkto Vorinformation, Mitarbeit/Zusammenarbeit Gestaltung 'von der Hospitation zum selbsterteilten Unterricht' Sprachliche Verständigung abschließende Beurteilung Großes Interesse wird auch an Transfergesichtspunkten home) geäußert. Entwicklung adressatenspezifischer Instrumente (Methoden, Konstrukte) mit möglichst offenem Format Um Aufwand qualitativer Analysen zu begrenzen, pragmatischer Methodenmix: wiederholte Befragungen größerer Gruppen mittels Fragebogen, intensivere Befragung mittels halbstrukturierter Interviews nur auf der Ebene der Teilnehmer und nur an ausgewählten Standorten Fokus in der zweiten und dritten Erhebung auf den Einschätzungen der Mentoren und der beteiligten angehenden Lehrkräfte, inhaltliche Schwerpunktsetzung zu Vorinformation, Mitarbeit/Zusammenarbeit Gestaltung 'von der Hospitation zum selbsterteilten Unterricht' Sprachliche Verständigung Transfer durch Einbeziehung einer follow-up-Erhebung berücksichtigen Konsequenzen für das Evaluationsdesign Übergreifende Festlegungen zum Evaluationsdesign

8 3rd meeting in Madrid Festlegungen über Zeitpunkte der Erhebung und Rückmeldung Vorschlag : Vor Projektbeginn NICHT nach der ersten Phase: Befragung der Koordinatoren – erste Erfahrungen und ggfs. Reformulierung der Ziele zweite Phase: standardisierte Erfassung der Effekte auf Seiten der Mentoren und Teilnehmer (formativ, Prä-, Post-, Follow-Up-Erhebung) Dritte Phase: Wirksamkeit auch auf der Ebene der Schüler, qualitative Analysen der Qualität der Materialien / tools (summativ, mit KG, quer- u. längsschnittlich)

9 3rd meeting in Madrid Festlegung der Adressaten der jeweiligen Erhebung 1. Phase2. Phase3. PhaseInhalt Koordinatoren Koordination und Diversifikation (Erfahrungen, Rahmenbedingungen), Rückmeldung / Veröff. von Eval.ergebnissen Mentoren Anleitung/Begleitung, Erfahrungen (Akzeptanz, Perspektive) Teilnehmer (+KG)Anleitung/Begleitung, (Lern-)Erfahrungen (Effekte, Akzeptanz, Perspektive) Schüler (exempl.) (+KG)Erfahrungen (Akzeptanz, Effekte) Externe Experten (exempl.) Akzeptanz, Nützlichkeit der survival kids / tools GastfamilienErfahrungen Ansprechpartner kooperierender Einrichtungen Erfahrungen (s.u.)

10 3rd meeting in Madrid Instrumente zur formativen und summativen Evaluation Vorschlag: Mehrebenen-Analyse mit (halb-)standardisierten Instrumenten unter Berücksichtigung kriterialer, temporaler und sozialer Bezugsnormen FB und Portfolio-Analysen zur Erfassung der Effekte auf der Ebene der Teilnehmer - Förderung der Fremdsprachenkompetenz, - der Professionalisierung (Austausch, Reflexion, Didaktik), - der Weltoffenheit (Sensibilisierung, Wissen über (Aus-) Bildungssysteme) - Akzeptanz, sonstige Erfahrungen (Integration...) zur Qualität der Implementation - halbstrukturierte Interviews mit Koordinatoren zu Strategien/Problemen bei Koordination /Kommunikation der Partner (Institutionen, interne Kooperation) - FB und internet-basierte Analysen zur Intensität des Erfahrungsaustauschs innerhalb und zwischen allen Personengruppen (Präsenz, virtuell) Diversifikation Nützlichkeit der Handreichungen, Internetplatt-Form, PR- Maßnahmen durch Expertenurteil / Einschätzung potentieller Adressaten Fragen / Optionen: Welche Instrumente sollen auf welcher Ebene und zu welchem Zeitpunkt zum Einsatz kommen? Fragebögen (paper pencil, online) Tagebücher / Portfolios der Studierenden Halbstandardisierte (themenzentrierte) Interviews Expertenbeurteilungen Internetbasierte Analysen (Nutzungsfrequenz der homepages, evtl. integriertes feedback) NICHT: TESTS

11 3rd meeting in Madrid Rekrutierung: Vollerhebung? JA, aber nur auf der Ebene der Koordinatoren, Mentoren und Refrendare Ergänzende Interviews mit Teilnehmern an exemplarisch ausgewählten Standorten? JA, pragmatisch: Befragung von deutschen Refrendaren und Gastschülern aus Kiel nur in der dritten Phase. Befragung einer Kontrollgruppe von Referendaren / Schülern? JA, aber nur an einem Standort (Kiel?) Organisatorische Fragen Online-Befragung? Verteilung der Fragebögen für Prä-/Post- und Follow-up-Erhebung / Rücklauf von FB und Tagebüchern (wie, wann Abbruch)? Rekrutierung der Kontrollgruppen (nicht involvierte Refrendare, Schüler)? Durchführung der Interviews mit Refrendaren (wer? Wann? Wo?) Rekrutierung potentieller Interessenten zur Beurteilung der survival kids / Internet- Plattform (nicht teilnehmende Refrendare, Lehrer, Mitglieder von Lehrausbildungseinrichtungen) Offene forschungspraktische Fragen - Vorschläge


Herunterladen ppt "3rd meeting in Madrid Evaluation – Zwischenbilanz und Ausblick auf den zweiten Austausch Elke Wild."

Ähnliche Präsentationen


Google-Anzeigen