IncludeMe Ergebnisse der summativen Evaluation. Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Kurzer Rückblick Geplant war: Geplant war:

Präsentation zum Thema: "IncludeMe Ergebnisse der summativen Evaluation. Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Kurzer Rückblick Geplant war: Geplant war:"—  Präsentation transkript:

1 IncludeMe Ergebnisse der summativen Evaluation

2 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Kurzer Rückblick Geplant war: Geplant war: Befragung von Austausch-TeilnehmerInnen in allen drei Wellen Befragung von Austausch-TeilnehmerInnen in allen drei Wellen Ab der zweiten Phase Befragung von MentorInnen Ab der zweiten Phase Befragung von MentorInnen In den letzten Phase Expertenrating der Materialien (survival kids) und der Öffentlichkeitsarbeit (Internet- Seite, Flyer, CD-Rom….) In den letzten Phase Expertenrating der Materialien (survival kids) und der Öffentlichkeitsarbeit (Internet- Seite, Flyer, CD-Rom….)

3 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Kurzer Rückblick Realisiert wurde a Realisiert wurde auf der Basis der Festlegungen der Arbeitstreffen in Kiel und Madrid: Frühjahr 2004 halb-standardisierte Befragung der Koordinatoren -> (Festlegung der Konstrukte und Indikatoren; Schwerpunkt Lernergebnis, Identifikation typischer Probleme in der Startphase (mentoring!); Rückmeldung auf der Audiokonferenz (Juni 2004) und in Madrid (Sept. 2004); Ende 2004 Evaluations-Zwischenbericht standardisierte und in den Aufnahme- bzw. Berichtsprozess integrierte Befragung der TeilnehmerInnen des Austauschs 2005; Befragungs- und Ergänzungsformulare verschickt im März 2005; schleppender Rücklauf bis Spätsommer 2005; Ergebnisse werden auf dem letzten Arbeitstreffen in Kiel präsentiert Halb-strukturierte Interviews mit TeilnehmerInnen und MentorInnen im Februar 2005 in Tallin, schriftliche Zusammenfassung an alle Koordinatoren im März 2005 Überarbeitung des Mentoren-Fragebogens (Endversion Nov. 2005); Einsatz letzter Austausch 2006, Datenanalyse Mai 06.

4 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Stichprobenbeschreibung Befragung der TeilnehmerInnen Befragung der TeilnehmerInnen 30 Bögen von Studierenden zwischen 21 und 30 Jahren, nur 14 vollständige Datensätze 30 Bögen von Studierenden zwischen 21 und 30 Jahren, nur 14 vollständige Datensätze 81,5% weiblich 81,5% weiblich Teilnehmer kommen vorwiegend aus Deutschland, Litauen und Estland (Herkunfts- und Gastland) Teilnehmer kommen vorwiegend aus Deutschland, Litauen und Estland (Herkunfts- und Gastland) Befragung der MentorInnen Befragung der MentorInnen 20 Bögen von Lehrenden zwischen 24 und 54 Jahren, viele unvollständig 20 Bögen von Lehrenden zwischen 24 und 54 Jahren, viele unvollständig Rücklauf am besten in Deutschland und Estland Rücklauf am besten in Deutschland und Estland

5 Wer nimmt an Includeme teil?

6 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Wissen über Includeme Erste Frage : ¼ können nicht die beteiligen Länder nennen Erste Frage : ¼ können nicht die beteiligen Länder nennen Kenntnis der Erwartungen an (potentielle) Teilnehmer (im Flyer 7 Punkte) eher gering (1*0, 3*1, 6 *2, 3*3, 6*4 0*5 1*6 Punkte) Kenntnis der Erwartungen an (potentielle) Teilnehmer (im Flyer 7 Punkte) eher gering (1*0, 3*1, 6 *2, 3*3, 6*4 0*5 1*6 Punkte) Unterschiede in der Lehrerausbildung: nur 2 Pbn wissen, daß Organisation und Dauer anders sind, einige vermuten Unterschiede in den Schwerpunktsetzungen (Fachlich / Didaktik), 14 von 20 formulieren Allgemeinplätze (z.B. Unterschiede im Schulsystem, in Schulkultur) Unterschiede in der Lehrerausbildung: nur 2 Pbn wissen, daß Organisation und Dauer anders sind, einige vermuten Unterschiede in den Schwerpunktsetzungen (Fachlich / Didaktik), 14 von 20 formulieren Allgemeinplätze (z.B. Unterschiede im Schulsystem, in Schulkultur) Frage 4 (Unterschiedliche Voraussetzungen für Unterricht) wurde z.T. nicht richtig verstanden und konnte nicht ausgewertet werden. Frage 4 (Unterschiedliche Voraussetzungen für Unterricht) wurde z.T. nicht richtig verstanden und konnte nicht ausgewertet werden.

7 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Unterschiede in der Lehrerausbildung aus Sicht der Mentoren Dt. Refrendariat, daher Alter der Lehrer Dt. Refrendariat, daher Alter der Lehrer Fächerkombinationen Fächerkombinationen Unterrichtsmethoden Unterrichtsmethoden Gestaltungsmöglichkeiten Gestaltungsmöglichkeiten Umgang mit Schülern Umgang mit Schülern

8 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Persönlichkeitsprofile der TeilnehmerInnen (keine signifikanten Alters-, Geschlechts- oder länderbezogene Effekte; schwache Interkorrelationen)

9 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Persönlichkeitsmerkmale und selbsteingeschätzte (Schlüssel-)Kompetenzen Need for cognition Simpli- cissimus Theorie- orient. Welt- offenheit Intrins. Motiv. Eigenständigkeit.47*.52* Flexibilität.44+.52* Durchsetzungsvermögen Problemlösefähigkeit.60* Aufgeschlossenheit.42*.45+ Soziale Kompetenz

10 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Eingangseinstellungen, angestrebter Lernzuwachs und derzeitiger Kenntnisstand Need for cognition Simpli- cissimus Theorie- orientierung Welt- offenheit Intrins. Motivation Kompetenzfelder (2) Erzieher -.60* (3) Experte -.52* (7) in einem Schulteam -.45* (9) europ. Unterrichtssystem.56* Kenntnisstand – Heimat Politisches System -.49* Lehrerausbildung.48*.41+ Kenntnisstand – europ. Länder Politisches System -.41+ Bildungspolit. Diskussionen.42+ Hochschulstruktur.53* Lehrerausbildung.58* Struktur des Schulsystems.51*

11 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Bereitschaft der Teilnehmer, Zeit in die Evaluation zu investieren

12 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Eingangsvorausetzungen aus Sicht der Mentoren sichere Sprachkenntnisse (8) sichere Sprachkenntnisse (8) Neugierde, Offenheit für neue Erfahrungen (7) Neugierde, Offenheit für neue Erfahrungen (7) Flexibilität (5) Flexibilität (5) fachliche Kompetenz, Selbstbewußtsein durch eigene Unterrichtserfahrungen (4) fachliche Kompetenz, Selbstbewußtsein durch eigene Unterrichtserfahrungen (4) Soziale Kompetenz / Kooperationsfähigkeit (3) Soziale Kompetenz / Kooperationsfähigkeit (3) Weltoffenheit, Eigenständigkeit (2) Weltoffenheit, Eigenständigkeit (2) Lebenserfahrung, Vorstellung von angemessenen Schüleranforderungen, Anpassungsfähigkeit, Reflexionsfähigkeit, Studierfähigkeit (1) Lebenserfahrung, Vorstellung von angemessenen Schüleranforderungen, Anpassungsfähigkeit, Reflexionsfähigkeit, Studierfähigkeit (1)

13 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Fremdsprachenkenntnisse der Mentoren

14 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Kenntnisstand bezogen auf das Heimatland vor und nach dem Austausch (Kenntnisstand gesamt: 3.03 vs. 3.23; t=-1,71; p=.10)

15 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Kenntnisstand bezogen auf andere europäische Länder vor und nach dem Austausch (Kenntnisstand gesamt: 2.19 vs. 2.76; t=-5.4; p<.001)

16 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Erweiterung des Kenntnisstands bezogen auf andere europäische Länder – Mentorenurteil (in %)

17 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Wahrgenommene Veränderung in Persönlichkeitsmerkmalen

18 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Wahrgenommene Veränderung in Persönlichkeitsmerkmalen

19 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Veränderung in Persönlichkeitsmerkmalen – Selbst- und Fremdurteil

20 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Veränderung in Persönlichkeitsmerkmalen – Selbst- und Fremdurteil

21 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Veränderung in Persönlichkeitsmerkmalen – Selbst- und Fremdurteil

22 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Veränderung in Persönlichkeitsmerkmalen (Differenz vorher-nachher)

23 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Wahrgenommene Veränderungen in der Fremdsprachkompetenz

24 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Veränderungen in der Fremdsprachkompetenz vorher-nachher (keine signifikanten Veränderungen)

25 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Angestrebte Erweiterung der Perspektive auf 10 Kompetenzfeldern

26 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Wahrgenommene Erweiterung der Perspektive in 10 Kompetenzfeldern

27 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Relevanz der Kompetenzfelder aus Sicht der Mentoren

28 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Korrelationen zwischen angestrebtem (Zeilen) und wahrgenommenem (Spalten) Kompetenzzuwachs 12345678910 (1) Lernbegleiter -.13 ns.39+.43+ (2) Erzieher.69*.68*.43*.45*.45*.63*.38+ (3) Experte.43+.47*.42+.39+ (4) Organisator.45+.11 ns (5) Innovator.58*.48*.49*.78*.68*.37+ (6) Partner d. Eltern.42+.46* -.04 ns.51* (7) in einem Schulteam.02 ns (8) von externen Organisationen.46+.40*.39+.17 ns (9) eines europ. Unterrichtssystems -.40+.20 ns (10) in einem Kulturkreis -.10 ns.

29 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Korrelationen zwischen Einstellungen und Kompetenzzuwachs (10 Lernfelder, Sprachkompetenz) Need for cognition Simpli- cissimus Theorie- orientierung Welt- offenheit Intrins. Motivation (1) Lernbegleiter.54*.45+ (2) Erzieher.46* (3) Experte (4) Organisator.42+ (5) Innovator.54* (6) Partner d. Eltern (7) in einem Schulteam.39+ (8) von externen Organisationen.45*-.55* (9) eines europ. Unterrichtssystems.64* (10) in einem Kulturkreis.51* Fähigkeit, sich in Wort & Schrift auszudrücken.43+ Fähigkeit, Texte zu verstehen.44+

30 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Strategien zur Erweiterung des eigenen kulturbezogenen Wissens

31 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Wahrgenommene Veränderungen in den Strategien zur Erweiterung des eigenen Wissensstandes

32 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Fazit I: Wer nimmt an Includeme teil? Teilnehmer beschreiben sich als weltoffen, neugierig auf intellektuelle Herausforderungen, finden Theorie und Praxis wichtig, sind intrinsisch motiviert; Diese Persönlichkeitsmerkmale hängen systematisch mit Selbsteinschätzungen, angestrebtem Lernzuwachs und Eingangswissen. Wissen über Includeme..... Keine differentiellen Voraussetzungen bei Teilnehmern unterschiedlichen Geschlechts oder Alters Substantieller Teil der Mentoren spricht fließend englisch, gut deutsch, wenige Spanisch oder andere Sprachen (Italienisch, Kroatisch, Russisch) Mentoren finden insbesondere klassische Kompetenzfelder (Lernbegleiter, Erzieher, Experte, Organisator....) wichtig

33 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Fazit II: Wirkt Includeme? In der Retrospektive signifikante Veränderungen in Persönlichkeitsmerkmalen (insbesondere Flexibilität, Weltoffenheit, Beziehungsfähigkeit, Weltoffenheit) sowie deutlicher Zuwachs in Fremdsprachenkompetenzen (insbesondere Textverstehen) Mentoren attestieren den Teilnehmern Veränderungen in 14 Eigenschaften, insbesondere in denen, in denen auch Teilnehmer Veränderung wahrnehmen (Aufgeschlossenheit, Flexibilität, Eigenständigkeit, Weltoffenheit....) Veränderungen von t1 zu t2 im Wissen (vs. Kenntnisse über andere Länder), aber nicht in Fremdsprachenkomptenzen und Einstellungen

34 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Fazit II: Wirkt Includeme? Durchschnittlich wahrgenommene Veränderung in 10 Kompetenzfeldern korrespondiert mit der Prioritätensetzung zu t1, Korrelationen deuten jedoch darauf hin, dass vor allem solche Teilnehmer (durchgängigen) Lernzuwachs wahrnehmen, die lernen wollen, wie man als Erzieher und Innovator agiert. Wahrgenommener Lernzuwachs (Komptenzfelder, Fremdsprachen) ist höher bei Teilnehmer mit ausgeprägtem need for cognition Strategien zur Erweiterung des eigenen Wissens haben sich insofern verändert, als man stärker den persönlichen Kontakt zu ausländischen Personen / Mitbürgern sucht.

35 Präsentation auf dem 6. Koordinationstreffen in Kiel, 2006 Fazit der Mentoren generelles Problem: generelles Problem: Viele erleben Teilnehmer nur sporadisch in 2-3 Wochen und können so keine Einschätzung abgeben Viele erleben Teilnehmer nur sporadisch in 2-3 Wochen und können so keine Einschätzung abgeben Viele sind sich unsicher in ihrer Rolle, wissen nicht was von ihnen erwartet wird (keine Abstimmung mit Mentor im Vorfeld). Viele sind sich unsicher in ihrer Rolle, wissen nicht was von ihnen erwartet wird (keine Abstimmung mit Mentor im Vorfeld). Vorteile: Vorteile: wertvolle interessante Erfahrung, regt zur Reflexion des eigenen Arbeitsalltags an, alle lernen andere Schulsysteme und Länder / Kulturen kennen wertvolle interessante Erfahrung, regt zur Reflexion des eigenen Arbeitsalltags an, alle lernen andere Schulsysteme und Länder / Kulturen kennen Junge Menschen werden auf Länder aufmerksam, die nicht im touristist. Interesse liegen Junge Menschen werden auf Länder aufmerksam, die nicht im touristist. Interesse liegen Schüler erleben Abwechslung im Unterricht Schüler erleben Abwechslung im Unterricht Probleme: Probleme: Mangelnde Kompabilität der Systeme erzeugt hohen Druck für Teilnehmer, Versagensangst Mangelnde Kompabilität der Systeme erzeugt hohen Druck für Teilnehmer, Versagensangst Mangelnde Vorbereitung der Auslandspartner Mangelnde Vorbereitung der Auslandspartner Aufnehmende Schulen müssen frühzeitiger in die Planung einbezogen werden Aufnehmende Schulen müssen frühzeitiger in die Planung einbezogen werden Sprachbarriere vor allem bei Unterrichtsgestaltung (Fachvokabular) Sprachbarriere vor allem bei Unterrichtsgestaltung (Fachvokabular) Strukturelle Probleme (GHR-Studierende unterrichten Jugendliche Strukturelle Probleme (GHR-Studierende unterrichten Jugendliche Mentoren-Austausch sinnvoll(er), da Anforderungen an die angehenden Lehrkräfte zu unterschiedlich Mentoren-Austausch sinnvoll(er), da Anforderungen an die angehenden Lehrkräfte zu unterschiedlich