Workshop Evaluation in der auswärtigen Kulturpolitik 23. Juni 2006 am Centrum für Evaluation der Universität des Saarlandes Evaluation von internationalen Austauschprogrammen – Erfahrungen aus der Praxis

2 Was ist das ZEM? Zentrum für Evaluation und Methoden 1999 an der Rheinischen Friedrich-Wilhelms-Universität Bonn gegründet Arbeitsauftrag des ZEM (Auftrags-)Forschung und Kompetenzvermittlung in Bezug auf Qualitätssicherung & Evaluation in verschiedenen Anwendungsgebieten mit Schwerpunkt Bildung Statistische Methoden Umfragen

3 Ablauf des Vortrages Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme Was ist so besonders an der Evaluation internationaler Austauschprogramme? Interessen der verschiedenen Stakeholder Organisation und Zielvorgaben Was soll überhaupt geprüft werden? Die Zielexplikation Verschiedene Programmziele der Stakeholder Methodenempfehlungen Wie kann das geprüft werden? Der Wirksamkeitsnachweis Verschiedene Ansätze für den Wirksamkeitsnachweis

4 Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme Onlinegestützte Befragungen in verschiedenen Organisationen Goethe Institut Besucherreisen (bis 2005 Paper-Pencil) InWEnt gGmbH Amerikaprogramme Japan Programm/ Programm in der Region Asien/Pazifik Heinz Nixdorf Programm Vorbereitungsstätte für Entwicklungszusammenarbeit (V-EZ) Deutscher Entwicklungsdienst (DED)

5 Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - die Stakeholder OrganisatorenGeldgeber Leistungs- empfänger Auswärtiges Amt Bundesministerium für wirtschaftl. Zusammen- arbeit und Entwicklung Goethe Institut InWEnt gGmbH DED Journalisten, Meinungsträger Schüler/Studenten Arbeitnehmer

6 Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - Organisation & Zielvorgaben Rechtfertigungszwang der Organisatoren gegenüber dem Geldgeber Auftraggeber der Evaluation sind die Organisatoren, Adressat der Geldgeber Kontakte zwischen Evaluator und Geldgeber nur selten möglich Wenig Erfahrungen mit Evaluationen und ihren Aussagemöglichkeiten bei den Organisatoren Schwierigkeiten bei der präzisen Formulierung der unterschiedlichen Ziele: z.B. Abbildung von Berufsbiographien z.B. Abbildung des Nutzens von Auslandsaufenthalten für spätere Arbeitgeber Schwierigkeiten bei der Operationalisierung der Ziele Frageformulierung Filterführung Konkurrenz durch Inhouse-Programme

7 Was soll überhaupt geprüft werden? Empfehlungen zur Zielexplikation Berücksichtigung der Ziele aller Stakeholder Wenn möglich: Interviews, Gruppendiskussionen mit allen Teilnehmern Analyse verwandter Literaturbereiche (Auslandsentsendung) Analyse von Programmunterlagen, Flyern Analyse von Politikerklärungen des Geldgebers Analyse von Zwischen- und Abschlussberichten der Teilnehmer Konfrontation und Diskussion der verschiedenen Ziele mit dem Auftraggeber, Zielranking Bei regelmäßigen Evaluationen: Aktualisierung der Ziele

8 Was soll überhaupt geprüft werden? Die Ziele der Geldgeber Organisatoren Geldgeber Leistungs- empfänger Vermittlung eines positiven, modernen Deutschlandbildes durch Besuche in Deutschland durch Berichte und Auftreten im Ausland

9 Was soll überhaupt geprüft werden? Zusätzliche Ziele der Organisatoren Organisatoren Geldgeber Leistungs- empfänger Vermittlung konkreter Unterstützung/ Informationen Auslandserfahrung Berufserfahrung Sprachförderung

10 Was soll überhaupt geprüft werden? Zusätzliche Ziele der Leistungsempfänger OrganisatorenGeldgeber Leistungs- empfänger Persönlichkeits- entwicklung Abenteuer

11 Der Wirksamkeitsnachweis - Ziele der Geldgeber und Operationalisierungsmöglichkeiten Vermittlung eines positiven Deutschlandbildes Beitrag des Aufenthaltes zur Veränderung des Deutschlandbildes bzw. des Gastlandbildes einschätzen Kontakte zur einheimischen Bevölkerung während des Aufenthaltes und Aufrechterhaltung der Kontakte Kontakte zu Angehörigen anderer Nationalitäten während des Aufenthaltes und danach

12 Ein Beispiel Vorstellung von Deutschland 2003weitgehend bestätigt12044,6% revidiert14955,4% 2004weitgehend bestätigt4039,6% revidiert6160,4% 2005/2006 Umstellung auf Onlinebefragung: Wenn revidiert Hat sich Ihr Deutschlandbild verbessert vs. verschlechtert? In welchen Aspekten hat sich Ihr Deutschlandbild verändert? Was gefällt Ihnen besser, was weniger gut?

13 Der Wirksamkeitsnachweis - Ziele der Organisatoren und Operationalisierungsmöglichkeiten Berufserfahrung, Auslandserfahrung, Sprachliche Entwicklung Berufsbiographien: wer ist der Arbeitgeber, Internationalität der Aufgabe sowie des Arbeitgebers, Führungsebene, Einfluss des Aufenthaltes auf weitere Beschäftigung Weiterbildung in Folge des Aufenthaltes, Nutzung der Auslandserfahrung durch den Arbeitgeber Einschätzung der eigenen Sprachkenntnisse, Berichte über Nutzung der Sprachkenntnisse im Beruf Vermittlung konkreter Unterstützung/Informationen Zufriedenheit mit Gesprächspartnern, Kontakten, Infomaterialien Einschätzung des Nutzens der Informationen für die eigene Arbeit

14 Ein Beispiel Inwiefern hat Ihr Praktikum Ihre Position am Arbeitsmarkt verändert?

15 Ein Beispiel War die berufliche Position, die Sie nach dem Aufenthalt eingenommen haben, im Vergleich zu vorher eine......

16 Ein Beispiel Berufliche Verwertbarkeit der Ergebnisse der Reise 2003Ja26997,1% Nein10,4% Weiß noch nicht72,5% 2004Ja10095,2% Nein21,9% Weiß noch nicht32,9%

17 Der Wirksamkeitsnachweis - Ziele der Leistungs- empfänger und Operationalisierungsmöglichkeiten Persönlichkeitsentwicklung, Abenteuer Selbsteinschätzungen in Bezug auf die Verbesserung bei verschiedenen Eigenschaften, Kompetenzen, Soft Skills Berichte über Erfahrungen, die nur im Ausland gemacht werden können, Selbstberichte über die besonderen Erfahrungen während des Aufenthaltes Analyse offener Aussagen

18 Ein Beispiel Durch den Aufenthalt haben sich die folgenden Kenntnisse/Fähigkeiten positiv entwickelt:

19 Ein Beispiel Dies gibt mir großes Selbstbewusstsein. Dass ich alles Organisatorische etc geschafft und eine neue Kultur erfahren und erschlossen habe (in allen Bereichen des Lebens inkl. Arbeit, Alltag, Freundschaften). Ich versuche mich selbstständig zu machen und diesen Mut hatte ich vorher nicht. Durch internationale Kontakte habe ich eigene Werte und Charakterzüge neu überprüft. Internationale Entwicklungsprogramme (beruflich, privat) sind wohl eine der wichtigsten Investitionen in junge Menschen. Die Chancen sich weiterzuentwickeln (beruflich, menschlich) werden fast immer wahrgenommen. Für mich war diese Zeit die beste Zeit meines Lebens. Ohne dieses Programm wäre ich nicht dort, wo ich heute bin.

20 Der Wirksamkeitsnachweis – eine neue Methode? Entwicklung von Eigenschaften und Kompetenzen im Verlauf von Auslandsaufenthalten Quasilängsschnittliches Design: Unterteilung des Auslandsaufenthaltes in drei Gruppen Befragung aller Gruppen zu zwei Zeitpunkten Gruppe 1: vor der Entsendung und zu Beginn des Aufenthaltes Gruppe 2: während der Entsendung Gruppe 3: am Ende der Entsendung und nach der Rückkehr ins Heimatland Erfassung der Entwicklungen innerhalb der Gruppen Identifikation der Einflüsse verschiedener Auswahl-, Vorbereitungs- und Betreuungsmöglichkeiten auf die Ausprägung von Kompetenzen und Eigenschaften

21 Herzlichen Dank für Ihre Aufmerksamkeit! Prof. Dr. Georg Rudinger Zentrum für Evaluation und Methoden Rheinische Friedrich-Wilhelms-Universität Bonn Bonner Talweg Bonn Tel: