Methodische Erfahrungen mit einer Online- Tracer-Studie im Berufsbildungsbereich Dieter Zürcher, Katharina Walker, KEK-CDC Consultants 9. September 2010 Final Evaluation of the vocational education programme in the ICT sector of Usbekistan

Inhalt 1.GTZ-Vorhaben und Schlussevaluation 2.Ausgangslage der Daten 3.Evaluationsdesign der Tracer-Studie 4.Illustration der Online-Befragung 5.Herausforderungen 6.Zwischenfazit 2

GTZ-Vorhaben und Schlussevaluierung Berufliche Ausbildung im Bereich ICT Projektdauer: 2002 – Mio. EUR Projektkosten (GTZ und KfW) 32 Berufscolleges Drei Vertiefungsrichtungen: Elektronik, Programmierung, Business Unterstützung des Zentrums für Fachschul- und Berufsbildung Zusammenarbeit mit der Privatwirtschaft Schlussevaluation durch KEK-CDC Consultants Klassische Evaluation mit Einbezug einer Tracer-Studie 3 A graduate tracer study tracks down a group of graduated trainees who have participated in VET programmes in specific trades and explores their current and past employment activities (HELVETAS, Tracer Studies for Vocational Education and Training Programmes – a Practical Tool Kit)

Ausgangslage der Daten 1. Tracer-Studie der Jahrgänge 2007 und 2008 Absolventen- und Firmenbefragung Schriftliche, persönliche und telefonische Befragung Diese bestätigen gute Erreichung der Projektziele 2.Monitoring Befragung der Lehrkräfte, Schüler und Unternehmen in den Jahren 2006 und ) Rabotaete li Vi v danniy moment? da (dalee vopros 5) 216 (70,82%) net (dalee vopros 13 ) 89 (29,18%) ____________ ______________ Summe 305 ohne Antwort % der antwortenden Absolventen von 2008 arbeiten 1 Jahr nach der Graduierung

Evaluationsdesign - Begründung der Befragungsmethodik (1) Neue Befragungsmethodik Begründung Online-Tracer-Studie 1.Kosten-Nutzen-Überlegungen Tracer-Studien 2007/08: 70 resp. 90 Arbeitstage für Befragung und Auswertung: Effektiver Aufwand bedeutend höher 2.ICT-Ausbildung Schriftliche, persönliche und telefonische Befragung Online- Befragung, schriftliche Befragung

AprilMaiJuniJuliAugustSeptemberOktober Evaluationsdesign der Tracer-Studie (2) 6 Tracing der Absolventen Analyse Datenlage, Machbarkeit Vorbereitung Evaluation Berufscolleges suchen Kontaktdaten von Absolventen Auswer- tung früherer Tracer- Studien Überprüfen der Ergebnisse der Online-Befra- gung, schriftliche Befragung Vormission Online-Befragung Sekundäranalyse Evaluation Handels- kammer, lokaler Evaluator Erarbeitung Fragebogen, Übersetzung Kontakt Firmen

Evaluationsdesign der Tracer-Studie (3) 1.Onlinebefragung der Absolventen und Firmen in Russisch und Usbekisch Absolventen, die z.Z. in Beruf arbeiten Firmen (CEO und ICT-Spezialist) 2. Ausweitung der Tracer-Studie an drei ausgewählten Berufscolleges Im Rahmen der Evaluierungsmission Schriftliche Befragung in Rahmen von Alumni-Events 3. Sekundäranalyse der Tracer Studies von 2007/8 Nach Geschlecht Nach Vertiefungsrichtung Nach geografischer Lage (urban vs. ruraler Kontext) 7

Illustration der Online-Befragung (1) 8 mit Hyperlink zum Online-Fragebogen

Illustration der Online-Befragung (2) 9 Online-Fragebogen

Illustration der Online-Befragung (3) 10 Auswertung des Online-Fragebogens

Herausforderungen 11 1.Tracing der Absolventen Zeitaufwändig Unvollständige Listen Kein Besitz von -Adressen 2. -Adressen der Firmen Persönlicher Kontakt Skepsis gegenüber Befragungen Anzahl - Adressen Anzahl Funktionierende -Adressen Fehlerquote E- Mail-Adressen Rücklauf (Stand ) Absolventen %25.5% Firmen %10.5%

Zwischenfazit Befragungsmethodik der Online-Befragung: In der Schweiz weit verbreitet, in Usbekistan kaum bekannt Tracing der Absolventen: Schulleitern vor Ort den Nutzen einer Tracer-Studie erklären Befragung der Absolventen: Anreiz dank Sackmesser Schlussfolgerung: Verfälschung der Ergebnisse Repräsentativität / Generalisierbarkeit: Online- Befragung mit schriftlicher Befragung vor Ort ergänzen 12

13 VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!