Methodische Erfahrungen mit einer Online- Tracer-Studie im Berufsbildungsbereich Dieter Zürcher, Katharina Walker, KEK-CDC Consultants 9. September 2010.

Präsentation zum Thema: "Methodische Erfahrungen mit einer Online- Tracer-Studie im Berufsbildungsbereich Dieter Zürcher, Katharina Walker, KEK-CDC Consultants 9. September 2010."—  Präsentation transkript:

1 Methodische Erfahrungen mit einer Online- Tracer-Studie im Berufsbildungsbereich Dieter Zürcher, Katharina Walker, KEK-CDC Consultants 9. September 2010 Final Evaluation of the vocational education programme in the ICT sector of Usbekistan

2 Inhalt 1.GTZ-Vorhaben und Schlussevaluation 2.Ausgangslage der Daten 3.Evaluationsdesign der Tracer-Studie 4.Illustration der Online-Befragung 5.Herausforderungen 6.Zwischenfazit 2

3 GTZ-Vorhaben und Schlussevaluierung Berufliche Ausbildung im Bereich ICT Projektdauer: 2002 – 2010 13 Mio. EUR Projektkosten (GTZ und KfW) 32 Berufscolleges Drei Vertiefungsrichtungen: Elektronik, Programmierung, Business Unterstützung des Zentrums für Fachschul- und Berufsbildung Zusammenarbeit mit der Privatwirtschaft Schlussevaluation durch KEK-CDC Consultants Klassische Evaluation mit Einbezug einer Tracer-Studie 3 A graduate tracer study tracks down a group of graduated trainees who have participated in VET programmes in specific trades and explores their current and past employment activities (HELVETAS, Tracer Studies for Vocational Education and Training Programmes – a Practical Tool Kit)

4 Ausgangslage der Daten 1. Tracer-Studie der Jahrgänge 2007 und 2008 Absolventen- und Firmenbefragung Schriftliche, persönliche und telefonische Befragung Diese bestätigen gute Erreichung der Projektziele 2.Monitoring Befragung der Lehrkräfte, Schüler und Unternehmen in den Jahren 2006 und 2007 4 4) Rabotaete li Vi v danniy moment? da (dalee vopros 5) 216 (70,82%) net (dalee vopros 13 ) 89 (29,18%) ____________ ______________ Summe 305 ohne Antwort 0 70.82% der antwortenden Absolventen von 2008 arbeiten 1 Jahr nach der Graduierung

5 Evaluationsdesign - Begründung der Befragungsmethodik (1) 5 2010 Neue Befragungsmethodik Begründung Online-Tracer-Studie 1.Kosten-Nutzen-Überlegungen Tracer-Studien 2007/08: 70 resp. 90 Arbeitstage für Befragung und Auswertung: Effektiver Aufwand bedeutend höher 2.ICT-Ausbildung Schriftliche, persönliche und telefonische Befragung Online- Befragung, schriftliche Befragung

6 AprilMaiJuniJuliAugustSeptemberOktober Evaluationsdesign der Tracer-Studie (2) 6 Tracing der Absolventen Analyse Datenlage, Machbarkeit Vorbereitung Evaluation Berufscolleges suchen Kontaktdaten von Absolventen Auswer- tung früherer Tracer- Studien Überprüfen der Ergebnisse der Online-Befra- gung, schriftliche Befragung Vormission Online-Befragung Sekundäranalyse Evaluation Handels- kammer, lokaler Evaluator Erarbeitung Fragebogen, Übersetzung Kontakt Firmen

7 Evaluationsdesign der Tracer-Studie (3) 1.Onlinebefragung der Absolventen und Firmen in Russisch und Usbekisch Absolventen, die z.Z. in Beruf arbeiten Firmen (CEO und ICT-Spezialist) 2. Ausweitung der Tracer-Studie an drei ausgewählten Berufscolleges Im Rahmen der Evaluierungsmission Schriftliche Befragung in Rahmen von Alumni-Events 3. Sekundäranalyse der Tracer Studies von 2007/8 Nach Geschlecht Nach Vertiefungsrichtung Nach geografischer Lage (urban vs. ruraler Kontext) 7

8 Illustration der Online-Befragung (1) 8 E-Mail mit Hyperlink zum Online-Fragebogen

9 Illustration der Online-Befragung (2) 9 Online-Fragebogen

10 Illustration der Online-Befragung (3) 10 Auswertung des Online-Fragebogens

11 Herausforderungen 11 1.Tracing der Absolventen Zeitaufwändig Unvollständige Listen Kein Besitz von E-Mail-Adressen 2. E-Mail-Adressen der Firmen Persönlicher Kontakt Skepsis gegenüber Befragungen Anzahl E-Mail- Adressen Anzahl Funktionierende E-Mail-Adressen Fehlerquote E- Mail-Adressen Rücklauf (Stand 07.09.10) Absolventen51334133.5%25.5% Firmen31624821.5%10.5%

12 Zwischenfazit Befragungsmethodik der Online-Befragung: In der Schweiz weit verbreitet, in Usbekistan kaum bekannt Tracing der Absolventen: Schulleitern vor Ort den Nutzen einer Tracer-Studie erklären Befragung der Absolventen: Anreiz dank Sackmesser Schlussfolgerung: Verfälschung der Ergebnisse Repräsentativität / Generalisierbarkeit: Online- Befragung mit schriftlicher Befragung vor Ort ergänzen 12

13 13 VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!