Wirkungsorientierung und Evaluation als Instrument zur verbesserten Planung von Programmen in der deutschen Entwicklungszusammenarbeit DEval | 18. DeGEval Jahrestagung, Speyer 18. September 2015 Miriam Amine

Inhalte Hintergrund und Vorstellung des Engagements von DEval in Myanmar mit dem Ziel der Schaffung von Voraussetzungen zur Wirkungsmessung im Rahmen der Wiederaufnahme der deutsch-myanmarischen bilateralen EZ‘ Herangehensweise, Überblick der DEval Aktivitäten Herausforderungen und Lessons Learnt 18/09/2015

Nachhaltige Wirtschaftsentwickung in Myanmar Demokratisierungs- und Reformprozess in Myanmar seit 2011 unter neuer ziviler Regierung Nachdem erste ernsthafte Reformen zu verzeichnen waren, wurden zahlreiche Wirtschaftssanktionen westlicher Regierungen aufgehoben Offizielle Wiederaufnahme der staatlichen bilateralen EZ mit Deutschland in 2012 mit dem Schwerpunkt Nachhaltige Wirtschaftsentwicklung (ein Programm bestehend aus 7 Projekten, Gesamtvolumen von ca. EUR 47 Mio.) Einzigartige Möglichkeit Erfahrungen aus der Vergangenheit mit aufzunehmen und von Beginn Wirkungsorientierung zu legen DEval Mandat: Schaffung von Voraussetzungen für eine Wirkungsevaluierung auf Programmebene 18/09/2015

DEval ‚Mission‘ „Evaluative thinking“ bereits in der Projektplanung („up-front activities“) Wirkungsorientierung Bedingungen für „back-end“ Wirkungsevaluierung Evaluierbare Projektdesigns: Wirkungsmodelle Baseline M&E-System Wirkungsevaluierung 18/09/2015

Aktivitäten Wirkungsorientierte Programmkonzeption über die Entwicklung von Wirkungsmodellen (Theories of Change) Entwicklung von Indikatoren für alle Wirkungsfelder Konzept für Baseline Studie Entwicklung der Erhebungsinstrumente Durchführung der Baseline Studie Entwicklung eines wirkungsorientierten M&E-System auf Basis der Wirkungsmodelle (Paneldaten und Hauptfragen für Zwischenevaluierung) Wirkungsevaluierung 18/09/2015

Entwicklung von Wirkungsmodellen auf Modul- und Programmebene Programmziel ? ? ? ? Modul 2 (TZ, GIZ): Privatsektor-entwicklung (PSD) Modul 4 (FZ, KfW): Infrastruktur in der Berufsbildung (TVET) Modul 5 (FZ, KfW): Förderung von lokalen Banken (FSD) Modul 1 (TZ, GIZ): Kapazitätsstärkung und Reform des Berufsbildungsbereichs (TVET) Modul 3 (TZ, GIZ): Finanzsektor-entwicklung (FSD) Modul 6 (TZ, PTB): Aufbau und Entwicklung einer Qualitätsinfrastruktur Modul 7 (TZ, BGR): Nachhaltige Entwicklung des Rohstoffsektors 18/09/2015

Übergeordnetes Wirkungsgefüge Income generation Increased employment Economic performance and competitiveness of SME strengthened Economic performance and competitiveness of enterprises strengthened Stable and functioning banking sector Economic reforms ensure SME friendly business environment Banks use financial services from banks SME use governmental and non-governmental business development services TVET system ensures appropriate supply of graduates to the economy (incl. SME) Banks provide demand-oriented and profitable financial services to SME TVET-Project PSD-Project FSD-Project 18/09/2015

Baseline: Konzept und Funktionen Baseline und Monitoringdaten dienen als Grundlage für ein wirkungsorientiertes M&E System Erfassung Ausgangssituation der Module und des Programms als Ganzes, so dass spätere Veränderungen relativ zur Ausgangssituation untersucht werden können Erste Überlegungen zu Evaluierungsdesigns für verschiedene Interventionen Screening existierender Daten Darauffolgend Entwicklung und Einsatz verschiedener quantitativer und qualitativer Methoden zur Datengewinnung  Abhängig von den Interventionsebenen (System/Meso/Mikro) und Zielgruppen der Projekte 18/09/2015

Überblick der geplanten Datenerhebungen 18/09/2015

Probleme und Herausforderungen Programm ist nicht zu einem Zeitpunkt geplant worden, sondern über fast drei Jahre in verschiedenen Konsultationsrunden mit den Partnern immer wieder verändert und erweitert worden; gemeinsame Programmplanung und Zielsetzung daher nur begrenzt möglich Programmübergreifendes, einheitliches Monitoringsystem Planung und Durchführung von Baselineerhebungen in einem neuen Partnerland bergen auch viel nicht Vorhersehbares: z.B.: durch noch fehlendes Rahmenabkommen für EZ, logistische Probleme, unbekannte Partner und Prozesse, die eine flexible Planungsphase erfordern  Verzögerung der endgültigen Modul- und Programmplanung und somit der Datenerhebung 18/09/2015

Weitere Lessons Learnt Enge Zusammenarbeit von Evaluatoren und Durchführern im Planungsprozess verbessert das Verständnis füreinander Planende und Durchführende lernen durch die Zusammenarbeit und den Austausch mehr über den Umgang mit und den Einsatz von Evaluierung und Evaluierungsmethoden als Steuerungsinstrument Nur die frühzeitige Auseinandersetzung mit Evaluierung und möglichen Evaluierungsfragen ermöglicht die gezielte Datenerhebung und Anwendung von bestmöglichen Evaluierungsdesigns und steigert somit die Nützlichkeit von Evaluierungen Evaluatoren lernen mehr über die Abläufe und Prozess in der Planung von Vorhaben im Partnerland 18/09/2015

Vielen Dank für Ihre Aufmerksamkeit! www.DEval.org