Nützlichkeit und Nutzung von Evaluationen in der Projektarbeit von World Vision Ergebnisse einer organisationsweiten Befragung Sophie Wannemacher (Ceval) und Thorsten Bär (World Vision) Salzburg, 23.09.2016

Gliederung 1. Hintergrund Nutzung von Evaluationsergebnissen Voraussetzung zur Nützlichkeit 2. Einfluss auf Organisationsentwicklung, - ziele und – strategien Einfluss auf Schaffung von Voraussetzungen für Lern- und Steuerungsprozesse

Hintergrund Meta-Evaluation alle zwei Jahre Vergleich der Ergebnisse der Dokumentenanalyse mit der Einschätzung der Mitarbeiter Internationale, organisationsweite Mitarbeiterbefragung (online) Fragen zur Nutzung und Nützlichkeit von Evaluationsergebnissen 130 Mitarbeiter aus verschiedenen Organisationsebenen die mit Evaluation in Berührung kommen, angeschrieben, 63 haben Fragebogen ausgefüllt

Nutzung der Evaluationsergebnisse Laut Mitarbeitern werden Evaluationen genutzt zur Verfassung der Child Well Being Reports Rechenschaftslegung gegenüber Spendern und Partnerschaften Sowohl laufende als auch neue Projekte zukünftig besser gestalten zu können Verbreitung in anderen NROs sowie ROs Motivation der Begünstigten  Sicherung der Nachhaltigkeit Zielgruppe CWBR?

Voraussetzung zur Nützlichkeit Wichtiger Aspekt für Nützlichkeit und Nutzung: Qualität Wichtigster Aspekt für Qualität laut WV Mitarbeitern: 1. Qualifikation des Evaluationsteams 2. Evaluationsdesign 3. Evaluationsinstrumente und -methoden Ranking aus verfügbare Zeit, Budget, Qualifikation des Eval Teams, Evaluationsdesign, Evaluationsinstrumente und –methoden: 45,1% Qualifikation; 42,6% Evaluationsdesign; 20% Instrumente und Methoden

Präferenzen Zwischen- oder Endevaluation Vermutung: mid term nützlicher weil Steuerung möglich, final können schlecht in andere Kontexte übertragen werden

Präferenzen interne oder externe Evaluation Mögliche Vorteile interner Evaluationen: Kenntnisse der World Vision Prozesse und Standards, vermindert Arbeitsaufwand und erhöht die Nützlichkeit der Ergebnisse.

Einfluss auf Organisationsentwicklung, - ziele und - strategien Wirkungsbericht, Meta-Evaluation und Umfrage regen Diskussion an und fördern Verständnis für Bedeutung von M&E Prozessen Länder- und Regionalbüros fragen Detailergebnisse der Meta-Evaluation an Einfluss auf Methodik Child Well Being Reports sowie PME Strategien; höhere Bedeutung von inception reports Was machen wir mit den Daten? Wie werden die Ergebnisse der Meta-Evaluation in der Organisation aufgenommen? Organisationsweite Wirkung der Dokumentenanalyse: zum Teil wird das BOND tool

Verankerung in hausinternen Prozessen ist aufwendig: Einfluss auf Schaffung von Voraussetzungen für Lern- und Steuerungsprozesse Verankerung in hausinternen Prozessen ist aufwendig: Vorlage zur Abfolge von Empfehlungen Checkliste für PME Prozesse Evaluationen mit BOND bewertet Themen werden nur von einzelnen Projektverantwortlichen kontinuierlich abgefolgt Herausforderung Partner und Kollegen vor Ort einzubeziehen Positiv: Bewusstsein für Thematik ist geschärft Lern- und Steuerungsprozesse innerhalb der Organisation zu verankern ist herausfordernd. Das höhere Bewusstsein der Bedeutung von PME-Prozessen bietet eine gute Voraussetzung, allerdings geht das Verständnis verloren.

Vielen Dank für Ihre Aufmerksamkeit!