Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003 Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003

Aufbau des Vortrags 1. Mangel an Wirkungsanalysen 2. Funktionen von Evaluationen 3. Zielproblematik in der Entwicklungsforschung 4. Methodologische Paradigmen 5. Untersuchungsdesigns für die Evaluation von Wirkungen 6. Evaluationskonzeption: theoretisches Grundmodell 7. Methodische Konzeption 8. Erfahrungen mit der Evaluationskonzeption Prof. Dr. Stockmann, 12. Juni 2003 2

Funktionen von Evaluationen Erkenntnisfunktion Kontrollfunktion Dialogfunktion Legitimitätsfunktion Prof. Dr. Stockmann, 12. Juni 2003 3

Zielmodell der Evaluationsforschung Vorgehen: 1. Programmziele ermitteln 2. Ziele in messbare Indikatoren der Zielerreichung übersetzen 3. Daten sammeln 4. Daten mit Zielkriterien vergleichen Prof. Dr. Stockmann, 12. Juni 2003 4

Probleme des Zielmodells 1. Verschwommene Formulierungen 2. Kluft zwischen offiziellen und tatsächlichen Zielen 3. Veränderungen im Zeitverlauf 4. Unterschiedliche Ziele der Akteure 5. Vernachlässigung nicht-intendierter Effekte Prof. Dr. Stockmann, 12. Juni 2003 5

Dualität der Evaluationsforschung Teil des politischen Prozesses und Teil der empirischen Sozialforschung Prof. Dr. Stockmann, 12. Juni 2003 6

Methodologisches Kontinuum Methodologischer Rigorismus Experimentelle Designs Handlungs- und Aktionsforschung Emanzipatorisches Paradigma Prof. Dr. Stockmann, 12. Juni 2003 7

Konsequenzen aus dem handlungstheoretischen Paradigma Nicht Falsifikation – sondern Ermittlung von Handlungsalternativen zur Lösung von Problemen Trennung zwischen Evaluatoren und Evaluierten wird aufgehoben Nicht Forschungsfragen – sondern Informationsbedarfe der Zielgruppen im Vordergrund Nicht Wertneutralität – sondern Wertungen Gütekriterien nicht primär Validität, Reliabilität und Objektivität – sondern Kommunikation, Intervention, Relevanz. Prof. Dr. Stockmann, 12. Juni 2003 8

Zwei Hauptprobleme von Wirkungsevaluationen Entdeckung und Messung von Wirkungen Identifikation von Kausalzusammenhängen Prof. Dr. Stockmann, 12. Juni 2003 9

Typische Forschungsdesigns für Wirkungsanalysen Auswahl der Untersuchungs-einheit Art der Kontrollgruppe Daten-erhebungs-zeitpunkt I. Experimente und Feldexperimente Randomisierung durch Forscher Randomisierte und stat. Kontrollen Zumeist vorher / nachher od. mehrere Messungen II.Quasi-Experimente Unkontrollierte Auswahl Konstruierte u/o stat. Kontrollen III. Pretest-Posttest Unters. Reflexive Kontrollen Vorher/Nachher Messung IV. Retrospektive Vor-/Nachher Unt. Retrospektive reflexive Kontrollen Nachher Mess. mit retrospektven Mess. V. Panel Untersuchungen Mehr als zwei Mess. während Intervention VI. Zeitreihen-analysen Viele Mess. vor und nach der Intervention VII. Querschnitts- analysen Statistische Kontrollen Nachher Messungen VIII. Gutachten-modell Generische u/o Schattenkontrollen Prof. Dr. Stockmann, 12. Juni 2003 10

Probleme experimenteller Designs 1. Zahl einzubeziehender, erklärender Faktoren unvollständig 2. Forschereinfluß (Interaktion) 3. Selbstselektion 4. Verzerrungen bei Messwiederholungen Prof. Dr. Stockmann, 12. Juni 2003 11

Prinzipielle Bedenken gegen experimentelle Designs 1. Analyse komplexer Phänomene nicht angemessen 2. Für die Erfassung von Wandel und Entwicklung nicht geeignet: ahistorisch 3. Dominante Orientierung an interner Validität 4. Professionelle Ethik und geltendes Recht Prof. Dr. Stockmann, 12. Juni 2003 12

Phasen der Projektdurchführung Wirkung/ Nachhaltigkeit Lebensverlaufsmodell Legende: t tF tNF = Zeitpunkt = Förderende = Nach-Förderende Zeitachse tF t1 t2 t3 t4 t5a - t5n t6 tNF Projekt- antrag Projekt- prüfung Angebot Auftrag Phasen der Projektdurchführung Projekt- überleitung Nach- betreuung Förder- ende Projekt- stand nach 3-5 J. Phasen Nach-Förderphase Förderphase Implementation Planung Wirkung/ Nachhaltigkeit Prof. Dr. Stockmann, 12. Juni 2003 13

Wirkungsmodell Umwelt Träger Projekt Bildungs-/ Ausbildungs- system Beschäftigungs- system Träger Organisations- struktur Politisches System Rechts- system Ziele Projekt Mitarbeiter Finanzielle Ressourcen Technologie Soziokulturelles System Untersuchungsgegenstand Prof. Dr. Stockmann, 12. Juni 2003 14

Diffusionsmodell Externe Variablen: Umweltfaktoren - Politisches System - Normen u. Werte - Arbeitsmarkt (Nachfrage) - Bildungs- u. Ausbildungs- system (Anbieter) - u.a. Diffusion: Verbreitung einer Innovation Spezifische Eigenschaften der Innovation - Relative Vorteilhaftigkeit - Vereinbarkeit - Komplexität - Erprobbarkeit - Beobachtbarkeit - Ausreifungsgrad Interne Variablen Organisations- elemente - Ziele - Mitarbeiter - Formelle Struktur - Technologie - Finanzielle Ressourcen Prof. Dr. Stockmann, 12. Juni 2003 15

Nachhaltigkeitdefinition Interne Nachhaltigkeit ist dann gegeben, wenn problemadäquate Strukturen aufgebaut wurden und die eigenständige Problemlösungskapazität so gesteigert werden konnte, daß eine permanente Anpassung an sich verändernde Umweltbedingungen stattfindet Externe Nachhaltigkeit ist dann gegeben, wenn über die unmittelbar betroffene Zielgruppe bzw. Partnerorganisation hinaus Diffusionswirkungen auch in anderen (externen) Umweltbereichen entstanden sind, die insgesamt zu verbesserten Problemlösungen geführt haben. Prof. Dr. Stockmann, 12. Juni 2003 16

Maßnahmen, um die Validität und Reliabilität der Ergebnisse zu erhöhen 1. Entwickelte theoretische Konzeption erleichtert die Überprüfung von Zusammenhängen und das Ausschließen von Störvariablen. 2. Verwendung mehrerer Datenerhebungsmethoden sichert die Befunde ab. 3. Kontrollgruppen erlauben Vergleiche zu Interventionsgruppen. 4. Komparative Analyse ermöglicht das Auffinden ähnlicher Entwicklungsmuster und Ursache-Wirkungszuschreibungen. Prof. Dr. Stockmann, 12. Juni 2003 17

Indikatoren Indikatoren zur Bewertung der Qualität des Interventionsprozesses 1. Qualität der Planung des Interventionsprozesses 2. Qualität der Steuerung des Implementationsprozesses 3. Qualität der Projektüberleitung (Vorbereitung des Förderendes) 4. Qualität der Nachbetreuung Indikatoren zur Bewertung der internen Nachhaltigkeit 1. Zielakzeptanz beim Führungspersonal des Projektträgers 2. Qualifikationsniveau des Trägerpersonals 3. Leistungsfähigkeit der Organisationsstruktur des Projektträgers 4. Finanzielle Leistungsfähigkeit des Projektträgers 5. Technische Ausstattungsqualität 6. Angepaßtheit der Förderkonzeption an Zielgruppen III. Indikatoren zur Bewertung der externen Nachhaltigkeit 1. Grad der Diffusion innerhalb der Zielgruppe 2. Grad der Diffusion innerhalb des Zielsystems 3. Grad der Diffusion außerhalb des Zielsystems Prof. Dr. Stockmann, 12. Juni 2003 18

Design und Erhebungsmethoden Lebenszyklusphasen Planungs- und Implementationsphase Wirkungsphase Design Retrospektive Zeitreihenanalyse Querschnittsanalyse vor Ort Datenerhebungs-methoden Dokumenten- und Aktenanalyse Retrospektive Intensivinterviews mit ehemaligen Projektbeteiligten Dokumentenanalyse Beobachtungen Intensivinterviews mit Experten Standardisierte Interviews mit den Ziel- und Kontrollgruppen Prof. Dr. Stockmann, 12. Juni 2003 19

Vielen Dank für Ihre Aufmerksamkeit Prof. Dr. Stockmann