Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003

Präsentation zum Thema: "Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003"—  Präsentation transkript:

1 Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003
Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003

2 Aufbau des Vortrags 1. Mangel an Wirkungsanalysen
2. Funktionen von Evaluationen 3. Zielproblematik in der Entwicklungsforschung 4. Methodologische Paradigmen 5. Untersuchungsdesigns für die Evaluation von Wirkungen 6. Evaluationskonzeption: theoretisches Grundmodell 7. Methodische Konzeption 8. Erfahrungen mit der Evaluationskonzeption Prof. Dr. Stockmann, 12. Juni

3 Funktionen von Evaluationen
Erkenntnisfunktion Kontrollfunktion Dialogfunktion Legitimitätsfunktion Prof. Dr. Stockmann, 12. Juni

4 Zielmodell der Evaluationsforschung
Vorgehen: 1. Programmziele ermitteln 2. Ziele in messbare Indikatoren der Zielerreichung übersetzen 3. Daten sammeln 4. Daten mit Zielkriterien vergleichen Prof. Dr. Stockmann, 12. Juni

5 Probleme des Zielmodells
1. Verschwommene Formulierungen 2. Kluft zwischen offiziellen und tatsächlichen Zielen 3. Veränderungen im Zeitverlauf 4. Unterschiedliche Ziele der Akteure 5. Vernachlässigung nicht-intendierter Effekte Prof. Dr. Stockmann, 12. Juni

6 Dualität der Evaluationsforschung
Teil des politischen Prozesses und Teil der empirischen Sozialforschung Prof. Dr. Stockmann, 12. Juni

7 Methodologisches Kontinuum
Methodologischer Rigorismus Experimentelle Designs Handlungs- und Aktionsforschung Emanzipatorisches Paradigma Prof. Dr. Stockmann, 12. Juni

8 Konsequenzen aus dem handlungstheoretischen Paradigma
Nicht Falsifikation – sondern Ermittlung von Handlungsalternativen zur Lösung von Problemen Trennung zwischen Evaluatoren und Evaluierten wird aufgehoben Nicht Forschungsfragen – sondern Informationsbedarfe der Zielgruppen im Vordergrund Nicht Wertneutralität – sondern Wertungen Gütekriterien nicht primär Validität, Reliabilität und Objektivität – sondern Kommunikation, Intervention, Relevanz. Prof. Dr. Stockmann, 12. Juni

9 Zwei Hauptprobleme von Wirkungsevaluationen
Entdeckung und Messung von Wirkungen Identifikation von Kausalzusammenhängen Prof. Dr. Stockmann, 12. Juni

10 Typische Forschungsdesigns für Wirkungsanalysen
Auswahl der Untersuchungs-einheit Art der Kontrollgruppe Daten-erhebungs-zeitpunkt I. Experimente und Feldexperimente Randomisierung durch Forscher Randomisierte und stat. Kontrollen Zumeist vorher / nachher od. mehrere Messungen II.Quasi-Experimente Unkontrollierte Auswahl Konstruierte u/o stat. Kontrollen III. Pretest-Posttest Unters. Reflexive Kontrollen Vorher/Nachher Messung IV. Retrospektive Vor-/Nachher Unt. Retrospektive reflexive Kontrollen Nachher Mess. mit retrospektven Mess. V. Panel Untersuchungen Mehr als zwei Mess. während Intervention VI. Zeitreihen-analysen Viele Mess. vor und nach der Intervention VII. Querschnitts- analysen Statistische Kontrollen Nachher Messungen VIII. Gutachten-modell Generische u/o Schattenkontrollen Prof. Dr. Stockmann, 12. Juni

11 Probleme experimenteller Designs
1. Zahl einzubeziehender, erklärender Faktoren unvollständig 2. Forschereinfluß (Interaktion) 3. Selbstselektion 4. Verzerrungen bei Messwiederholungen Prof. Dr. Stockmann, 12. Juni

12 Prinzipielle Bedenken gegen experimentelle Designs
1. Analyse komplexer Phänomene nicht angemessen 2. Für die Erfassung von Wandel und Entwicklung nicht geeignet: ahistorisch 3. Dominante Orientierung an interner Validität 4. Professionelle Ethik und geltendes Recht Prof. Dr. Stockmann, 12. Juni

13 Phasen der Projektdurchführung Wirkung/ Nachhaltigkeit
Lebensverlaufsmodell Legende: t tF tNF = Zeitpunkt = Förderende = Nach-Förderende Zeitachse tF t1 t2 t3 t4 t5a - t5n t6 tNF Projekt- antrag Projekt- prüfung Angebot Auftrag Phasen der Projektdurchführung Projekt- überleitung Nach- betreuung Förder- ende Projekt- stand nach 3-5 J. Phasen Nach-Förderphase Förderphase Implementation Planung Wirkung/ Nachhaltigkeit Prof. Dr. Stockmann, 12. Juni

14 Wirkungsmodell Umwelt Träger Projekt Bildungs-/ Ausbildungs- system
Beschäftigungs- system Träger Organisations- struktur Politisches System Rechts- system Ziele Projekt Mitarbeiter Finanzielle Ressourcen Technologie Soziokulturelles System Untersuchungsgegenstand Prof. Dr. Stockmann, 12. Juni

15 Diffusionsmodell Externe Variablen: Umweltfaktoren
- Politisches System - Normen u. Werte - Arbeitsmarkt (Nachfrage) - Bildungs- u. Ausbildungs- system (Anbieter) - u.a. Diffusion: Verbreitung einer Innovation Spezifische Eigenschaften der Innovation - Relative Vorteilhaftigkeit - Vereinbarkeit - Komplexität - Erprobbarkeit - Beobachtbarkeit - Ausreifungsgrad Interne Variablen Organisations- elemente - Ziele - Mitarbeiter - Formelle Struktur - Technologie - Finanzielle Ressourcen Prof. Dr. Stockmann, 12. Juni

16 Nachhaltigkeitdefinition
Interne Nachhaltigkeit ist dann gegeben, wenn problemadäquate Strukturen aufgebaut wurden und die eigenständige Problemlösungskapazität so gesteigert werden konnte, daß eine permanente Anpassung an sich verändernde Umweltbedingungen stattfindet Externe Nachhaltigkeit ist dann gegeben, wenn über die unmittelbar betroffene Zielgruppe bzw. Partnerorganisation hinaus Diffusionswirkungen auch in anderen (externen) Umweltbereichen entstanden sind, die insgesamt zu verbesserten Problemlösungen geführt haben. Prof. Dr. Stockmann, 12. Juni

17 Maßnahmen, um die Validität und Reliabilität der Ergebnisse zu erhöhen
1. Entwickelte theoretische Konzeption erleichtert die Überprüfung von Zusammenhängen und das Ausschließen von Störvariablen. 2. Verwendung mehrerer Datenerhebungsmethoden sichert die Befunde ab. 3. Kontrollgruppen erlauben Vergleiche zu Interventionsgruppen. 4. Komparative Analyse ermöglicht das Auffinden ähnlicher Entwicklungsmuster und Ursache-Wirkungszuschreibungen. Prof. Dr. Stockmann, 12. Juni

18 Indikatoren Indikatoren zur Bewertung der Qualität des Interventionsprozesses 1. Qualität der Planung des Interventionsprozesses 2. Qualität der Steuerung des Implementationsprozesses 3. Qualität der Projektüberleitung (Vorbereitung des Förderendes) 4. Qualität der Nachbetreuung Indikatoren zur Bewertung der internen Nachhaltigkeit 1. Zielakzeptanz beim Führungspersonal des Projektträgers 2. Qualifikationsniveau des Trägerpersonals 3. Leistungsfähigkeit der Organisationsstruktur des Projektträgers 4. Finanzielle Leistungsfähigkeit des Projektträgers 5. Technische Ausstattungsqualität 6. Angepaßtheit der Förderkonzeption an Zielgruppen III. Indikatoren zur Bewertung der externen Nachhaltigkeit 1. Grad der Diffusion innerhalb der Zielgruppe 2. Grad der Diffusion innerhalb des Zielsystems 3. Grad der Diffusion außerhalb des Zielsystems Prof. Dr. Stockmann, 12. Juni

19 Design und Erhebungsmethoden
Lebenszyklusphasen Planungs- und Implementationsphase Wirkungsphase Design Retrospektive Zeitreihenanalyse Querschnittsanalyse vor Ort Datenerhebungs-methoden Dokumenten- und Aktenanalyse Retrospektive Intensivinterviews mit ehemaligen Projektbeteiligten Dokumentenanalyse Beobachtungen Intensivinterviews mit Experten Standardisierte Interviews mit den Ziel- und Kontrollgruppen Prof. Dr. Stockmann, 12. Juni

20 Vielen Dank für Ihre Aufmerksamkeit
Prof. Dr. Stockmann