Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Prof. Dr. Reinhard Stockmann BiBB-AK Evaluation 12. Juni 2003 Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen.

Ähnliche Präsentationen


Präsentation zum Thema: "Prof. Dr. Reinhard Stockmann BiBB-AK Evaluation 12. Juni 2003 Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen."—  Präsentation transkript:

1 Prof. Dr. Reinhard Stockmann BiBB-AK Evaluation 12. Juni 2003 Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen

2 Aufbau des Vortrags Prof. Dr. Stockmann, 12. Juni Mangel an Wirkungsanalysen 2. Funktionen von Evaluationen 3. Zielproblematik in der Entwicklungsforschung 4. Methodologische Paradigmen 5. Untersuchungsdesigns für die Evaluation von Wirkungen 6. Evaluationskonzeption: theoretisches Grundmodell 7. Methodische Konzeption 8. Erfahrungen mit der Evaluationskonzeption

3 Funktionen von Evaluationen Evaluation ErkenntnisfunktionKontrollfunktion Dialogfunktion Legitimitätsfunktion Prof. Dr. Stockmann, 12. Juni

4 Vorgehen: Zielmodell der Evaluationsforschung Prof. Dr. Stockmann, 12. Juni Programmziele ermitteln 2. Ziele in messbare Indikatoren der Zielerreichung übersetzen 3. Daten sammeln 4. Daten mit Zielkriterien vergleichen

5 Probleme des Zielmodells Prof. Dr. Stockmann, 12. Juni Verschwommene Formulierungen 2. Kluft zwischen offiziellen und tatsächlichen Zielen 3. Veränderungen im Zeitverlauf 4. Unterschiedliche Ziele der Akteure 5. Vernachlässigung nicht-intendierter Effekte

6 Dualität der Evaluationsforschung Prof. Dr. Stockmann, 12. Juni Teil des politischen Prozesses und Teil des politischen Prozesses und Teil der empirischen Sozialforschung Teil der empirischen Sozialforschung

7 Methodologisches Kontinuum Prof. Dr. Stockmann, 12. Juni Methodologischer Rigorismus Experimentelle Designs Handlungs- und Aktionsforschung Emanzipatorisches Paradigma

8 Konsequenzen aus dem handlungstheoretischen Paradigma Prof. Dr. Stockmann, 12. Juni Nicht Falsifikation – sondern Ermittlung von Handlungsalternativen zur Lösung von Problemen Nicht Falsifikation – sondern Ermittlung von Handlungsalternativen zur Lösung von Problemen Trennung zwischen Evaluatoren und Evaluierten wird aufgehoben Trennung zwischen Evaluatoren und Evaluierten wird aufgehoben Nicht Forschungsfragen – sondern Informationsbedarfe der Zielgruppen im Vordergrund Nicht Forschungsfragen – sondern Informationsbedarfe der Zielgruppen im Vordergrund Nicht Wertneutralität – sondern Wertungen Nicht Wertneutralität – sondern Wertungen Gütekriterien nicht primär Validität, Reliabilität und Objektivität – sondern Kommunikation, Intervention, Relevanz. Gütekriterien nicht primär Validität, Reliabilität und Objektivität – sondern Kommunikation, Intervention, Relevanz.

9 Zwei Hauptprobleme von Wirkungsevaluationen Prof. Dr. Stockmann, 12. Juni Entdeckung und Messung von Wirkungen 2.Identifikation von Kausalzusammenhängen

10 Typische Forschungsdesigns für Wirkungsanalysen Prof. Dr. Stockmann, 12. Juni DesignAuswahl der Untersuchungs- einheit Art der Kontrollgruppe Daten-erhebungs- zeitpunkt I. Experimente und Feldexperimente Randomisierung durch Forscher Randomisierte und stat. Kontrollen Zumeist vorher / nachher od. mehrere Messungen II.Quasi-ExperimenteUnkontrollierte Auswahl Konstruierte u/o stat. Kontrollen Zumeist vorher / nachher od. mehrere Messungen III. Pretest-Posttest Unters. Unkontrollierte Auswahl Reflexive KontrollenVorher/Nachher Messung IV. Retrospektive Vor- /Nachher Unt. Unkontrollierte Auswahl Retrospektive reflexive Kontrollen Nachher Mess. mit retrospektven Mess. V. Panel Untersuchungen Unkontrollierte Auswahl Reflexive KontrollenMehr als zwei Mess. während Intervention VI. Zeitreihen- analysen Unkontrollierte Auswahl Reflexive KontrollenViele Mess. vor und nach der Intervention VII. Querschnitts- analysen Unkontrollierte Auswahl Statistische Kontrollen Nachher Messungen VIII. Gutachten- modell Unkontrollierte Auswahl Generische u/o Schattenkontrollen Nachher Messungen

11 Probleme experimenteller Designs Prof. Dr. Stockmann, 12. Juni Zahl einzubeziehender, erklärender Faktoren unvollständig 2. Forschereinfluß (Interaktion) 3. Selbstselektion 4. Verzerrungen bei Messwiederholungen

12 Prinzipielle Bedenken gegen experimentelle Designs Prof. Dr. Stockmann, 12. Juni Analyse komplexer Phänomene nicht angemessen 2. Für die Erfassung von Wandel und Entwicklung nicht geeignet: ahistorisch 3. Dominante Orientierung an interner Validität 4. Professionelle Ethik und geltendes Recht

13 LebensverlaufsmodellLebensverlaufsmodell Legende: t tF tNF = Zeitpunkt = Förderende = Nach-Förderende Zeitachse tF t1t2 t3 t4 t5a - t5nt6 tNF Projekt- antrag Projekt- prüfung AngebotAuftrag Phasen der Projektdurchführung Projekt- überleitung Nach- betreuung Förder- ende Projekt- stand nach 3-5 J. Phasen Nach-Förderphase Förderphase ImplementationPlanung Wirkung/ Nachhaltigkeit Prof. Dr. Stockmann, 12. Juni

14 Untersuchungsgegenstand Umwelt Träger Projekt Finanzielle Ressourcen Technologie Ziele Mitarbeiter Organisations- struktur Rechts- system Bildungs-/ Ausbildungs- system Politisches System Soziokulturelles System Beschäftigungs- system WirkungsmodellWirkungsmodell Prof. Dr. Stockmann, 12. Juni

15 Externe Variablen: Umweltfaktoren - Politisches System - Normen u. Werte - Arbeitsmarkt (Nachfrage) - Bildungs- u. Ausbildungs- system (Anbieter) - u.a. Spezifische Eigenschaften der Innovation - Relative Vorteilhaftigkeit - Vereinbarkeit - Komplexität - Erprobbarkeit - Beobachtbarkeit - Ausreifungsgrad Interne Variablen Organisations- elemente - Ziele - Mitarbeiter - Formelle Struktur - Technologie - Finanzielle Ressourcen Diffusion: Verbreitung einer Innovation DiffusionsmodellDiffusionsmodell Prof. Dr. Stockmann, 12. Juni

16 NachhaltigkeitdefinitionNachhaltigkeitdefinition Prof. Dr. Stockmann, 12. Juni Interne Nachhaltigkeit ist dann gegeben, wenn problemadäquate Strukturen aufgebaut wurden und die eigenständige Problemlösungskapazität so gesteigert werden konnte, daß eine permanente Anpassung an sich verändernde Umweltbedingungen stattfindet Externe Nachhaltigkeit ist dann gegeben, wenn über die unmittelbar betroffene Zielgruppe bzw. Partnerorganisation hinaus Diffusionswirkungen auch in anderen (externen) Umweltbereichen entstanden sind, die insgesamt zu verbesserten Problemlösungen geführt haben.

17 Maßnahmen, um die Validität und Reliabilität der Ergebnisse zu erhöhen Prof. Dr. Stockmann, 12. Juni Entwickelte theoretische Konzeption erleichtert die Überprüfung von Zusammenhängen und das Ausschließen von Störvariablen. 2. Verwendung mehrerer Datenerhebungsmethoden sichert die Befunde ab. 3. Kontrollgruppen erlauben Vergleiche zu Interventionsgruppen. 4. Komparative Analyse ermöglicht das Auffinden ähnlicher Entwicklungsmuster und Ursache- Wirkungszuschreibungen.

18 IndikatorenIndikatoren Prof. Dr. Stockmann, 12. Juni I.Indikatoren zur Bewertung der Qualität des Interventionsprozesses 1. Qualität der Planung des Interventionsprozesses 2. Qualität der Steuerung des Implementationsprozesses 3. Qualität der Projektüberleitung (Vorbereitung des Förderendes) 4. Qualität der Nachbetreuung II. Indikatoren zur Bewertung der internen Nachhaltigkeit 1. Zielakzeptanz beim Führungspersonal des Projektträgers 2. Qualifikationsniveau des Trägerpersonals 3. Leistungsfähigkeit der Organisationsstruktur des Projektträgers 4. Finanzielle Leistungsfähigkeit des Projektträgers 5. Technische Ausstattungsqualität 6. Angepaßtheit der Förderkonzeption an Zielgruppen III. Indikatoren zur Bewertung der externen Nachhaltigkeit III. Indikatoren zur Bewertung der externen Nachhaltigkeit 1. Grad der Diffusion innerhalb der Zielgruppe 2. Grad der Diffusion innerhalb des Zielsystems 3. Grad der Diffusion außerhalb des Zielsystems

19 Design und Erhebungsmethoden Prof. Dr. Stockmann, 12. Juni Datenerhebungs- methoden Wirkungsphase Design Planungs- und Implementationsphase Lebenszyklusphasen Retrospektive Zeitreihenanalyse Querschnittsanalyse vor Ort Dokumenten- und Aktenanalyse Retrospektive Intensivinterviews mit ehemaligen Projektbeteiligten Dokumentenanalyse Beobachtungen Intensivinterviews mit Experten Standardisierte Interviews mit den Ziel- und Kontrollgruppen

20 Prof. Dr. Stockmann Vielen Dank für Ihre Aufmerksamkeit


Herunterladen ppt "Prof. Dr. Reinhard Stockmann BiBB-AK Evaluation 12. Juni 2003 Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen."

Ähnliche Präsentationen


Google-Anzeigen