Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Www.causemann.org einfach – kompliziert – komplex Programmtheorie und logische Modelle in der Evaluierung nach Patricia Rogers Bernward Causemann DeGEval,

Ähnliche Präsentationen


Präsentation zum Thema: "Www.causemann.org einfach – kompliziert – komplex Programmtheorie und logische Modelle in der Evaluierung nach Patricia Rogers Bernward Causemann DeGEval,"—  Präsentation transkript:

1 einfach – kompliziert – komplex Programmtheorie und logische Modelle in der Evaluierung nach Patricia Rogers Bernward Causemann DeGEval, AK Epol, Frühjahrstagung Mai 2011

2 2 Anfangsaufgabe Bitte überlegen Sie sich eine Evaluierung, deren Gegenstand Ihres Erachtens kompliziert oder komplex war.

3 Programmtheorie und logische Modelle Theorien des Wandels, Wirkungsketten, logische Modelle – hinter Entwicklungsmaßnahmen stehen Programmtheorien. Evaluierungen beziehen sich i.d.R. auf diese Programmtheorien oder rekonstruieren sie. Viele Theorien machen die Wirklichkeit einfacher als angemessen – und führen zu Fehlsteuerungen und irrigen Wirkungsaussagen. Eine Unterscheidung in einfach / kompliziert / komplex nach 7 Kriterien kann Interventionen und Evaluierungen angemessener machen. 3

4 4 Drei Beispiele, zitiert nach, Übersetzung: Causemann Einfach: Ein Kochrezept anwenden Kompliziert: Eine Rakete zum Mond senden Komplex: Ein Kind aufziehen Das Rezept ist essentiellRezepte sind notwendigRezepte können nur begrenzt angewandt werden Rezepte sind getestet, um einfache Nachahmung zu sichern Eine Rakete zum Mond schicken erhöht die Sicherheit, dass es wieder gelingt Ein Kind aufziehen bringt Erfahrung, aber keine Sicherheit, dass es wieder gelingt Spezialwissen ist nicht erforderlich, aber Kochkenntnisse erhöhen die Erfolgsrate Große Fachkenntnis in mehreren Disziplinen sind notwendig für den Erfolg Fachkenntnis kann beitragen, aber ist weder notwendig noch hinreichend, um Erfolg zu sichern Rezepte erzeugen standardisierte Produkte Raketen sind in entscheidender Hinsicht ähnlich Jedes Kind ist einzigartig und muss als Individuum verstanden werden Die besten Rezepte bringen jedes Mal gute Ergebnisse Es gibt eine hohes Maß an Sicherheit des Ergebnisses Unsicherheit des Ergebnisses bleibt bestehen

5 5 Eigenschaften von Interventionen, ein Konzept von Ralph Stacey, publiziert von Zimmerman et al.

6 6 7 Charakteristika von Interventionen 1.Focus Art der Ziele 2.Governance Beteiligte Organisationen 3.Consistency Art der Übertragbarkeit 4.Necessariness Notwendig zur Zielerreichung? 5.Sufficiency Hinreichend für die Zielerreichung? 6.Change Trajectory Ursache-Wirkungsbeziehung 7.Unintended Outcomes Vorhersagbarkeit

7 Eigenschaft: Focus (Art der Ziele) Die folgenden nach EinfachKompliziertKomplex Übereinstimmung über klare Ziele Verschiedene Beteiligte haben unterschiedliche Ziele Herausforderungen und Ziele verändern sich im Prozess und bilden sich neu heraus (Emergenz) Mehrere konkurrierende Ziele sind notwendig für den Erfolg Beteiligte formulieren im Prozess neue Ziele Aktivitäten auf verschiedenen Ebenen des Systems notwendig Ziele können nicht SMART sein

8 Eigenschaft: Governance (beteiligte Organisationen) EinfachKompliziertKomplex Durchführung durch eine Organisation mit gemeinsamen Zielen und Verfahren Mehrere spezifische Organisationen mit formalisierten Aufgaben Neue Organisationen kommen hinzu und arbeiten flexibel zusammen

9 Eigenschaft: Consistency (Übertragbarkeit) EinfachKompliziertKomplex Die gleiche Intervention funktioniert überall Verschiedene Zielgruppen brauchen verschiedene Interventionen Anpassung der Intervention an den Einzelfall Anpassung an Kontext nicht notwendig Anpassung der Intervention an die Situation Was funktioniert, hängt davon ab, welche Gelegenheiten sich neu entwickeln Kann als best practice entwickelt werden

10 Eigenschaft: Necessariness (notwendig?) EinfachKompliziertKomplex Der einzige Weg, um eine beabsichtigte Wirkung zu erzielen Einer von mehreren möglichen Wegen, die beabsichtigten Wirkungen zu erzielen im voraus planbarnur im Nachhinein erkennbar

11 Eigenschaft: Sufficiency (hinreichend?) EinfachKompliziertKomplex Reicht aus, um die Ziele zu erreichen Erzielt seine Wirkungen nur in Kooperation mit anderen Interventionen Wirkt bei AllenErzielt Wirkungen nur für manche Zielgruppen und in spezifischen Kontexten im voraus planbarnur im Nachhinein erkennbar

12 Eigenschaft: Change Trajectory EinfachKompliziertKomplex Konstantes, lineares Verhältnis zwischen Aufwand und Ergebnis Veränderungsverlauf ist vorhersagbar, aber erfordert Fachwissen Veränderungsverlauf ist nicht vorhersagbar und verläuft unstetig Doppelter Aufwand erzielt doppeltes Ergebnis Beziehungen sind nicht linear. Es gibt z.B. Wechselwirkungen. Z.B. Schwellenwerte, nicht vorhersagbare Umschlagpunkte Je länger die Intervention geht, desto größer die Veränderung

13 Eigenschaft: Unintended Outcomes EinfachKompliziertKomplex Nicht intendierte Wirkungen können vorhergesagt und beobachtet werden Verschiedene nicht intendierte Wirkungen sind unter bestimmten Bedingungen möglich Nicht intendierte Wirkungen können nicht vorhergesagt werden Fachwissen ist erforderlich, um sie vorherzusehen Identifizierung ist nur im Nachhinein möglich

14 14 Literatur Robert Chambers, Dean Karlan, Martin Ravallion, Patricia Rogers: Designing impact evaluations. Different perspectives, 3ie working paper 4, International Initiative for Impact Evaluation, New Delhi Sue Funnell, Patricia Rogers: Purposeful Program Theory. Effective Use of Theories of Change and Logic Models, Jossey-Bass, San Francisco, i.E. Sholom Glouberman, Brenda Zimmerman: Complicated and Complex Systems: What Would Successful Reform of Medicare Look Like? Commission on the Future of Health Care in Canada, Discussion Paper 8 C.F. Kurtz, D.J. Snowden: The New Dynamics of Strategy: Sense-making in a Complex and Complicated World. IBM Systems Journal 42(3), Michael Quinn Patton: Developmental Evaluation, Guilford, New York 2010 Patricia Rogers: Using Program Theory to evaluate complicated and complex aspects of interventions, Evaluation (1). S Patricia Rogers: Matching Impact Evaluation Design to the Nature of the Intervention and the Purpose of the Intervention, in: 3ie 2009, S

15 15 Erinnern Sie sich noch an Ihre Evaluierung vom Anfang? 1.Überlegen Sie anhand von Rogers Kriterien: Welche der sieben Charakteristika der Intervention waren einfach, kompliziert oder komplex? 2.Nehmen Sie sich 5 Minuten Zeit zum Murmeln: Was hieß das für die Evaluierung? 3.Ich hoffe, wir haben noch Zeit für die Diskussion.

16 16 Vielen Dank für die Aufmerksamkeit !


Herunterladen ppt "Www.causemann.org einfach – kompliziert – komplex Programmtheorie und logische Modelle in der Evaluierung nach Patricia Rogers Bernward Causemann DeGEval,"

Ähnliche Präsentationen


Google-Anzeigen