„einfach – kompliziert – komplex“ Programmtheorie und logische Modelle in der Evaluierung nach Patricia Rogers Bernward Causemann DeGEval, AK Epol, Frühjahrstagung 2011 12. Mai 2011

Anfangsaufgabe Bitte überlegen Sie sich eine Evaluierung, deren Gegenstand Ihres Erachtens kompliziert oder komplex war.

Programmtheorie und logische Modelle Theorien des Wandels, Wirkungsketten, logische Modelle – hinter Entwicklungsmaßnahmen stehen Programmtheorien. Evaluierungen beziehen sich i.d.R. auf diese Programmtheorien oder rekonstruieren sie. Viele Theorien machen die Wirklichkeit einfacher als angemessen – und führen zu Fehlsteuerungen und irrigen Wirkungsaussagen. Eine Unterscheidung in einfach / kompliziert / komplex nach 7 Kriterien kann Interventionen und Evaluierungen angemessener machen.

Drei Beispiele Einfach: Kompliziert: Komplex: Ein Kochrezept anwenden Kompliziert: Eine Rakete zum Mond senden Komplex: Ein Kind aufziehen Das Rezept ist essentiell „Rezepte“ sind notwendig „Rezepte“ können nur begrenzt angewandt werden Rezepte sind getestet, um einfache Nachahmung zu sichern Eine Rakete zum Mond schicken erhöht die Sicherheit, dass es wieder gelingt Ein Kind aufziehen bringt Erfahrung, aber keine Sicherheit, dass es wieder gelingt Spezialwissen ist nicht erforderlich, aber Kochkenntnisse erhöhen die Erfolgsrate Große Fachkenntnis in mehreren Disziplinen sind notwendig für den Erfolg Fachkenntnis kann beitragen, aber ist weder notwendig noch hinreichend, um Erfolg zu sichern Rezepte erzeugen standardisierte Produkte Raketen sind in entscheidender Hinsicht ähnlich Jedes Kind ist einzigartig und muss als Individuum verstanden werden Die besten Rezepte bringen jedes Mal gute Ergebnisse Es gibt eine hohes Maß an Sicherheit des Ergebnisses Unsicherheit des Ergebnisses bleibt bestehen <Glouberman/Zimmerman 2002>, zitiert nach <Rogers 2008, S. 31>, Übersetzung: Causemann

Eigenschaften von Interventionen <Patton 2010, S. 90>, ein Konzept von Ralph Stacey, publiziert von Zimmerman et al.

7 Charakteristika von Interventionen Focus Art der Ziele Governance Beteiligte Organisationen Consistency Art der Übertragbarkeit Necessariness Notwendig zur Zielerreichung? Sufficiency Hinreichend für die Zielerreichung? Change Trajectory Ursache-Wirkungsbeziehung Unintended Outcomes Vorhersagbarkeit

1. Eigenschaft: Focus (Art der Ziele) Einfach Kompliziert Komplex Übereinstimmung über klare Ziele Verschiedene Beteiligte haben unterschiedliche Ziele Herausforderungen und Ziele verändern sich im Prozess und bilden sich neu heraus (Emergenz) Mehrere konkurrierende Ziele sind notwendig für den Erfolg Beteiligte formulieren im Prozess neue Ziele Aktivitäten auf verschiedenen Ebenen des Systems notwendig Ziele können nicht SMART sein Die folgenden nach <Funnell/Rogers 2011, S. 74-91>

2. Eigenschaft: Governance (beteiligte Organisationen) Einfach Kompliziert Komplex Durchführung durch eine Organisation mit gemeinsamen Zielen und Verfahren Mehrere spezifische Organisationen mit formalisierten Aufgaben Neue Organisationen kommen hinzu und arbeiten flexibel zusammen

3. Eigenschaft: Consistency (Übertragbarkeit) Einfach Kompliziert Komplex Die gleiche Intervention funktioniert überall Verschiedene Zielgruppen brauchen verschiedene Interventionen Anpassung der Intervention an den Einzelfall Anpassung an Kontext nicht notwendig Anpassung der Intervention an die Situation Was funktioniert, hängt davon ab, welche Gelegenheiten sich neu entwickeln Kann als „best practice“ entwickelt werden

4. Eigenschaft: Necessariness (notwendig?) Einfach Kompliziert Komplex Der einzige Weg, um eine beabsichtigte Wirkung zu erzielen Einer von mehreren möglichen Wegen, die beabsichtigten Wirkungen zu erzielen im voraus planbar nur im Nachhinein erkennbar

5. Eigenschaft: Sufficiency (hinreichend?) Einfach Kompliziert Komplex Reicht aus, um die Ziele zu erreichen Erzielt seine Wirkungen nur in Kooperation mit anderen Interventionen Wirkt bei Allen Erzielt Wirkungen nur für manche Zielgruppen und in spezifischen Kontexten im voraus planbar nur im Nachhinein erkennbar

6. Eigenschaft: Change Trajectory Einfach Kompliziert Komplex Konstantes, lineares Verhältnis zwischen Aufwand und Ergebnis Veränderungsverlauf ist vorhersagbar, aber erfordert Fachwissen Veränderungsverlauf ist nicht vorhersagbar und verläuft unstetig Doppelter Aufwand erzielt doppeltes Ergebnis Beziehungen sind nicht linear. Es gibt z.B. Wechselwirkungen. Z.B. Schwellenwerte, nicht vorhersagbare Umschlagpunkte Je länger die Intervention geht, desto größer die Veränderung

7. Eigenschaft: Unintended Outcomes Einfach Kompliziert Komplex Nicht intendierte Wirkungen können vorhergesagt und beobachtet werden Verschiedene nicht intendierte Wirkungen sind unter bestimmten Bedingungen möglich Nicht intendierte Wirkungen können nicht vorhergesagt werden Fachwissen ist erforderlich, um sie vorherzusehen Identifizierung ist nur im Nachhinein möglich

Literatur <3ie 2009> Robert Chambers, Dean Karlan, Martin Ravallion, Patricia Rogers: Designing impact evaluations. Different perspectives, 3ie working paper 4, International Initiative for Impact Evaluation, New Delhi <Funnell/Rogers 2011> Sue Funnell, Patricia Rogers: Purposeful Program Theory. Effective Use of Theories of Change and Logic Models, Jossey-Bass, San Francisco, i.E. <Glouberman/Zimmerman 2002> Sholom Glouberman, Brenda Zimmerman: Complicated and Complex Systems: What Would Successful Reform of Medicare Look Like? Commission on the Future of Health Care in Canada, Discussion Paper 8 <Kurtz/Snowden 2003> C.F. Kurtz, D.J. Snowden: The New Dynamics of Strategy: Sense-making in a Complex and Complicated World. IBM Systems Journal 42(3), 462-83 <Patton 2010> Michael Quinn Patton: Developmental Evaluation, Guilford, New York 2010 <Rogers 2008 > Patricia Rogers: Using Program Theory to evaluate complicated and complex aspects of interventions, Evaluation 2008 14 (1). S. 29-48 <Rogers 2009> Patricia Rogers: Matching Impact Evaluation Design to the Nature of the Intervention and the Purpose of the Intervention, in: 3ie 2009, S. 24-33

Erinnern Sie sich noch an Ihre Evaluierung vom Anfang? Überlegen Sie anhand von Rogers Kriterien: Welche der sieben Charakteristika der Intervention waren einfach, kompliziert oder komplex? Nehmen Sie sich 5 Minuten Zeit zum Murmeln: Was hieß das für die Evaluierung? Ich hoffe, wir haben noch Zeit für die Diskussion.

Vielen Dank für die Aufmerksamkeit !