Arbeitskreis Entwicklungspolitik, Frühjahrstagung 2013 Bonn, 6./7. Juni Diskussionspapier „Systemische Ansätze in der Evaluation“ Bericht der Arbeitsgruppe Systemische Ansätze Hauptautor: Richard Hummelbrunner Redaktionsteam: Bernward Causemann, Theo Mutter, Michaela Raab Diskussion der Präsentation: Jan Lorenz Wilhelm, Veronika Schwanz

Systemische Herangehensweise an Evaluation Systemisches Denken ist eine spezifische Art, die Realität zu begreifen und zu erklären Abgrenzung System - Umwelt Identifizierung Elemente und Beziehungen Betrachtungen sind beobachterabhängig Systemisches Denken und Evaluation sind breit gefächerte Bereiche (jeweils mehrere Schulen und Ansätze) keine homogenen, abgeschlossenen Theoriegebäude keine einheitliche Definition von System und systemisch Ein eigener Evaluationsansatz zur Verbindung der beiden Bereiche ist weder sinnvoll noch zweckmäßig (keine ‚systemische‘ Evaluierung) 2

Systemische Herangehensweise an Evaluation Systemische Herangehensweise an Evaluationen besteht in der Anwendung systemischer Haltungen systemischer Konzepte und Methoden Erweiterung des Handlungsrepertoires von EvaluatorInnen in komplizierten oder komplexen Situationen Merkmale systemischer Haltungen Reflexive Herangehensweise Zirkuläres Denken Anerkennung bzw. Nutzung der Selbstorganisation 3

Hauptelemente einer systemischen Herangehensweise Drei ‚generische‘ Konzepte (gültig für alle Schulen und Ansätze) Jeweils spezifischer Fokus und Methoden Beziehungen Verknüpfung der Elemente (z.B. Qualität, Verlauf) Methoden zur dynamischen Modellierung Perspektiven Sichtweisen und Anliegen von Beteiligten (stakeholder, stakes) Methoden zur Modellierung und zum Austausch von Perspektiven Systemgrenzen Unterscheidungen mit Bezug zu Zweck, Perspektiven Methoden zur Abgrenzung und deren kritischer Reflexion 4 4

Evaluation aus systemischer Sicht Evaluation ist eine spezifische Form von Beobachtung Zeitlich befristete Einrichtung eines Evaluationssystems Beteiligung von (zumindest) zwei sozialen Systemen Evaluation ist Intervention in bestehende soziale Systeme Reaktionen können anregend oder störend sein 5 5

Evaluation aus systemischer Sicht Rolle von EvaluatorInnen Externe und subjektive Sichtweise (keine objektive Bewertung) Synthese unter Berücksichtigung unterschiedlicher Perspektiven Einnahme unterschiedlicher Rollen (z.b. Moderator, Coach) 6 6

Systemische Betrachtung von Wirkungen Zwei unterschiedliche Arten der Wirkungsbetrachtung Wirkung von Systemen (Systemanalysen) Wirkung auf Systeme (Systemische Wirkungsanalyse) Dynamische, kontextbezogene Betrachtung der Wirkungen auf Systeme 7 7

Systemische Betrachtung von Wirkungen Konsequenzen für die Evaluation von Wirkungen Dynamische Betrachtung von Effekten Differenzierter Umgang mit Abweichungen Beachtung von überraschenden Befunden Identifizierung von nicht-intendierten Wirkungen / Phänomenen 8 8

Methodenbeispiele Beziehungen Perspektiven Systemgrenzen Kybernetische Methoden, z.B. Wirkungsdiagramm System-dynamische Methoden, z.B. Flussdiagramm Soziale Netzwerkanalyse Perspektiven Soft Systems Methodology Zirkuläre Dialoge Dialektische Untersuchungsmethoden Systemgrenzen Critical Systems Heuristics Outcome Mapping Viable System Model 9 9

Mehrwert systemischer Ansätze Erweiterung des Handlungsrepertoires von EvaluatorInnen Nützlich in komplizierten, unabdingbar in komplexen Situationen Angemessene Vereinfachung von Situationen zunehmender Komplexität Eigenschaften sozialer Systeme, flexible Skalierung, Kontextorientierung Überprüfung der Ansprüche von Systemveränderungen Verständnis sozialer Systeme, Modellierung / Beobachtung von Impulsen ‚Sense-making‘ in schwierigen Situationen Widersprüche, Überraschungen, unerklärliche bzw. unerwartete Phänomene 10 10

Grenzen systemischer Ansätze Zum Teil schwierige Vermittlung durch hohen Abstraktionsgrad vieler Konzepte und Methoden Manche Methoden sind aufwändig (Zeit, Kosten) Flexibilität der Auftraggeber ist erforderlich (Gestaltung iterativer Prozesse, Offenheit für Neues) 11 11

Rahmenbedingungen für systemische Ansätze Förderlich Evaluationen, die auf gemeinsames Lernen / Reflexion ausgerichtet sind Evaluationen, die anwendungsorientiert sind (Nutzer sind bekannt und beteiligt) Flexibilität, iteratives Design (offen für neue Anforderungen, Fragestellungen) Konstruktiver Umgang mit Unterschieden und Konflikten Spielraum für die Infragestellung von Werten und Handlungsmustern EvaluatorInnen können mit verschiedenen Rollen gut umgehen (z.B. Moderator, Coach, Impulsgeber) Hinderlich Evaluationen, die als externe Kontrolle wahrgenommen werden oder die mit existenziellen Konsequenzen für die Beteiligten verbunden sind Bedarf bei Auftraggebern nach ‚objektiver‘ Prüfung bzw. Legitimation durch unabhängige ExpertInnen Geringe Flexibilität (z.B. durch Ausschreibung, formale Vorgaben) Geringe Kritikfähigkeit (Auftraggeber, evaluiertes System) Klassische EvaluatorInnen-Rollen, geringe Bereitschaft für Anderes 12

Vielen Dank für Ihre Aufmerksamkeit! Wir freuen uns auf die Diskussion.