Systemkonzepte und ihre Nutzung in der Evaluation

Präsentation zum Thema: "Systemkonzepte und ihre Nutzung in der Evaluation"—  Präsentation transkript:

1 Systemkonzepte und ihre Nutzung in der Evaluation
Fakultät Erziehungswissenschaften Institut für Berufspädagogik Professur für Didaktik des beruflichen Lernens Systemkonzepte und ihre Nutzung in der Evaluation Steffen Horn, AG Systemische Ansätze und Evaluation, AK Entwicklungspolitik

2 Inhalt 1 Vorbemerkungen 2 Ablauf der Diskussion in der AG
3 Warum überhaupt der Systembegriff?

3 1 Vorbemerkungen Selbstverständnis der AG
Erfahrungsaustausch im Vordergrund nicht unbedingt ein gedrucktes Produkt am Ende der AG Ziele der AG Systemische Evaluation Diskussionsforum zu Systemtheorien / systemischen Ansätzen in der Evaluierungspraxis Arbeitsphasen der AG Informationsphase  Vorträge zu verschiedenen Systemtheorien und systemischen Ansätzen in der Evaluierungspraxis Phase der Diskussion des weiteren Vorgehens Reflexion der diskutierten Ansätze anhand eines Fallbeispiels

4 Systemische Ansätze und Evaluation
2 Ablauf der Diskussion in der AG Phase 1: Diskussion unterschiedlicher Ansätze Luhmann Parsons etc. Vester etc. Soziologische Systemtheorie Kybernetische Modelle/Ansätze Psychologische Systemtheorie Allgemeine Systemtheorie System Dynamics Etc. Systemische Ansätze und Evaluation

5 2 Ablauf der Diskussion in der AG
Phase 2: Phase der Diskussion des weiteren Vorgehens Parsons: Kritik an Parsons‘ („strukturfunktionaler“, „bestandsfunktionaler“) Theorie Stabilität des Wert- und Rollensystems (vgl. ebd., vgl. Elias 1997, S. 16ff.) Abweichung als Dysfunktion (z.B. Reichwein 1970, S.176, Krappmann 1971, S.164) Theorie entwickelt anhand der modernen Bürgerlichen Gesellschaft (Kritik z.B. Elias 1997) teleologische Implikationen (vgl. z.B. Luhmann 2004) Nutzung für Evaluation: ??? Vorschlag für die Bewertung hinsichtlich der Zielstellung der AG: Parsons: sehr abstrakte Sozialtheorie; aufgrund der o.g. Kritik  für die Vertiefung im Rahmen der AG wohl eher ungeeignet

6 2 Ablauf der Diskussion in der AG
Luhmann: Schlagworte über Luhmann (nach Krause 2005: 113ff.): „Paradigmenwechsel“ soziologischer Theoriebildung: Funktionale Methode, Abkehr von kausaler Erklärung sozialer Wirklichkeit  Erkenntnisinteresse Einwände (nach Krause 2005): „abstraktes Philosophieren“, „Flug über den Wolken“, „geringe Benutzerfreundlichkeit“, „Akteursperspektive kaum respezifizierbar“ Anwendungen für Evaluationen: Stephan Blank 2004: Evaluation im Kontext des organisationalen Lernens. Blank/Löwenbein: Inwiefern kann Evaluation mittels systemtheoretischem – und Netzwerkwerkansatz die Steuerung von Projekten durch Lernprozesse befördern? (Vortrag DeGEval-Tagung Klagenfurt 2008) Bewertung hinsichtlich der Zielstellung der AG: Sehr abstrakte Sozialtheorie mit ineinander eingeschliffenen Begriffen ( Erkenntnisinteresse), die aber weitestgehend „im Unanschaulichen ansetzt“ (Krause 2005)  für die Vertiefung in der AG wohl eher ungeeignet

7 2 Ablauf der Diskussion in der AG
Vester: Systembegriff: Biokybernetischer Ansatz  Basis für Planungsansatz Systemmodell berücksichtigt (1) Systemgrenzen, (2) relationierte Elemente, die Wechselwirkungen und (3) Rückkopplungen unterliegen  (4) Systemstrukturen Biokybernetischer Systembegriff „Wirklichkeit 1. Ordnung“  Objektive Tatsachen, „Wirklichkeit 2. Ordnung“  auf Interpretationsleistungen beruhende menschliche Handlungen  Soziale Systeme sind sehr viel komplexer als bspw. Lebende Systeme Planungs-/Managementansatz liegt ausgearbeitet vor. Nutzung für Planung und Evaluation: Participatory Livelihood System Analysis (PALSA), Rückgriff auf einzelne Instrumente: Impact Monitoring and Assessment (IMA), Herweg/Steiner 2004 Vorschlag für die Bewertung hinsichtlich der Zielstellung der AG: Aufgrund der o.g. Griffigkeit  Vertiefung in der AG erschien eher geeignet

8 2 Ablauf der Diskussion in der AG
Phase 3: Reflexion der diskutierten Ansätze anhand eines Fallbeispiels Fallbeispiel: 'Minenopfer Kambodscha' (Projekt von MISEREOR) Arbeitsschritte der Systemanalyse nach Vester: Systembeschreibung Erfassung von Einflussgrößen Prüfung auf Systemrelevanz Hinterfragen von Wechselwirkungen (mit Cross-Impact Matrix/ Papiercomputer) Bestimmung der Rolle im System Untersuchung der Gesamtvernetzung Kybernetik einzelner Szenarien Wenn-dann-Prognosen Systembewertung

9 2 Ablauf der Diskussion in der AG
Phase 3: Reflexion der diskutierten Ansätze anhand eines Fallbeispiels Zielsystem: (Schritte 1 und 2: Systembeschreibung und Erfassung relevanter Einflussgrößen)

10 2 Ablauf der Diskussion in der AG
Intervenierendes System: Analysemodell (nach Hummelbrunner):

11 2 Ablauf der Diskussion in der AG
Schritt 4: Hinterfragen von Wechselwirkungen (mit Cross-Impact Matrix/Papiercomputer)

12 Schritt 7: Kybernetik einzelner Szenarien
2 Ablauf der Diskussion in der AG Schritt 7: Kybernetik einzelner Szenarien

13 3 Warum überhaupt der Systembegriff?
Das System (griech. „Ganzes“): Unterscheidung von Elementen, die zum System selber bzw. nicht zum System, zur Umwelt gehören  Grenze. Offene Systeme: autonomes Gefüge von Elementen, die sich nichtlinear nach eigenen Regeln selbst organisieren und die ein Geflecht von Wechsel-wirkungen, Rückkopplungseffekten und Zeitverzögerungen aufweisen. Jedes System: spezifische Relationierung seiner Elemente  seine Struktur  Bestimmte Verhaltensweisen der einzelnen Elemente, aber auch des Systems als Ganzes sind wahrscheinlicher als andere.  Das System ist fähig, seine Strukturen, Zustände und Abläufe nach eigenen Regeln zu ordnen. (Vgl. z.B. Bertalanffy 1957, Forrester 1972, Vester 2005, Weick 1976)

14 3 Warum überhaupt der Systembegriff?
 Systembegriff bietet zahlreiche nützliche Annahmen und Konzepte Beispiel Strukturbegriff: Strukturen: Muster bzw. Ordnungen für den Aufbau von Informationen aber auch Sozialbeziehungen Luhmann (1978): Strukturen sind als notwendige Folge von Komplexität aufzufassen Giddens (1997): rekursiv organisierte Regel-Ressourcenkomplexe, die mit Handlungen von Akteuren interdependent sind (Strukturen ermöglichen Handlungen und schränken diese ein, Handlungen reproduzieren Strukturen und können diese auch verändern)  Akteur wird mitgedacht Systemkonzepte tragen zu einer sinnvollen (theoriebasierten) Reduktion von Komplexität bei Mittels Systemkonzepten und systemischen Denkens können Ausschnitte der Wirklichkeit als Ganzes betrachtet werden

15 3 Warum überhaupt der Systembegriff?
Was heißt eigentlich systemisch? Vier Dimensionen die systemischen Denkens umfassen (nach Ossimitz): Denken in Modellen Denken in vernetzten Strukturen Denken in dynamischen Zeitgestalten Fähigkeit zur praktischen Steuerung von Systemmodellen Nutzung von Systemkonzepten in der Evaluation Theorie/Konzepte („framing“ anhand von Annahmen)  Systemkonzepte („Großtheorien“ vs. „Theorien mittlerer Reichweite“)  Approach  Systemmodelle Design Methode Ergebnis

16 3 Warum überhaupt der Systembegriff?
Fazit: Thesen 1. Systemisches Denken gründet nicht auf einem homogenen, abgeschlossenen Theorie-gebäude, es gibt daher auch keine einheitliche Definition von System und systemisch. Es gibt eine Reihe von systemischen Ansätzen / Theorien (Allgemeine Systemtheorie, Kybernetik, System Dynamics, Parsons und Luhmanns Systemtheorie etc.). Einige Theorien betrachten Systeme als real existierende Phänomene, andere als gedankliche Konstrukte, die erst durch Beobachtung entstehen. 2. Anstatt von Systemischer Evaluation sprechen wir von Nutzung von Systemkonzepten in der Evaluation. Aus den jeweiligen zugrunde liegenden Systemkonzepten lassen sich Evaluationsverfahren und das methodische Vorgehen ableiten. Die Festlegung auf einen spezifischen Evaluierungstypus, der die Verbindung der jeweils sehr breiten Bereiche Systemisches Denken und Evaluation repräsentiert, ist nicht angemessen. Als Brücke ist die Anwendung generischer systemischer Konzepten anzusehen, wie Systemgrenze, Struktur, Prozess, Beziehungen und Perspektiven. 3. Systemische Ansätze bieten ein breites methodisches Spektrum an. Die Auswahl passender Methoden soll sich an der Situation und den Fragestellungen orientieren. Die Nutzung von Systemkonzepten bei Evaluierungen ist nützlich in komplizierten Situationen (mehrere Akteure und Ebenen, parallele oder alternative Wirkungspfade). Sie ist ausgesprochen hilfreich in komplexen Situationen, in denen Wechselwirkungen oder emergente Phänomene auftreten.

17 3 Warum überhaupt der Systembegriff?
4. Die Nutzung von Systemkonzepten in der Evaluationen hat viele Vorteile/Potentiale: Mit Systemkonzepten kann linear-kausales Denken überwunden und durch zirkuläre Betrachtungsweisen ersetzt werden. Mit Systemkonzepten können Ausschnitte der Wirklichkeit als Ganzes betrachtet als auch in Subsysteme (Teil eines größeren Ganzen) zerlegt werden. Wechselwirkungen und Feedbacks sowohl zwischen Intervention(ssystem) und Zielsystem als auch innerhalb dieser beiden Teilsysteme werden berücksichtigt. Aufgrund der Berücksichtigung von Feedback-Mechanismen wird die Kontextorientierung und Flexibilität von Evaluationen erhöht. 5. Die Nutzung von Systemkonzepten in der Evaluationen hat aber auch Nachteile: Systemkonzepte und daraus abgeleitete Evaluationsansätze können sehr abstrakt sein, was zu Problemen bei Kommunikation und Vermittlung führen kann. Sie erfordern von Auftraggebern ein Verständnis, dass Evaluationen als iterative Prozesse angelegt werden, die offen sind für neue Anforderungen. Sie erfordern von EvaluatorInnen neben dem Einbringen externer Sichtweisen auch spezielle (Methoden)kompetenz und neue Rollen (z.B. aktive Intervention, Störungen). 6. Die Nutzung von Systemkonzepten in der Evaluationen erfordert neben Ausarbeitung von Ansätzen auch systemisches Denken/eine systemische Haltung der EvaluatorInnen: Dazu zählen insbesondere ein reflexive Herangehensweise (systemische Schleife), zirkuläres Denken und die Anerkennung bzw. Nutzung der Selbstorganisation des zu evaluierenden sozialen Systems.

18 Vielen Dank für ihre Aufmerksamkeit!

19 Literatur: Aebeli, H. (1980, 1981): Denken, das Ordnen des Tuns. Kognitive Aspekte der Handlungstheorie. Teil 1+2, Stuttgart Bertalanffy, L.v. (1957): Allgemeine Systemtheorie. In: Deutsche Universitätszeitung. Nr. 12, 1957, S. 8–12. Blank, S. (2004): Evaluation im Kontext des organisationalen Lernens. Der Beitrag reflexiver Bewertungsoperationen zur Entwicklung lernender Systeme. Elias, N. (1997): Über den Prozeß der Zivilisation. Soziogenetische und psychogenetische Untersuchungen Band 1, Frankfurt/M. Forrester, J.W. (1972): Grundsätze einer Systemtheorie. Wiesbaden Giddens, A. (1997): Die Konstitution der Gesellschaft: Grundzüge einer Theorie der Strukturierung. Frankfurt/M. Krause, D (2005): Luhmann-Lexikon. Stuttgart Luhmann, N. (1982): Die Voraussetzung der Kausalität; in: Luhmann, N./Schorr, K. E. (Hg.): Zwischen Technologie und Selbstreferenz - Fragen an die Pädagogik. Frankfurt a. M., S Luhmann 2004: Einführung in die Systemtheorie. Hgg. v. Baecker, D. Heidelberg Mühlhausen, T. (1999): Ein Beitrag zur makroskopischen Simulation von Passagierströmen zwischen kooperierenden Flughäfen unter Nutzung des SYSTEM DYNAMICS Zuganges nach Forrester. Dresden Ossimitz , G. (2000): Systemisches Denken braucht systemische Darstellungsformen. Vortrag, GWS-Jahrestagung Mannheim Pastohr, M. (2009): Die Leistungsfähigkeit von Systemen tertiärer Bildung an der Schwelle zum Beschäftigungssystem. Dresden Vester, F. (2005): Die Kunst vernetzt zu denken: Ideen und Werkzeuge für einen neuen Umgang mit Komplexität: Ideen und Werkzeuge für einen neuen Umgang mit Komplexität. DTV Hellwig, M. (2006): Zur Kategorie der Kausalität in den Wirtschaftswissenschaften. Weick , K. (1976): "Educational Organizations as Loosely Coupled Systems." Administrative Science Quarterly 21, S Williams, Bob/Imam, I. (Hg.) (2007): System concepts in evaluation