Methoden der Evaluation Struktur - Prozess - Ergebnis Fonds Gesundes Österreich Prof. Dr. Wolfgang Stark Labor für Organisationsentwicklung Universität Duisburg-Essen www.orglab.de 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

7. Österreichische Gesundheitsförderungskonferenz Ziele Warum ist Evaluation wichtig? Evaluation ist mehr als die Orientierung an Standards – zu den Grundlagen der Bewertung Evaluation als Förderung von Empowerment und Qualität Was lernen wir aus Evaluation? – Evaluation als Überwindung der Vergangenheit und Entdeckung der Zukunft Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

7. Österreichische Gesundheitsförderungskonferenz Wozu dient Evaluation? Legitimieren und Förderung sichern Ziele erreichen Abläufe verbessern Zufriedenheit der NutzerInnen/KundInnen feststellen Wirkungen erzielen Evaluation schafft Transparenz und fördert die Reflexion über die eigene Arbeit, muss aber auch nachhaltig auf die Gestaltung der Zukunft gerichtet sein. Innovationen erreichen/Zukunft erspüren Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

7. Österreichische Gesundheitsförderungskonferenz Evaluation bedeutet auf der Grundlage von gewonnenen Informationen mit Hilfe von Methoden und Instrumenten der empirischen Sozialforschung auswerten und bewerten mit dem Ziel Beratungen, Empfehlungen und/oder Entscheidungen argumentativ zu unterstützen Evaluationen besitzen in der Regel Anteile aus allen vier Feldern Aus der jeweiligen Interessenslage und den daraus resultierenden Fragestellungen ergibt sich ein bestimmter Schwerpunkt Entwickeln Innovation Prüfen Kontrolle Verbessern Qualifizierung Verstehen Aufklärung Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

7. Österreichische Gesundheitsförderungskonferenz Evaluieren und Auswerten - zentrale Perspektiven Wirklichkeit Lief alles ab wie vorgesehen? Was geschah? Was wurde getan? Wo gab es Schwierigkeiten, unvorhergesehene Hindernisse? Was war/ist erfreulich? Wirksamkeit Wie weit wurden die gesteckten Ziele erreicht? Wie sind die Abweichungen zu erklären? Gab es Nebeneffekte, wie wichtig sind sie? Wirtschaftlichkeit Steht das Erreichte in einem vernünftigen Verhältnis zum Aufwand (an Zeit, Geld, Nerven)? Hat es sich gelohnt, warum, für wen? Lernen und Innovation Welche neuen Erkenntnisse habe ich gewonnen? Welche Erfahrungsmöglichkeiten sind wichtig? Was lässt sich verbessern, was übertragen? Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

7. Österreichische Gesundheitsförderungskonferenz Dimensionen von Evaluation Strukturqualität Prozessqualität Ergebnisqualität Personal Information Kundenzufriedenheit Sachmittel Kommunikation Wirksamkeit Ausstattung Kooperation Mitarbeiterzufriedenheit Räumlichkeiten Entscheidungswege gesell. Verantwortung Pädag. Konzept Dokumentation Effizienz Qualifikation Koordination Effektivität Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Grundlagen der Bewertung

Steuerungsformen von Systemen Input-Kontrolle (Filter) Auswahlverfahren, danach eigenständiges Verhalten Verhaltenskontrolle Verhalten wird teilweise detailliert vorgegeben Output-Kontrolle (Ergebnisorientierung) Zielvorgabe, Weg ist eigenständig Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

7. Österreichische Gesundheitsförderungskonferenz Steuerungsformen Filter „Macht“ Ziele, Mittel INPUT SYSTEM VERHALTEN OUTPUT Inputkontrolle Input- vorgaben Kontrolle „Macht“ Ziele, Mittel INPUT SYSTEM VERHALTEN OUTPUT Verhaltenskontrolle Handlungs- vorgaben Kontrolle „Macht“ Ziele, Mittel INPUT SYSTEM VERHALTEN OUTPUT Ergebniskontrolle Ziele Kontrolle Optimierung der Verhaltens- steuerung Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005 Darstellung nach Wottawa, H. & Thierau, H. (1998). S. 28.

Drei Zugänge zum Wissen Subjektiv durch Bewertung und eigene Reflexion Intersubjektiv durch Informationsaustausch, Diskussion und Konsensprozess Objektiv durch Datenerhebung und -auswertung Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Evaluation und Zielentwicklung Unterscheiden zwischen Maßnahme, Ziel und Ergebnis Ein Ergebnis habe ich immer! Der Weg ist der Weg und das Ziel ist das Ziel. Ein Ziel ist Voraussetzung, damit ich die richtige Maßnahme treffen kann. Maßnahmen, die Schlüsselprozesse sind, eignen sich als Mittel/Weg, um das Ziel zu erreichen. Anhand des Ziels kann ich das Ergebnis überprüfen. Auch Maßnahmen/Schlüsselprozesse haben (Prozess)ziele! Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Evaluation als Förderung von Qualität

Qualitätsmanagement und Evaluation Qualitätsmanagement umfaßt ein System an qualitäts-sichernden Maßnahmen einer Einrichtung Evaluation ist darin ein Baustein bzw. methodisches Element, beinhaltet aber darüber hinaus weitere Schritte der Selbst- und Fremdevaluationen (siehe Anhang) Evaluation Qualitäts-management Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Qualitätsmanagement-Kreislauf Leitbild Qualitätspolitik -Strategie Evaluation Qualitätsziele Strukturqualität Prozessqualität Ergebnisqualität Kundenorientiert Mitarbeiterinnenorientiert Zielorientiert Prozessorientiert Ist- Analyse Schlüsselprozesse Dokumentation Prozess-Verbesserungen Qualitätszirkelarbeit Qualitätsstandards QM-Handbuch Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Geschäfts- ergebnisse Das Modell der European Foundation for Quality Management Lernen & Innovation 5 Prozesse 1 Führung 9 Geschäfts- ergebnisse 2 Politik & Strategie 3 Mitarbeiter- orientierung 4 Partnerschaften & Ressourcen 6 Kunden- Zufriedenheit 7 Mitarbeiter- zufriedenheit 8 Gesellschaftl. Verantwortung / Image Befähiger Resultate Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Die RADAR-Logik anwenden Die gewünschten Ergebnisse bestimmen (Results) Vorgehen und dessen Umsetzung bewerten und überprüfen (Assess and Review) Vorgehen und dessen Umsetzung planen und erarbeiten (Approach) Vorgehen umsetzen (Deploy) Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Evaluation als Förderung von Lernen

Empowerment-Evaluation als gemeinsamer Lernprozess Förderung der Zusammenarbeit verschiedener Interessensgruppen (stakeholder) Vorhandene Stärken entdecken und fördern Training neuer Fertigkeiten Soziale Aktion unterstützen Neue Prozesse/Möglichkeiten entdecken Empowerment für Professionelle anstossen Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Empowermentebenen Die drei Ebenen von Empowerment werden verbunden .. … durch gemeinsame Werte (lernende Gemeinschaften) Methoden: Narrative Analyse, Dialog, Szenarios Werte Überzeugungen Geist Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Ergebnisorientierte Evaluation zur Förderung von Empowerment Einflußfaktoren auf Gesundheitsdeterminanten Gesundheit der Bevölkerung Maßnahmen der Gesundheitsförderung Gesundheitsdeterminanten Gesundheits förderliche Angebote Zusammenarbeit mit Organisationen Soziale Mobilisierung Entwicklung persönlicher Kompetenzen Angebote der GF Strategien/Politik der GF GF soziales Potential und Engagement Individuelle Gesundheits kompetenzen Ges.förderliche materielle Umwelt Ges. förderliche Soziale Umwelt personale Ressourcen Und Verhaltensmuster Gesteigerte Lebens erwartung und Lebens qualität Verringerte Morbidität vorzeitige Mortalität Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005

Balance zwischen Lernen und Zeit Kairos Werte Soziale Verantwortung Persönliches Wachstum Metis Dialog Lernende Gemeinschaften Innovation Inspiration Jim Highsmith, for most of you a well known software developer, consultant and manager - in a small paper reminded me on another challenge which has to be added to the task of balancing. He refers to a book of Stewart Brand, for me one of the most impressive „borderlining“ persons of our time: "How Buildings Learn is a masterful new synthesis that proposes that buildings adapt best when constantly refined and reshaped by their occupants, and that architects can mature from being artists of space to becoming artists of time," states the cover introduction to a wonderful book on building architecture by Stewart Brand.3 To paraphrase Brand, IT managers and software architects need to progress from being designers of structure to becoming architects of time. If we view the world as stable and predict-able, then change will be viewed as a temporary aberration on the way from one stable place to another. If we view the world from the perspective that everything is unpredictable -- that is, complete randomness -- then we become immobilized with fear and indecision. Architects of time understand that everything does in fact change, but with different-length time cycles. Adaptive managers understand the middle ground: balancing the past and the future, separating stabilizing forces from destabilizing ones, and driving change instead of being driven by change. Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz 25. Mai 2005