Wilhelm Frank, Hubert Lobnig 7. Österreichische Gesundheitsförderungs- konferenz St. Veit/Glan 25. Mai 2005

Selbstevaluation Wilhelm Frank – ARWIG (Arbeitskreis wissenschaftsbasierte Gesundheitsversorgung) Hubert Lobnig – Lemon Consulting

Wilhelm Frank, Hubert Lobnig Begriffliches Selbstevaluation interne Evaluation Selbstevaluation interne Evaluation Aber: Selbstevaluation ist immer interne Evaluation Aber: Selbstevaluation ist immer interne Evaluation Engl.: self conducted evaluation oder autonomous evaluation Engl.: self conducted evaluation oder autonomous evaluation Akteure Akteure

Wilhelm Frank, Hubert Lobnig Selbstevaluation Definition: Unter Selbstevaluation werden systematische, datenbasierte Verfahren der Beschreibung und Bewertung verstanden, bei denen die praxisgestaltenden Akteure identisch sind mit den evaluierenden Akteuren. Die Akteure sind daher in einer Doppelrolle

Wilhelm Frank, Hubert Lobnig Selbstevaluation Hauptfragen: Worüber will ich mehr wissen? Hauptfragen: Worüber will ich mehr wissen? Was will ich verbessern? Was will ich verbessern? Wie stelle ich die Intervention zählbar und messbar fest? Wie stelle ich die Intervention zählbar und messbar fest? Etc. Etc. Ziel: eigenes Handeln zu verbessern bzw. die Qualität zu belegen und zwar planmäßig, dokumentiert und nachvollziehbar. Ziel: eigenes Handeln zu verbessern bzw. die Qualität zu belegen und zwar planmäßig, dokumentiert und nachvollziehbar.

Wilhelm Frank, Hubert Lobnig Evaluation - Selbstevaluation Externe Evaluation Externe Evaluation Objektiver Objektiver Glaubwürdiger für Dritte Glaubwürdiger für Dritte stark quantitativ stark quantitativ Extern gefordert Extern gefordert Einfaches Feedback Einfaches Feedback Selbstevaluation Selbstevaluation Rascher Rascher Billiger Billiger Quantitativ und qualitativ Quantitativ und qualitativ Eigenmotivation Eigenmotivation Doppelte Rückkoppelung Doppelte Rückkoppelung

Wilhelm Frank, Hubert Lobnig Selbstevaluation Unterstützt Veränderungsprozesse in kleinen Schritten Unterstützt Veränderungsprozesse in kleinen Schritten Rasche Rückmeldung über Irrtümer oder Erfolgspfade Rasche Rückmeldung über Irrtümer oder Erfolgspfade Schon kurzfristig positive Auswirkungen für die eigene Arbeit im Team oder in der Institution Schon kurzfristig positive Auswirkungen für die eigene Arbeit im Team oder in der Institution

Wilhelm Frank, Hubert Lobnig Evaluation – nur Gutes? Evaluation ist generell negativ besetzt Evaluation ist generell negativ besetzt Kontrolle, Controlling, externe Überprüfung, Kontrolle, Controlling, externe Überprüfung, Aber: Aber: Selbstevaluation ist etwas anderes!!!!! Selbstevaluation ist etwas anderes!!!!! Positive Einstellung zur Selbstevaluation macht Sinn, vor allem für sich selbst

Wilhelm Frank, Hubert Lobnig Selbstevaluation - Bedingungen Erfordern Gestaltungsspielräume Erfordern Gestaltungsspielräume Klärung der Evaluationsaufgabe Klärung der Evaluationsaufgabe Verantwortungsdelegation Verantwortungsdelegation Strategien der Informationsverbreitung (auch der Ergebnisse) Strategien der Informationsverbreitung (auch der Ergebnisse) Transparenz und vor allem Vertrauen als Grundlage Transparenz und vor allem Vertrauen als Grundlage Ressourcen Ressourcen

Wilhelm Frank, Hubert Lobnig Selbstevaluation - Methoden Qualitative Methoden – Quantitative Methoden Qualitative Methoden – Quantitative Methoden Erfordern Dokumentation, Aufzeichnungen Erfordern Dokumentation, Aufzeichnungen Erinnern wir uns: Erinnern wir uns: SYSTEMATISCHE sowie SYSTEMATISCHE sowie DATENBASIERTE Vorgehensweisen DATENBASIERTE Vorgehensweisen

Wilhelm Frank, Hubert Lobnig Qualitative Methoden Interviews mit Klienten, Projektleitern, Auftraggebern, Beobachtern Interviews mit Klienten, Projektleitern, Auftraggebern, Beobachtern Experteninterviews Experteninterviews Reviews, Peer- Reviews Reviews, Peer- Reviews - Audits - teilnehmende Beobachtungen - Klausuren oder Meetings mit dem Evaluationscharakter - Analyse von Prozessdokumenten

Wilhelm Frank, Hubert Lobnig Prozessdokumente Daten aus dem Projektverlauf: Daten aus dem Projektverlauf: Tagesnotizen, Protokolle, Unterlagen von Sitzungen Tagesnotizen, Protokolle, Unterlagen von Sitzungen Notizen (Feldnotizen, Beobachtungen) Notizen (Feldnotizen, Beobachtungen) - Arbeitsaufzeichnungen (Working diaries, lfd. Arbeitsprotokolle) - Ereignisbeschreibungen (nicht triviale besondere Ereignisse) - Berichte (Zwischenberichte etc.) - Experteneinschätzungen (Audits) Eckdaten des Settings: - Krankenstände, Dienstpläne, Absenzen, Materialienverbrauch

Wilhelm Frank, Hubert Lobnig Selbstevaluation – Methoden II Systematisch strukturiert Design Systematisch strukturiert Design Datenbasiert methodenorientiert Datenbasiert methodenorientiert Selbstevaluation ist ebenfalls zu planen im Sinne von: Selbstevaluation ist ebenfalls zu planen im Sinne von: Welche Daten werden (vom Akteur selbst) wann, womit, mit welchem Zweck, erhoben (Design) Welche Daten werden (vom Akteur selbst) wann, womit, mit welchem Zweck, erhoben (Design)

Wilhelm Frank, Hubert Lobnig Verwertungsstrategien Design determiniert weitgehend die Verwertbarkeit der Daten Design determiniert weitgehend die Verwertbarkeit der Daten Korrekte Verwertung der Daten durch Methoden der empirischen Sozialforschung / Statistik Korrekte Verwertung der Daten durch Methoden der empirischen Sozialforschung / Statistik

Wilhelm Frank, Hubert Lobnig Selbstevaluation als Kommunikationsprozess Die Positionierung der Evaluation im Projekt - Supporting: Unterstützung der Entscheidungsträger durch Übermittlung von Informationen über Programme, Zielsetzungen, Ergebnisse, Faktoren, die zu effizienterem Einsatz von Mitteln und Personen führen könnten, etc… Die Positionierung der Evaluation im Projekt - Supporting: Unterstützung der Entscheidungsträger durch Übermittlung von Informationen über Programme, Zielsetzungen, Ergebnisse, Faktoren, die zu effizienterem Einsatz von Mitteln und Personen führen könnten, etc… - Diagnosing: Identifizierung von Problemen, Unterstützung bei der Entwicklung von Problemlösungsstrategien

Wilhelm Frank, Hubert Lobnig Selbstevaluation als Kommunikationsprozess Consulting: Bereitstellung relevanter Informationen für Problemlösungen auf der Basis von Evaluationsdaten und – ergebníssen. Unterstützung in der Benutzung der Daten für die Weiterentwicklung der Projekte. Consulting: Bereitstellung relevanter Informationen für Problemlösungen auf der Basis von Evaluationsdaten und – ergebníssen. Unterstützung in der Benutzung der Daten für die Weiterentwicklung der Projekte. Informing: Kommunikation der Daten in verständlicher Form und unter Berücksichtigung zeitlicher Verpflichtungen und Entwicklungen Informing: Kommunikation der Daten in verständlicher Form und unter Berücksichtigung zeitlicher Verpflichtungen und Entwicklungen Linking: Benützen und Kommunizieren von Informationen aus unterschiedlichen Teilen der Organisation bzw. des Projektes, Verbindungen mit Informationen aus der relevanten Umwelt der Organisation herstellen. Linking: Benützen und Kommunizieren von Informationen aus unterschiedlichen Teilen der Organisation bzw. des Projektes, Verbindungen mit Informationen aus der relevanten Umwelt der Organisation herstellen.

Wilhelm Frank, Hubert Lobnig Ergebnisinterpretation Bei jeder Analyse: Vorsicht vor dem alles dominierenden Effekt des ZUFALLS Bei jeder Analyse: Vorsicht vor dem alles dominierenden Effekt des ZUFALLS Wäre abgedeckt durch die schließende Statistik, erfordert jedoch spezielle Kenntnisse, daher eher selten Wäre abgedeckt durch die schließende Statistik, erfordert jedoch spezielle Kenntnisse, daher eher selten Bedenke: wir haben i.d.R. keine Normwerte, Referenzwerte, Standards Interpretation birgt die Gefahr von Fehlschlüssen Bedenke: wir haben i.d.R. keine Normwerte, Referenzwerte, Standards Interpretation birgt die Gefahr von Fehlschlüssen

Wilhelm Frank, Hubert Lobnig

Selbstevaluation - Standards Nützlichkeit Nützlichkeit Durchführbarkeit Durchführbarkeit Fairness Fairness Genauigkeit Genauigkeit Quelle: DeGEval, Empfehlungen Quelle: DeGEval, Empfehlungen

Wilhelm Frank, Hubert Lobnig Selbstevaluation - Nützlichkeit Identifizierung der Beteiligten und Betroffenen Identifizierung der Beteiligten und Betroffenen Klärung der Evaluationszwecke Klärung der Evaluationszwecke Glaubwürdigkeit und Kompetenz des Evaluators (der Evaluatorin) Glaubwürdigkeit und Kompetenz des Evaluators (der Evaluatorin) Auswahl und Umfang der Information Auswahl und Umfang der Information Transparenz von Werten Transparenz von Werten Vollständigkeit und Klarheit der Berichterstattung Vollständigkeit und Klarheit der Berichterstattung Rechtzeitigkeit Rechtzeitigkeit Nutzung und Nutzen der Evaluation Nutzung und Nutzen der Evaluation

Wilhelm Frank, Hubert Lobnig Selbstevaluation - Durchführbarkeit Angemessene Verfahren Angemessene Verfahren Diplomatisches Vorgehen Diplomatisches Vorgehen Effizienz der Evaluation Effizienz der Evaluation

Wilhelm Frank, Hubert Lobnig Selbstevaluation - Fairness Formale Vereinbarungen Formale Vereinbarungen Schutz individueller Rechte Schutz individueller Rechte Vollständige und faire Überprüfung Vollständige und faire Überprüfung Unparteiische Durchführung und Berichterstattung Unparteiische Durchführung und Berichterstattung Offenlegung der Ergebnisse Offenlegung der Ergebnisse

Wilhelm Frank, Hubert Lobnig Selbstevaluation - Genauigkeit Beschreibung des Evaluationsgegenstandes Beschreibung des Evaluationsgegenstandes Kontextanalyse Kontextanalyse Beschreibung von Zwecken und Vorgehen Beschreibung von Zwecken und Vorgehen Angabe der Informationsquellen Angabe der Informationsquellen Valide und reliable Informationen Valide und reliable Informationen Systematische Fehlerprüfung Systematische Fehlerprüfung Analyse qualitativer und quantitativer Informationen Analyse qualitativer und quantitativer Informationen Begründete Schlussfolgerungen Begründete Schlussfolgerungen Meta-Analysen Meta-Analysen

Bitte um IHRE Wortmeldungen Bei Fragen: bzw.