Grundlagen der Evaluation Evaluierung in der Gesundheitsförderung UPH, Modul E Christine Neuhold Graz, 14./15. Jänner 2010

Verortung der Begriffe Evaluation, Evidenzbasierung und QM im Public Health Action Cycle EvaluationBewertung Problem-definition Implementation/ Umestzung Qualitätsmanagement Strategie-formulierung auf Basis wiss. Evidenz Kolip, 2006

Was bedeutet Evaluation? ... die Bewertung einer aktuellen, realen Intervention hinsichtlich verschiedener Dimensionen oder Kriterien im Vergleich zu einem erwarteten, angestrebten Ziel. (vgl. Pelikan et al.)

Dimensionen/Kriterien (I) Akzeptabilität Anschlussfähigkeit für Betroffene und beteiligte Stakeholder Machbarkeit Sind Interventionen unter best. lokalen Bedingungen, technisch und praktisch implementierbar und kontinuierlich realisierbar? Effektivität Inwieweit kann einen Intervention die erwarteten Wirkungen auch tatsächlich bewirken?

Dimensionen/Kriterien (II) Nachhaltigkeit Bei nachhaltigen Interventionen müssen die erwünschten Effekte auch längerfristig möglich sein, unerwünschte dürfen nicht überwiegen. Effizienz bedeutet ein günstiges Kosten-Nutzen-Verhältnis einer Intervention. = besonders schwierig! a) kein wiss. Konsens über die Messung von Gesundheitsgewinn b) kein Konsens über die Kostenäquivalenz von Gesundheit

Evaluationsforschung vor einer Maßnahme während einer Maßnahme nach einer Maßnahme Evaluation der Programm- konzeption Evaluation der Programm-durchführung Evaluation der Programm-wirkung Antizipatorische oder prospektive Evaluation Prozessevaluationoder Begleitforschung Ergebnis- oder Output-Evaluation

Evaluationstypen (I) Ergebnis- versus Prozessevaluation beobachtet und rekonstruiert den Prozess der Intervention Ziel: festzustellen, ob die geplante Intervention verwirklicht werden konnte Methoden: Dokumentation, Beobachtungen, Befragungen Voraussetzung: detaillierte Planung von Zielen, Schritten und Phasen

Evaluationstypen (II) Ergebnis- versus Prozessevaluation ERGEBNISEVALUATION konzentriert sich auf die Feststellung der Effekte des Programms Ziel: Entscheidungsgrundlage für Beibehalten, Modifizieren oder Beenden der Intervention Methoden: Befragungen Voraussetzung: ein Set von Zielen/Kriterien und Indikatoren Konnten die vorab definierten Ziele der Intervention erreicht werden?

Evaluationstypen (III) Summative versus formative Evaluation FORMATIVE EVALUATION = Evaluationsforschung, die während der Programm-entwicklung durchgeführt wird, eine Form der Qualitätssicherung Ziel: Programme umzuformen und zu verbessern Methoden: eher qualitativ, Beobachtungen, Austausch

Evaluationstypen (IV) Summative versus formative Evaluation SUMMATIVE EVALUATION = zusammenfassende Beurteilung einer Intervention, nach Abschluss eines Programms Ziel: Bewertung der Programmwirkung

Evaluationstypen (V) Selbst- versus Fremdevaluation SELBSTEVALUATION wird von AkteurInnen durchgeführt, die auch die Intervntion durchführen + kennen das Projekt sehr gut + wissen welche Informationen sie brauchen „zu nahe“ an der Intervention Ergebnisse sind nur bedingt „objektiv“ Qualifikation der AkteurInnen –methodisch korrekte Durchführung

Evaluationstypen (VI) Selbst- versus Fremdevaluation FREMDEVALUATION wird von externen Personen durchgeführt + meist sehr gute Qualifikation ist meist teurer besteht das Risiko, dass Daten erhoben werden, die von AkteurInnen und Stakeholdern nicht gebraucht werden.

Evaluationsdesigns in der Epidemiologie und im Setting-Ansatz Dimensionen Epidemiologie Setting-Ansatz Forschungsdesign Kontrollgruppen-designs Fallstudien Benchmarking Art der Evaluation experimentelle Forschung Aktionsforschung Rolle der EvaluatorrInnen extern intern und/oder extern Indikatoren für Veränderungen Auftreten best. Krankheitsmerkmale bei Personen Gesundheits-/krankheitsspezifische Faktoren und Potentiale des Settings Evaluierte Aspekte der Intervention Ergebnisse Prozess und Ergebnisse

Aktionsforschungsprozess Forschungsausgangspunkt Sammeln von Daten (Beobachtung, Interview, Gespräch, Fragebogen) Analyse von Daten Entwicklung und Erprobung von Handlungsstrategien Reflexion Medium sind Tagebücher Aktion Aktion Aktion Zyklus von Aktion und Reflexion

Evaluationsdesigns in der Epidemiologie und im Setting-Ansatz Dimensionen Epidemiologie Setting-Ansatz Relevante Dimensionen Effektivität, Effizienz Akzeptabilität, Machbarkeit, Effektivität/Effizienz, Nachhaltigkeit Forschungsmethoden quantitativ qualitativ und quantitativ Stakeholder ExpertInnen der Profession, Scientific Community lokale Stakeholder, ExpertInnen der Profession, Scientific Community Method. Entwicklungen Klinische Studien regionale Entwicklungen, Organisationsent-wicklung, Ansätze der Qualitätssicherung und Entwicklung

Elemente der Evaluation Evaluationsfragen Zielerreichung, Lernen, Legitimation, Kontrolle Planen Was müssen wir wissen, um Fragen zu beantworten? Daten sammeln Protokolle, Fotos, Zahlen & Fakten, Interviews... Daten auswerten intern, extern; Prozess, Ergebnis Berichten schriftlicher Bericht, Rückmeldung an Setting/Auftraggeber, Tagungen, Publikationen Lernen Was lernen wir und andere daraus, was würden wir anders machen?

Evaluation bevölkerungsbezogener Maßnahmen

Merkmale der Maßnahmen allgemein komplex partizipativ langlebig flexibel und anpassungsfähig

Kernprobleme der Evaluation (A) Ermittlung der Fragestellung (B) Festlegung des Evaluationsdesigns (C) Auswahl und Festlegung der Ergebnisvariablen (D) Analyse der Daten (E) Wahl der Evaluatorenrolle

(A) Ermittlung der Fragestellung (I) ? Evaluationsfrage = Effekt der Maßnahme ? Black-Box-Evaluation Input Output ?

(A) Ermittlung der Fragestellung (II) ? Evaluationsfrage = kausale Mechanismen der Maßnahme aufdecken ? Wie bringt die Maßnahme die erwartete Wirkung hervor? Prozessevaluation ? Gibt es ein Interventionsmodell ? Ergebnisevaluation ? realistische Evaluation

kontextuellen Merkmalen (A) Ermittlung der Fragestellung (III) realistische Evaluation … liegt der Schwerpunkt auf einer Verbindung der Wirkmechanismen der Maßnahmen mit den kontextuellen Elementen. (vgl. Pawson et al. 2005) Was bewirkt die Maßnahme für wen und unter welchen Umständen? kontextuellen Merkmalen Ziel: Informationen über die Interaktion zwischen … Maßnahmen- verlauf Ergebnissen

(A) Ermittlung der Fragestellung (IV) Eingrenzung der Evaluationsfragen: Grundsätzlich sollten alle an der Maßnahme Beteiligten auch an der Formulierung der relevanten Forschungsfragen beteiligt sein. = „Partizipative Forschung“ Cargo & Mercer (2008)

(B) Festlegung des Evaluationsdesigns (I) Zwei Hauptprobleme: Zuweisung der Gemeinden entweder zur Kontroll- oder zur Interventionsgruppe 2. Sicherstellung, dass in der Kontrollgruppe keine Intervention stattfindet. !Übliche wiss. Kriterien die sich auf standardisierte, wiederholbare und formalisierbare Verfahren stützen sind hier nicht anwendbar!

(C) Auswahl und Festlegung der Ergebnisvariablen (I) (C) Auswahl und Festlegung der Ergebnisvariablen (I) Was soll gemessen werden und auf welchem Niveau? Zwei Fragen: Entwicklung und Gültigkeit von angemessenen Indikatoren auf Populationsebene 2. Art der Bestimmung der Studienpopulation und auf welcher Ebene der Gesamtbevölkerung das Verfahren und die Ergebnisse beurteilt werden.

(C) Auswahl und Festlegung der Ergebnisvariablen (II) (C) Auswahl und Festlegung der Ergebnisvariablen (II) Was soll gemessen werden und auf welchem Niveau? Gute Voraussetzung: Definieren von Wirkmechanismen im Interventionsmodell (z.B. Schweizer Ergebnismodell), um unterschiedliche Indikatoren einzuschließen. Z.B. Systembezogene Indikatoren, Umweltbezogene Ind., Individuelle Ind. etc.

3 Kategorien bevölkerungsbezogener Indikatoren (I) (Cheadle et al Individuell disaggregiert Daten aus Beobachtung von Individuen innerhalb best. geografischer Grenzen. Indikatoren, die den sozioökonomischen Status dieses Gebiets kennzeichnen. Z.B. mittleres EK, Zahl alleinerziehender Mütter etc.

3 Kategorien bevölkerungsbezogener Indikatoren (II) (Cheadle et al Individuell aggregiert personenbezogene Daten werden zu komplexen Indizes aggregiert. Z.B. Deprivationsindex umfasst 6 Indikatoren: - Personen ohne Abitur - Verhältnis der beschäftigten zur Wohnbevölkerung - durchschnittliches EK - Anteil der getrennt lebenden, geschiedenen, verwitweten Personen - Anteil von Familien mit einem Elternteil - Anteil der Allein Lebenden

3 Kategorien bevölkerungsbezogener Indikatoren (III) (Cheadle et al (3) umfeldbezogen Beobachtung des Umfeldes und die Entwicklungen in einer Gemeinde, die keine personenbezogenen Merkmale sind. Systembezogene Indikatoren z.B. Indikator des Fettverzehrs, der sich auf die Erhebung von Regalmetern im Supermarkt bezieht. Indikator der Verankerung: Gemeinderatsbeschluss Indikator für Verankerung und Leadership: Steuergruppe etc.

Auswahl der Indikatoren Indikatoren sollten wichtigen Elementen im Interventionsmodell entsprechen Indikatoren zur Erfassung der Umfeldprozesse sollten einbezogen werden. Z.B. Geko (Generationenübergreifende Kooperation)

Das Ergebnismodell am Beispiel Geko Gesundheit C1 Materielle Umwelt C2 Soziale/gesellschaftliche Umwelt C3 Personale Ressourcen/ Verhalten B 1-3 Ziel 1: Die GG-TN haben an WS /Infoveranstaltungen teilgenommen. B 1-4 Ziel 2: Ein regionaler Auftraggeber wird gefunden. C 1-3 Vision 1: Nachhaltige Verankerung von Geko in der Region B 1-4 Ziel 3: Projektträger Styria vitalis & Landentwicklung Stmk. C 1-3 Vision 2: Es entstehen auch Produkte der Initiativgruppen B 2-2 Ziel 4: Die Gemeinden unterzeichnen Kooperationsabkommen. B 2-4 Ziel 5: Jede Gemeinde nominiert 2 Zuständige für die Großgruppe C 1-3 Vision 3: Jugendliche und Erwachsene gestalten gemeinsam eine gesundheitsfördernde Lebenswelt B 2-1 Ziel 6: Jede Gemeinde zahlt in einen regionalen Projektfonds B 3-1 Ziel 7: Es entstehen viele Initiativgruppen C 2-1 Vision 4: Netzwerkstruktur zur Planung und Implementierung von Beteiligungsprojekten B 3-3 Ziel 8: Über Geko wird in den regionalen Medien regelmäßig berichtet. C3-1 Vision 5 GG TN leben die Grund-prinzipien der Gesundheitsförderung B 4-3 Ziel 9: Die GG TN wenden partizipative Methoden an. B 2-1 Ziel 10: Der Genderaspekt wird bei der Planung von Initiativen berücksichtigt.

(D) Die Analyse der Daten Datenanalyse richtet sich an Populationen oder Communities - individuelle Variablen - bevölkerungsbezogene Variablen 2. Art der Bestimmung der Studienpopulation und auf welcher Ebene der Gesamtbevölkerung das Verfahren und die Ergebnisse beurteilt werden.

(E) Die Beziehung zwischen Evaluator und Maßnahme (I) Trend: paritizipativer Forschung  Evaluator = Begleiter „Empowerment Evaluation“ Ein Prozess, der auf Zusammenarbeit, auf Interaktion und auf Wiederholung zielt.

(E) Die Beziehung zwischen Evaluator und Maßnahme (II) 4 Gründe für den beteiligungsorientierten Ansatz: um den Prozess der Wissensfortschritte zu entmystifizieren und zu demokratisieren um die Evaluation als einen unverzichtbaren Bestandteil der Maßnahme zu etablieren um das Selbstverständnis der Gemeinde, das Engagement der beteiligten Stellen und die Nutzung der Ergebnisse zu erweitern um die Evaluatoren mit dem kontextuellen Wissen der Teilnehmer auszustatten und so die Bedeutsamkeit der Ergebnisse zu steigern.

4 Empfehlungen für qualitative hochwertige Evalutaionen Evaluation ist Teil der Maßnahme, lokales Wissen (=empirisches Wissen) gewinnt durch den Prozess der Wiederholbarkeit wiss. Anerkennung. Experimentelle und quasi experimentelle Evaluationen von bevölkerungsbezogenen Maßnahmen sind kaum in der Lage positive Effekte nachzuweisen. Die Anwendung alternativer Methoden sollte gefördert werden. Verwendung von Indikatoren auf Sozialer-, Umfeld- und Bevölkerungsebene. Es herrscht dringender Bedarf bessere Indikatoren zu entwickeln. Rolle und Einfluss der Partizipation der Bevölkerung für die Evaluation. Partizipation ist notwendig um die Validität der Ergebnisse sicher zu stellen? (wie ist noch unklar, zu wenig empirische Daten)

Literatur Dür, W. & Pelikan, J.M.: Qualität in der Gesundheitsförderung. Ansätze und Beispiele zur Qualitätsentwicklung und Evaluation. Facultas Verlag 1998. Potvin, L., Richard, L., Mercille, G.: Die evaluation von bevölkerungsbezogenen Maßnahmen der Gesundheitsförderung. In: Kolip, P. & Müller, V. E. (Hrsg.): Qualität von Gesundheitsförderung und Prävention. Bern: Huber 2009, S. 241 – 277.