Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

14/15 01 2010 UPH / Modul E Neuhold Christine Grundlagen der Evaluation Evaluierung in der Gesundheitsförderung UPH, Modul E Christine Neuhold Graz, 14./15.

Ähnliche Präsentationen


Präsentation zum Thema: "14/15 01 2010 UPH / Modul E Neuhold Christine Grundlagen der Evaluation Evaluierung in der Gesundheitsförderung UPH, Modul E Christine Neuhold Graz, 14./15."—  Präsentation transkript:

1 14/ UPH / Modul E Neuhold Christine Grundlagen der Evaluation Evaluierung in der Gesundheitsförderung UPH, Modul E Christine Neuhold Graz, 14./15. Jänner 2010

2 14/ UPH / Modul E Neuhold Christine Problem- definition Strategie- formulierung Implementation/ Umestzung Evaluation Bewertung Verortung der Begriffe Evaluation, Evidenzbasierung und QM im Public Health Action Cycle auf Basis wiss. Evidenz Qualitätsmanagement Kolip, 2006

3 14/ UPH / Modul E Neuhold Christine Was bedeutet Evaluation?... die Bewertung einer aktuellen, realen Intervention hinsichtlich verschiedener Dimensionen oder Kriterien im Vergleich zu einem erwarteten, angestrebten Ziel. (vgl. Pelikan et al.)

4 14/ UPH / Modul E Neuhold Christine Dimensionen/Kriterien (I) Akzeptabilität Anschlussfähigkeit für Betroffene und beteiligte Stakeholder Machbarkeit Sind Interventionen unter best. lokalen Bedingungen, technisch und praktisch implementierbar und kontinuierlich realisierbar? Effektivität Inwieweit kann einen Intervention die erwarteten Wirkungen auch tatsächlich bewirken?

5 14/ UPH / Modul E Neuhold Christine Dimensionen/Kriterien (II) Nachhaltigkeit Bei nachhaltigen Interventionen müssen die erwünschten Effekte auch längerfristig möglich sein, unerwünschte dürfen nicht überwiegen. Effizienz bedeutet ein günstiges Kosten-Nutzen-Verhältnis einer Intervention. = besonders schwierig! a) kein wiss. Konsens über die Messung von Gesundheitsgewinn b) kein Konsens über die Kostenäquivalenz von Gesundheit

6 14/ UPH / Modul E Neuhold Christine Evaluationsforschung während einer Maßnahme vor einer Maßnahme nach einer Maßnahme Evaluation der Programm- konzeption Evaluation der Programm- durchführung Evaluation der Programm- wirkung Antizipatorische oder prospektive Evaluation Prozessevaluation oder Begleitforschung Ergebnis- oder Output-Evaluation

7 14/ UPH / Modul E Neuhold Christine Evaluationstypen (I) Ergebnis- versus Prozessevaluation PROZESSEVALUATION beobachtet und rekonstruiert den Prozess der Intervention Ziel:festzustellen, ob die geplante Intervention verwirklicht werden konnte Methoden: Dokumentation, Beobachtungen, Befragungen Voraussetzung: detaillierte Planung von Zielen, Schritten und Phasen

8 14/ UPH / Modul E Neuhold Christine Ergebnis- versus Prozessevaluation ERGEBNISEVALUATION konzentriert sich auf die Feststellung der Effekte des Programms Ziel:Entscheidungsgrundlage für Beibehalten, Modifizieren oder Beenden der Intervention Methoden: Befragungen Voraussetzung: ein Set von Zielen/Kriterien und Indikatoren Evaluationstypen (II) Konnten die vorab definierten Ziele der Intervention erreicht werden?

9 14/ UPH / Modul E Neuhold Christine Evaluationstypen (III) Summative versus formative Evaluation FORMATIVE EVALUATION = Evaluationsforschung, die während der Programm- entwicklung durchgeführt wird, eine Form der Qualitätssicherung Ziel:Programme umzuformen und zu verbessern Methoden: eher qualitativ, Beobachtungen, Austausch

10 14/ UPH / Modul E Neuhold Christine Evaluationstypen (IV) Summative versus formative Evaluation SUMMATIVE EVALUATION = zusammenfassende Beurteilung einer Intervention, nach Abschluss eines Programms Ziel:Bewertung der Programmwirkung

11 14/ UPH / Modul E Neuhold Christine Evaluationstypen (V) Selbst- versus Fremdevaluation SELBSTEVALUATION wird von AkteurInnen durchgeführt, die auch die Intervntion durchführen +kennen das Projekt sehr gut +wissen welche Informationen sie brauchen -„zu nahe“ an der Intervention -Ergebnisse sind nur bedingt „objektiv“ -Qualifikation der AkteurInnen –methodisch korrekte Durchführung

12 14/ UPH / Modul E Neuhold Christine Evaluationstypen (VI) Selbst- versus Fremdevaluation FREMDEVALUATION wird von externen Personen durchgeführt +meist sehr gute Qualifikation -ist meist teurer -besteht das Risiko, dass Daten erhoben werden, die von AkteurInnen und Stakeholdern nicht gebraucht werden.

13 14/ UPH / Modul E Neuhold Christine Evaluationsdesigns in der Epidemiologie und im Setting-Ansatz DimensionenEpidemiologieSetting-Ansatz ForschungsdesignKontrollgruppen- designs Fallstudien Benchmarking Art der Evaluationexperimentelle Forschung Aktionsforschung Rolle der EvaluatorrInnen externintern und/oder extern Indikatoren für Veränderungen Auftreten best. Krankheitsmerkmale bei Personen Gesundheits- /krankheitsspezifische Faktoren und Potentiale des Settings Evaluierte Aspekte der Intervention ErgebnisseProzess und Ergebnisse

14 14/ UPH / Modul E Neuhold Christine Aktionsforschungsprozess Forschungsausgangspunkt Sammeln von Daten (Beobachtung, Interview, Gespräch, Fragebogen) Analyse von Daten Entwicklung und Erprobung von Handlungsstrategien Reflexion Medium sind Tagebücher Zyklus von Aktion und Reflexion Aktion

15 14/ UPH / Modul E Neuhold Christine Evaluationsdesigns in der Epidemiologie und im Setting-Ansatz DimensionenEpidemiologieSetting-Ansatz Relevante Dimensionen Effektivität, Effizienz Akzeptabilität, Machbarkeit, Effektivität/Effizienz, Nachhaltigkeit Forschungsmethodenquantitativ qualitativ und quantitativ StakeholderExpertInnen der Profession, Scientific Community lokale Stakeholder, ExpertInnen der Profession, Scientific Community Method. Entwicklungen Klinische Studien regionale Entwicklungen, Organisationsent- wicklung, Ansätze der Qualitätssicherung und Entwicklung

16 14/ UPH / Modul E Neuhold Christine Elemente der Evaluation Evaluationsfragen Zielerreichung, Lernen, Legitimation, Kontrolle Planen Was müssen wir wissen, um Fragen zu beantworten? Daten sammeln Protokolle, Fotos, Zahlen & Fakten, Interviews... Daten auswerten intern, extern; Prozess, Ergebnis Berichten schriftlicher Bericht, Rückmeldung an Setting/Auftraggeber, Tagungen, Publikationen Lernen Was lernen wir und andere daraus, was würden wir anders machen?

17 14/ UPH / Modul E Neuhold Christine Evaluation bevölkerungsbezogener Maßnahmen

18 14/ UPH / Modul E Neuhold Christine Merkmale der Maßnahmen  allgemein  komplex  partizipativ  langlebig  flexibel und anpassungsfähig

19 14/ UPH / Modul E Neuhold Christine Kernprobleme der Evaluation  (A) Ermittlung der Fragestellung  (B) Festlegung des Evaluationsdesigns  (C) Auswahl und Festlegung der Ergebnisvariablen  (D) Analyse der Daten  (E) Wahl der Evaluatorenrolle

20 14/ UPH / Modul E Neuhold Christine (A) Ermittlung der Fragestellung (I) ?Evaluationsfrage = Effekt der Maßnahme ? Black-Box-Evaluation InputOutput ?

21 14/ UPH / Modul E Neuhold Christine (A) Ermittlung der Fragestellung (II) ?Evaluationsfrage = kausale Mechanismen der Maßnahme aufdecken ? Wie bringt die Maßnahme die erwartete Wirkung hervor? ? ?Gibt es ein Interventionsmodell ? Prozessevaluation Ergebnisevaluation realistische Evaluation

22 14/ UPH / Modul E Neuhold Christine realistische Evaluation … liegt der Schwerpunkt auf einer Verbindung der Wirkmechanismen der Maßnahmen mit den kontextuellen Elementen. (vgl. Pawson et al. 2005) Was bewirkt die Maßnahme für wen und unter welchen Umständen? Ziel: Informationen über die Interaktion zwischen … Maßnahmen- verlauf Ergebnissen kontextuellen Merkmalen (A) Ermittlung der Fragestellung (III)

23 14/ UPH / Modul E Neuhold Christine (A) Ermittlung der Fragestellung (IV) Eingrenzung der Evaluationsfragen: Grundsätzlich sollten alle an der Maßnahme Beteiligten auch an der Formulierung der relevanten Forschungsfragen beteiligt sein. = „Partizipative Forschung“ Cargo & Mercer (2008)

24 14/ UPH / Modul E Neuhold Christine (B) Festlegung des Evaluationsdesigns (I) Zwei Hauptprobleme: 1.Zuweisung der Gemeinden entweder zur Kontroll- oder zur Interventionsgruppe 2. Sicherstellung, dass in der Kontrollgruppe keine Intervention stattfindet. !Übliche wiss. Kriterien die sich auf standardisierte, wiederholbare und formalisierbare Verfahren stützen sind hier nicht anwendbar!

25 14/ UPH / Modul E Neuhold Christine (C) Auswahl und Festlegung der Ergebnisvariablen (I) Was soll gemessen werden und auf welchem Niveau? Zwei Fragen: 1. Entwicklung und Gültigkeit von angemessenen Indikatoren auf Populationsebene 2. Art der Bestimmung der Studienpopulation und auf welcher Ebene der Gesamtbevölkerung das Verfahren und die Ergebnisse beurteilt werden.

26 14/ UPH / Modul E Neuhold Christine (C) Auswahl und Festlegung der Ergebnisvariablen (II) Was soll gemessen werden und auf welchem Niveau? Gute Voraussetzung: Definieren von Wirkmechanismen im Interventionsmodell (z.B. Schweizer Ergebnismodell), um unterschiedliche Indikatoren einzuschließen. Z.B. Systembezogene Indikatoren, Umweltbezogene Ind., Individuelle Ind. etc.

27 14/ UPH / Modul E Neuhold Christine 3 Kategorien bevölkerungsbezogener Indikatoren (I) (Cheadle et al., 1992) (1)Individuell disaggregiert Daten aus Beobachtung von Individuen innerhalb best. geografischer Grenzen. Indikatoren, die den sozioökonomischen Status dieses Gebiets kennzeichnen. Z.B. mittleres EK, Zahl alleinerziehender Mütter etc.

28 14/ UPH / Modul E Neuhold Christine 3 Kategorien bevölkerungsbezogener Indikatoren (II) (Cheadle et al., 1992) (2)Individuell aggregiert personenbezogene Daten werden zu komplexen Indizes aggregiert. Z.B. Deprivationsindex umfasst 6 Indikatoren: - Personen ohne Abitur - Verhältnis der beschäftigten zur Wohnbevölkerung - durchschnittliches EK - Anteil der getrennt lebenden, geschiedenen, verwitweten Personen - Anteil von Familien mit einem Elternteil - Anteil der Allein Lebenden

29 14/ UPH / Modul E Neuhold Christine 3 Kategorien bevölkerungsbezogener Indikatoren (III) (Cheadle et al., 1992) (3) umfeldbezogen Beobachtung des Umfeldes und die Entwicklungen in einer Gemeinde, die keine personenbezogenen Merkmale sind. Systembezogene Indikatoren z.B. Indikator des Fettverzehrs, der sich auf die Erhebung von Regalmetern im Supermarkt bezieht. Indikator der Verankerung: Gemeinderatsbeschluss Indikator für Verankerung und Leadership: Steuergruppe etc.

30 14/ UPH / Modul E Neuhold Christine Auswahl der Indikatoren Indikatoren sollten wichtigen Elementen im Interventionsmodell entsprechen Indikatoren zur Erfassung der Umfeldprozesse sollten einbezogen werden. Z.B. Geko (Generationenübergreifende Kooperation)

31 14/ UPH / Modul E Neuhold Christine Das Ergebnismodell am Beispiel Geko C 1-3 Vision 2: Es entstehen auch Produkte der Initiativgruppen C 2-1 Vision 4: Netzwerkstruktur zur Planung und Implementierung von Beteiligungsprojekten B 2-2 Ziel 4: Die Gemeinden unterzeichnen Kooperationsabkommen. B 2-4 Ziel 5: Jede Gemeinde nominiert 2 Zuständige für die Großgruppe B 2-1 Ziel 6: Jede Gemeinde zahlt in einen regionalen Projektfonds B 3-1 Ziel 7: Es entstehen viele Initiativgruppen B 3-3 Ziel 8: Über Geko wird in den regionalen Medien regelmäßig berichtet. B 4-3 Ziel 9: Die GG TN wenden partizipative Methoden an. B 2-1 Ziel 10: Der Genderaspekt wird bei der Planung von Initiativen berücksichtigt. D Gesundheit C1 Materielle Umwelt C2 Soziale/gesellschaftliche Umwelt C3 Personale Ressourcen/ Verhalten C 1-3 Vision 3: Jugendliche und Erwachsene gestalten gemeinsam eine gesundheitsfördernde Lebenswelt C 1-3 Vision 1: Nachhaltige Verankerung von Geko in der Region B 1-4 Ziel 3: Projektträger Styria vitalis & Landentwicklung Stmk. B 1-3 Ziel 1: Die GG-TN haben an WS /Infoveranstaltungen teilgenommen. B 1-4 Ziel 2: Ein regionaler Auftraggeber wird gefunden. C3-1 Vision 5 GG TN leben die Grund- prinzipien der Gesundheitsförderung

32 14/ UPH / Modul E Neuhold Christine (D) Die Analyse der Daten 1. Datenanalyse richtet sich an Populationen oder Communities - individuelle Variablen - bevölkerungsbezogene Variablen 2. Art der Bestimmung der Studienpopulation und auf welcher Ebene der Gesamtbevölkerung das Verfahren und die Ergebnisse beurteilt werden.

33 14/ UPH / Modul E Neuhold Christine (E) Die Beziehung zwischen Evaluator und Maßnahme (I) Trend: paritizipativer Forschung  Evaluator = Begleiter „Empowerment Evaluation“ Ein Prozess, der auf Zusammenarbeit, auf Interaktion und auf Wiederholung zielt.

34 14/ UPH / Modul E Neuhold Christine 4 Gründe für den beteiligungsorientierten Ansatz: 1.um den Prozess der Wissensfortschritte zu entmystifizieren und zu demokratisieren 2.um die Evaluation als einen unverzichtbaren Bestandteil der Maßnahme zu etablieren 3.um das Selbstverständnis der Gemeinde, das Engagement der beteiligten Stellen und die Nutzung der Ergebnisse zu erweitern 4.um die Evaluatoren mit dem kontextuellen Wissen der Teilnehmer auszustatten und so die Bedeutsamkeit der Ergebnisse zu steigern. (E) Die Beziehung zwischen Evaluator und Maßnahme (II)

35 14/ UPH / Modul E Neuhold Christine 4 Empfehlungen für qualitative hochwertige Evalutaionen 1.Evaluation ist Teil der Maßnahme, lokales Wissen (=empirisches Wissen) gewinnt durch den Prozess der Wiederholbarkeit wiss. Anerkennung. 2.Experimentelle und quasi experimentelle Evaluationen von bevölkerungsbezogenen Maßnahmen sind kaum in der Lage positive Effekte nachzuweisen. Die Anwendung alternativer Methoden sollte gefördert werden. 3.Verwendung von Indikatoren auf Sozialer-, Umfeld- und Bevölkerungsebene. Es herrscht dringender Bedarf bessere Indikatoren zu entwickeln. 4.Rolle und Einfluss der Partizipation der Bevölkerung für die Evaluation. Partizipation ist notwendig um die Validität der Ergebnisse sicher zu stellen? (wie ist noch unklar, zu wenig empirische Daten)

36 14/ UPH / Modul E Neuhold Christine Literatur - Dür, W. & Pelikan, J.M.: Qualität in der Gesundheitsförderung. Ansätze und Beispiele zur Qualitätsentwicklung und Evaluation. Facultas Verlag Potvin, L., Richard, L., Mercille, G.: Die evaluation von bevölkerungsbezogenen Maßnahmen der Gesundheitsförderung. In: Kolip, P. & Müller, V. E. (Hrsg.): Qualität von Gesundheitsförderung und Prävention. Bern: Huber 2009, S. 241 – 277.


Herunterladen ppt "14/15 01 2010 UPH / Modul E Neuhold Christine Grundlagen der Evaluation Evaluierung in der Gesundheitsförderung UPH, Modul E Christine Neuhold Graz, 14./15."

Ähnliche Präsentationen


Google-Anzeigen