Evaluation in regionaler Gesundheitsförderung Wolfgang Freidl Peter Gasser-Steiner Christine Neuhold

Die Position des Evaluators Zwischen: Strikten Forderungen nach Wissenschaftlichkeit (Datenqualität, Repräsentativität, Messgenauigkeit etc.) Vorbehalten gegen den Machtanspruch der Wissenschaft, eine Verwissen- schaftlichung des Alltagslebens, der Vereinnahmung durch Wissenschaft

Begriffsdimensionen und Klärungsbedarf GegenstandEvaluatorVerfahrenKriterien Irgendetwas wird von irgend Jemandem in irgendeiner Weise irgendwie bewertet Alltäglicher Sprachgebrauch :

Begriffsdimensionen und Klärungsbedarf GegenstandEvaluatorVerfahrenKriterien Programme Maßnahmen Organisationen Befähigte Personen Objekti- viertes Verfahren Explizite und begründete Kriterien Wissenschaftlicher Sprachgebrauch

Begriffsdimensionen und Klärungsbedarf GegenstandEvaluatorVerfahrenKriterien In Planung oder Entwicklung; bereits implementiert; Pilotprojekt; Programmumfeld Auftragsforscher; im Programm Mitwirkender; externer Berater; Betroffener Qualitativ oder quantitativ; formativ - summativ; experimentell – quasi- experimentell (VG – KG) Zielerreichung Effekte Nebenwirkung Effizienz Sozialverträg- lichkeit Zielgruppen- bezug Notwendige Präzisierungen

Begriffsdimensionen und Klärungsbedarf GegenstandEvaluatorVerfahrenKriterien Was ist das Programm und seine Ziele? Was ist der Gegenstand der Evaluierung? Was sind die Evaluationsziele? Wer hat welche Kompetenzen? Informanten? Informationsquellen? Informations- beschaffung und Aufbereitung? Methoden der Informations- beschaffung? Methoden des Bewertens? Legitimation zum Bewerten? Ziele? Kriterien? Standards? Klärungsbedarf

COST-A6 Aktion der Europäischen Kommission Daten-Zeit- Methodologie-Evaluator- Klassifikation (DZME- Klassifikation)

PEI-Klassifikation (Prozessevaluation vs. Ergebnisevaluation vs. Impactevaluation Prozessevaluation. (Process Evaluation) steht für die systematische Erfassung des gesamten Prozesses (Prozessdaten) während der Durchführung einer Intervention, was den gesamten Interaktionsprozess zwischen Programmausführenden und Zielpersonen umfasst. Ergebnisevaluation (Outcome Evaluation) steht für die Untersuchung, ob erwartete Effekte (erwartete Ergebnisdaten) nach Abschluss einer Intervention eingetreten sind. Impact Evaluation steht für die Erfassung von Interventionseffekten, die über die vorgesehenen Zielgruppen und erwarteten Effekte (nicht erwartete Ergebnisdaten) hinausgehen.

FS-Klassifikation (formative Evaluation vs. summative Evaluation) In der präformativen Phase (Konzeptphase) wird auf rein reflexiver Basis ein Präventionskonzept entwickelt und bewertet. Präformative Evaluation kommt ohne praktische Erprobungsschritte - d.h. ohne prospektiv orientierte empirische Schritte - aus. Die präformative Phase schließt mit einem ersten vorläufigen Programmentwurf ab. In der formativen Phase (Entwicklungsphase) wird dann - aufbauend auf den in der präformativen Phase entwickelten vorläufigen Programmentwurf - durch wiederholte praktische Erprobung ein konkretes Präventionsprogramm geformt. Formative Evaluation zielt auf die rasche und flexible Erfassung von Schwachstellen mit dem Ziel, vorläufige Programmentwürfe kontinuierlich umzuformen und so lange zu verbessern, bis sich ein Programm ohne offensichtliche Schwachstellen ergibt.

FS-Klassifikation (formative Evaluation vs. summative Evaluation) In der ersten summativen Phase (Erprobungsphase) finden Forschungsstrategien statt, die erst einsetzen, nachdem die Entwicklung eines neuen Präventionsprogramms abgeschlossen wurde. Im Zuge der formativen Evaluation in dieser Phase soll das fertige Programm nun zusammenfassend beurteilt werden. In der zweiten summativen Phase (Routinephase) sollte der Erfolgsnachweis bereits erbracht sein. Bei summativer Evaluation in dieser Phase geht es darum zu gewährleisten, dass die Qualität der Programmdurchführung gewährleistet bleibt und nach unerwarteten längerfristigen Effekten bzw. nach relevanten Veränderungen der Rahmenbedingungen Ausschau zu halten.

SPE-Klassifikation (strukturelle Qualität vs. Prozessqualität vs. Ergebnisqualität) strukturelle Daten sind Daten, die strukturelle Rahmenbedingungen beschreiben, wie Ort der Intervention, Qualifikation der das Programm ausführenden Personen, Charakteristika der Zielpersonen Prozessdaten sind Daten, die die Ausführung der Programme erfassen (das Verhalten der Programmausführenden = Programm-Input). Ergebnisdaten sind Daten, die die wünschenswerten Auswirkungen auf die Zielgruppe sowie Kosten, die das Programm verursacht hat, zum Inhalt haben (Programm-Output).

DEH-Klassifikation (deskriptive Evaluation vs. explorative Evaluation vs. hypothesenprüfende Evaluation Explorative Forschung geht über die reine Deskription hinaus und stellt damit die zweite Stufe wissenschaftlicher Vorgangsweise dar. Diese Form der Datenanalyse zielt auf die Entdeckung neuer Phänomene, liefert Impulse, um neue Hypothesen und Theorien zu entwickeln, ist grundsätzlich divergent orientiert, ist keinen strengen methodologischen Regeln unterworfen und alle Ergebnisse haben grundsätzlich nur vorläufigen Charakter.

DEH-Klassifikation (deskriptive Evaluation vs. explorative Evaluation vs. hypothesenprüfende Evaluation Hypothesenprüfende Forschung versucht mit den Regeln der Wahrscheinlichkeitsrechnung und der schließenden Statistik Zufallseffekte von substanziellen Effekten abzugrenzen. Diese zielt auf die Prüfung von Hypothesen und Theorien, ist grundsätzlich konvergent orientiert, ist strengen methodologischen Regeln unterworfen und die Ergebnisse können in einem gewissen Sinn als wissenschaftlich gesichert gelten.

Vier Kriterien der Evaluation (nach Peter Baumgartner, Innsbruck) Evaluationen sollen nützlich sein Evaluationen sollen durchführbar sein Evaluationen sollen fair / gerecht sein Evaluationen sollen intersubjektiv überprüfbar sein

1) Evaluationen sollen nützlich sein Evaluationen sollen sich an jene Personen(- gruppen) richten, die entweder involviert, betroffen oder verantwortlich für die Umsetzung der Ergebnisse sind. Evaluationen sollen diesen Zielgruppen helfen, Stärken und Schwächen des Evaluanden wahrzunehmen. Die wichtigsten Ergebnisse, Fragen, Entscheidungsvorschläge sollen deutlich herausgehoben werden. Evaluationen sollen im allgemeinen nicht nur Feedback über Stärken und Schwächen mitteilen, sondern auch Vorschläge zur Verbesserung beinhalten.

Um die dazugehörigen Evaluationssünden zu vermeiden, haben sich folgende Fragestellungen als nützlich erwiesen: Sind die Adressatengruppen ausreichend und trennscharf identifiziert? Sind die Evaluatoren vertrauenswürdig und kompetent? Sind die Informationen in Umfang und Auswahl so aufbereitet, dass sie die wichtigsten Probleme und Interessen der Adressatengruppen ansprechen? Sind die Grundlagen der Evaluation (Design, Methodik, Auswertungs- und Interpretationsverfahren) dargestellt, so dass eine ausreichende Basis für das Werturteil vorhanden ist?

Um die dazugehörigen Evaluationssünden zu vermeiden, haben sich folgende Fragestellungen als nützlich erwiesen: Sind die Ergebnisse der Evaluation verständlich und klar beschrieben? Sind die Ergebnisse in geeigneter Form an die Adressaten übermittelt worden? Sind die Ergebnisse so zeitgerecht, dass sie Verwendung finden können? Ist die Evaluation so geplant und durchgeführt worden, dass sie die Adressatengruppen zu Änderungen motiviert?

2) Evaluationen sollen durchführbar sein Evaluationen sollen Prozeduren anwenden, die ohne große (Um)brüche implementiert werden können. Evaluationen sollen so einfach und vorsichtig (diplomatisch) gestaltet werden, dass ihre Durchführung realistisch ist. Evalutionen sollen effizient durchgeführt werden. Evaluationen sollen die unterschiedlichen Interessensorientierungen beachten bzw. miteinbeziehen, damit Widerstände überwunden werden können.

Um die dazugehörigen Evaluationssünden zu vermeiden, haben sich folgende Fragestellungen als nützlich erwiesen: Sind die angewendeten Verfahren praktisch und daher einfach, ohne große Umbrüche durchführbar? Ist die Evaluation so geplant, dass ihre Durchführung realistisch ist und sie auch interessenspolitisch überleben kann, viabel ist? Hat sich die Evaluation ausgezahlt, d.h. übersteigen die Vorteile ihrer Ergebnisse die Kosten ihrer Durchführung?

3) Evaluationen müssen gerecht (fair) sein Evaluationen sollen auf expliziten (schriftlichen) Vereinbarungen beruhen, damit die notwendige Kooperation sichergestellt wird. Evaluationen müssen die Rechte aller betroffenen Gruppen wahren. Evaluationen müssen sicherstellen, dass ihre Ergebnisse ohne Zugeständnisse vorgelegt werden können. Evaluationen sollen sowohl Stärken als auch Schwächen des Evaluanden darlegen.

Um die dazugehörigen Evaluationssünden zu vermeiden, haben sich folgende Fragestellungen als nützlich erwiesen: Gibt es schriftliche Vereinbarungen? Wird mit Interessenskonflikten offen und ehrlich umgegangen? Ist der Bericht offen, direkt und ehrlich auch zu den Limitationen seiner Ergebnisse? Wird von den betroffenen Gruppierungen das Informationsrecht der Öffentlichkeit (unter Einschluss eventueller persönlicher Datenschutzbestimmungen) akzeptiert und sichergestellt?

Um die dazugehörigen Evaluationssünden zu vermeiden, haben sich folgende Fragestellungen als nützlich erwiesen: Sind alle Rechte und Datenschutzbestimmungen berücksichtigt und eingehalten? Werden menschliche Interaktionen während der Evaluation entsprechend gewürdigt und einbezogen? Ist der Bericht ausgewogen, so dass er alle Stärken und Schwächen enthält? Ist die finanzielle Rechenschaftslegung sparsam und ethisch vertretbar?

4) Evaluationen sollen intersubjektiv überprüfbar sein Der Evaluand soll in seiner Entwicklung und in seinem Kontext klar beschrieben werden. Stärken und Schwächen des Evaluationsdesign, der Methoden und der Ergebnisse sollen klar aufgezeigt werden. Evaluationen sollen systematische Fehler vermeiden bzw. in Grenzen halten und diese mögliche Fehlerbandbreite aufzeigen. Evaluationen sollen zu gültigen und replizierbaren Ergebnissen führen

Um die dazugehörigen Evaluationssünden zu vermeiden, haben sich folgende Fragestellungen als nützlich erwiesen: Ist der Evaluand in seiner Funktion und Wirkungsweise soweit analysiert, dass über ihn ein klares Verständnis vorhanden ist? Ist das Umfeld, der Kontext des Evaluanden soweit analysiert, dass ein klares Verständnis über mögliche Einflüsse vorhanden ist? Sind die Quellen der Daten und Informationen so ausreichend beschrieben, dass sie adäquat beurteilt werden können?

Um die dazugehörigen Evaluationssünden zu vermeiden, haben sich folgende Fragestellungen als nützlich erwiesen: Sind die Instrumente zur Informationssammlung so gewählt bzw. konstruiert worden, dass sie zu gültigen (validen) Daten führen? Sind die Instrumente zur Informationssammlung so gewählt bzw. konstruiert worden, dass sie zu zuverlässigen (reliablen) Daten führen? Ist die Datensammlung, ihre Verarbeitung und Auswertung so kontrolliert worden, dass die Fehlerwahrscheinlichkeit sehr gering ist? Ist die quantitative Auswertung der Daten systematisch und methodisch korrekt durchgeführt worden?

Um die dazugehörigen Evaluationssünden zu vermeiden, haben sich folgende Fragestellungen als nützlich erwiesen: Ist die qualitative Auswertung der Daten systematisch und methodisch korrekt durchgeführt worden? Können die Schlussfolgerungen der Evaluation durch die gewonnenen Daten ausreichend begründet werden? Sind während der Evaluation Sicherheitsmaßnahmen getroffen worden, damit die Ergebnisse nicht durch persönliche Gefühle und Vorurteile der Evaluatoren verfälscht werden?

Ethische Evaluation In der wissenschaftlichen Evaluation wird, dem Postulat der Wertfreiheit entsprechend, der wertorientiert ethische Aspekthäufig ignoriert, unterbetont bzw. über logisch/sachliche Argumentation verschleiert. Da die ethische Beurteilungvon Präventionsansätzen aber auch dann, wenn diese nicht explizit erwähnt wird, implizit in die Forschungsstrategieneinfließt, ist es zweckmäßig zu fordern, dass ethische Evaluation ausdrücklich zum Thema gemacht wird. Werturteilesollten nicht bloß indirekt - und damit unreflektiert - in Forschungsdesigns und Schlussfolgerungen einfließen.

Historische Evaluation Als historische Evaluation kann man Expertise auf der Basis von eigener Erfahrung und/oder der vorhandenen wissenschaftlichen Literatur bezeichnen. Das in Zusammenhang mit Evaluation eher ungewöhnliche Attribut historisch (historische Daten, historische Referenzwerte, historische Kontrollgruppe, usw.) ist in der Methodik für klinische Studien (Clinical Trials Methodology) etabliert, und es erscheint zweckmäßig, dieses sprachliche Konzept auch in der Evaluationsforschung zu etablieren.

Methodologische Evaluation In engem Zusammenhang mit der auf wissenschaftlichen Erkenntnissen basierenden historischen Evaluation steht die Fragen, ob und wie weit die Schlussfolgerungen, die die jeweiligen Autoren der Forschungsberichte aus ihren empirischen Studien gezogen haben, aus statistisch-methodologischer Sicht korrekt sind (interne Validität), und ob die Ergebnisse sinnvollerweise auf die, für das Präventionsprogramm vorgesehene Anwendungssituation übertragbar sind (externe Validität).

Formative Evaluation Der Begriff formative Evaluation bezieht sich einerseits auf eine bestimmte Phase der Programmentwicklung - das Formen des Programms in der Entwicklungsphase - und anderseits auf eine, dieser Phase angemessene ganz bestimmte explorative Vorgangsweise. Während ersterer Aspekt in der Zeitdimension des DZME-Ansatzes berücksichtigt ist, wird letzterer Aspekt hier nach inhaltlichen Gesichtspunkten gesondert angeführt und erörtert. In der Programmentwicklungsphase steht der Programmentwickler vor der Aufgabe, Strukturelemente eines vorläufigen Programmentwurfes rasch und flexibel zu überprüfen und Schwachstellen zu beseitigen. Die Technik, um das möglich ökonomisch zu erreichen, besteht in der wiederholten Abfolge von Überprüfung und Anpassung, wobei das im Idealfall so lange weitergeht, bis sich das Konzept als praktisch durchführbar und im Sinne der Zielvorgaben Erfolg versprechend erweist.

Evaluation der Durchführbarkeit (Feasibility Evaluation) Die Frage, ob ein bestimmtes Programm praktisch durchführbar ist, spielt vor allem in der Entwicklungsphase und in der Überprüfungsphase eine wichtige Rolle. Während man in der Entwicklungsphase allerdings divergent, explorativ vorgeht und vorläufige Programmentwürfe anhand von kleinen Erprobungen und Pilotstudien kontinuierlich anpasst (formative Evaluation), ist in der Überprüfungsphase eine hypothesengeleitete systematische Überprüfung des fertigen Programms an größeren Stichproben unter Alltagsbedingungen zu planen (Durchführbarkeitsstudie bzw. Feasibility Study).

Monitoring unerwünschter Nebeneffekte Da die Anzahl der möglichen Problemfelder fast unbegrenzt ist und sich in Abhängigkeit von den Rahmenbedingungen immer neue Probleme ergeben können, spielt auch die Erfassung von unerwünschten Nebeneffekten in allen Phasen eine wesentliche Rolle. Meist wird die Forschungsstrategie divergent, explorativ sein.

Evaluation der Wirksamkeit (Wirksamkeitsnachweis) Globaler empirischer Wirksamkeitsnachweis: Als globalen empirischen Wirksamkeitsnachweis kann man den experimentellen oder quasiexperimentellen Nachweis bezeichnen, dass ein Programm tatsächlich in der Lage ist, die gewünschten Effekte (primäre Zielvariablen) inder Zielgruppe zu bewirken Partieller empirischer Wirksamkeitsnachweis: Als partiellen empirischen Wirksamkeitsnachweis kann man den experimentellen oder quasiexperimentellen Nachweis bezeichnen, dass wesentliche Teile des dem Programm zugrundeliegenden Wirkungsmodells zutreffen. Historischer Wirksamkeitsnachweis: Als historischen Wirksamkeitsnachweis kann man die Ableitung der Programmwirksamkeit aus vorhandenen (historischen) Daten bezeichnen; d.h. wenn die Wirksamkeit bereits deduktiv aus einer empirisch gut fundierten Theorie abgeleitet werden kann.

Evaluation der Wirtschaftlichkeit Die Evaluation der Wirtschaftlichkeit beinhaltet nach (Yates, 1994) Kosten-Nutzenanalysen (Cost-Benefit Analyses - CBA) und Kosten-Effektivitätsanalysen (Cost-Effectiveness Analyses - CEA). Ziel der CBA ist es, Programmkosten zu rechtfertigen, und Ziel der CEA ist es, Grundlagen für die Entscheidung zwischen konkurrierenden Programmen zu liefern. CBA vergleicht Kosten eines Programms mit den positiven Auswirkungen (Nutzen). Dabei ist es nötig, sowohl Kosten als auch Nutzen über eine gemeinsame Einheit - üblicherweise Geld - zu quantifizieren. Die zentrale Frage ist: Zahlt sich das Programm aus?