Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M.A. Universität des Saarlandes & Stefanie Kihm, M.A. HTW des Saarlandes November 2014

Der Begriff „Evaluation“ KROMREY (2001) alltäglicher Sprachgebrauch wissenschaftlicher Sprachgebrauch Irgend etwas wird von irgend jemandem in irgendeiner Weise nach irgendwelchen Kriterien bewertet. Programme, Maßnahmen, Organisationen etc. werden durch Personen, die zur Bewertung besonders befähigt sind in einem objektivierten Verfahren nach explizit auf den Sachverhalt bezogenen und begründeten Kriterien bewertet. November 2014 Sandra Bäthge & Stefanie Kihm

Kennzeichen wiss. Evaluation Evaluation dient als Planungs- und Entscheidungshilfe, ist ziel- und zweckorientiert (primäres Ziel ist die Überprüfung, Verbesserung bzw. Entscheidung über Sachverhalte) und sollte dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein. vgl. WOTTAWA & THIERAU (2003) November 2014 Sandra Bäthge & Stefanie Kihm

Populäre Definitionen „Evaluation is the systematic investigation of the merit or worth of an object (program) for the purpose of reducing uncertainty in decision making.“ MERTENS (1998)   Evaluationsforschung … „als systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme. Evaluationsforschung bezeichnet den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und laufenden Überwachung sowie zur Bestimmung der Effektivität und Effizienz von (...) sozialen Interventionsmaßnahmen.“ ROSSI/FREEMAN (1988) November 2014 Sandra Bäthge & Stefanie Kihm

Eine weitere ausführliche Definition „Wissenschaftliche Dienstleistung, die namentlich öffentlich verantwortete oder finanzierte ‚Gegenstände‘ (Politiken, Programme, Projekte, Massnahmen …) in verschiedensten Themenfeldern systematisch, transparent und datengestützt beschreibt und ausgewogen bewertet, so dass Beteiligte & Betroffene (Auftraggebende und andere Stakeholder) die erzeugten Evaluationsergebnisse für vorgesehene Zwecke wie Rechenschaftslegung, Entscheidungsfindung oder Optimierung nutzen.“ BEYWL/WIDMER (2009) November 2014 Sandra Bäthge & Stefanie Kihm

Typen & Problemstellungen von Eval. Evaluationen lassen sich anhand verschiedener Gestaltungsdimensionen klassifizieren, u.a.: Gegenstand der Evaluation Ziele der Evaluation Zeitpunkt, an dem eine Evaluation ansetzt Instanzen, die die Evaluation durchführen Evaluationsmodell Bewertungskriterien November 2014 Sandra Bäthge & Stefanie Kihm

Evaluationsgegenstand: Wer/was (genau) wird evaluiert? Mögliche Teilaspekte eines Programms: Art, Ausmaß und Verteilung des sozialen Problems auf das ein Programm abzielt Programmziele und deren Angemessenheit Programmimplementation Programmwirkungen Programmeffizienz November 2014 Sandra Bäthge & Stefanie Kihm

Evaluationsziele: Warum wird evaluiert? Evaluation dient zu / zur … Kontrollzwecken (evaluation for accountability) Verbreiterung der Wissensbasis (evaluation for knowledge) Entwicklungszwecken (evaluation for development) vgl. KROMREY (2001): 113f., CHELIMSKY (1997): 9ff. November 2014 Sandra Bäthge & Stefanie Kihm

preformativ/ formativ Zeitpunkt der Evaluation: Wann wird evaluiert? Dimensionen der Evaluationsforschung ex-ante on-going ex-post Planung Durchführung Wirkungsphase preformativ/ formativ formativ/ summativ summativ aktiv gestaltend prozessorientiert zukunftsorientiert/ konstruktiv “analysis for policy” “science for action” zusammenfassend bilanzierend ergebnis- und wirkungsorientiert “analysis of policy” “science for knowledge” Quelle: In Anlehnung an STOCKMANN (2007): S. 34 November 2014 Sandra Bäthge & Stefanie Kihm

Formative & summative Evaluation „When the cook tastes the soup, that‘s formative evaluation, when the guest tastes it, that‘s summative evaluation.“ (Robert E. Stake) November 2014 Sandra Bäthge & Stefanie Kihm

Wo ist die Evaluation angesiedelt? Evaluationsinstanz: Wo ist die Evaluation angesiedelt? Dimension/ Verortung Ort der Steuerung einer Evaluation Ort der Durchführung einer Evaluation Ort der Nutzung einer Evaluation Innerhalb der Institution/ des Projektes Selbst-evaluation Interne Evaluation Formative Evaluation Außerhalb der Institution/ Fremd-evaluation Externe Evaluation Summative Evaluation Quelle: WIDMER (2004): S. 85 November 2014 Sandra Bäthge & Stefanie Kihm

Interne und externe Evaluation Von der gleichen Organisation vorgenommen, die auch das Programm durchführt; Sonderfall: Selbstevaluation Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durchführungsorganisation angehören, z.B. externe Gutachter Vorteile: rasch, geringer Aufwand hohe Sachkenntnis unmittelbare Umsetzung Nachteile: geringe Methodenkompetenz fehlende Unabhängigkeit und Distanz „Betriebsblindheit“ Vorteile: hohe Unabhängigkeit große Methodenkompetenz unterstützen Reformkräfte große Glaubwürdigkeit Nachteile: geringe Sachkenntnis Abwehrreaktionen Umsetzungsprobleme Quelle: STOCKMANN (2007): S. 61 November 2014 Sandra Bäthge & Stefanie Kihm

Zu Evaluationsmodell: Wie wird evaluiert? Evaluationsmodelle (oder Evaluationsansätze) stellen weitgehend ausformulierte Vorschläge zur praktischen Strukturierung von Evaluationsvorhaben dar. Sie bieten einen Orientierungsrahmen für das Auffinden der Hauptfragestellungen einer Evaluation, beschreiben mögliche und notwendige Arbeitsschritte und deren Abfolge, die dabei zu verwendenden Instrumente, angestrebte Arten von Ergebnissen und deren Nutzung usw. (vgl. BEYWL 1988) Unterschiedliche Klassifikationsversuche: z.B. SHADISH et al. (1991); STUFFLEBEAM et al. (2000); FITZPATRICK et al. (2004); ALKIN (2004); BEYWL et al. (2004) November 2014 Sandra Bäthge & Stefanie Kihm

Bewertungskriterien Richten sich nicht nach vorgegebenen Normen oder Parametern Orientieren sich jedoch oft am Nutzen eines Gegenstands einer Handlung eines Entwicklungsprozesses für bestimmte Personen oder Gruppen Können festgelegt werden durch Auftraggeber (direktiv) Evaluator (wissenschafts-/erfahrungsbasiert) Zielgruppe, Stakeholder (emanzipativ) alle gemeinsam (partizipativ) November 2014 Sandra Bäthge & Stefanie Kihm

Vielen Dank für Ihre Aufmerksamkeit! Sandra Bäthge & Stefanie Kihm

Ziele der Evaluation Kontrolle Erkenntnis Evaluation Lernen Legitimität Quelle: Stockmann (2006): S. 67

Modell der Programmforschung

Helfer- und Beratermodell

Quelle: STOCKMANN (2007): S. 34 Zeitpunkt der Evaluation: Wann wird evaluiert? Dimensionen der Evaluationsforschung Quelle: STOCKMANN (2007): S. 34