Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M.A. Universität des Saarlandes & Stefanie Kihm, M.A. HTW des Saarlandes November 2014.

Ähnliche Präsentationen


Präsentation zum Thema: "Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M.A. Universität des Saarlandes & Stefanie Kihm, M.A. HTW des Saarlandes November 2014."—  Präsentation transkript:

1 Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M.A. Universität des Saarlandes & Stefanie Kihm, M.A. HTW des Saarlandes November 2014

2 Der Begriff „Evaluation“ KROMREY (2001) Irgend etwas wird von irgend jemandem in irgendeiner Weise nach irgendwelchen Kriterien bewertet. Programme, Maßnahmen, Organisationen etc. werden durch Personen, die zur Bewertung besonders befähigt sind in einem objektivierten Verfahren nach explizit auf den Sachverhalt bezogenen und begründeten Kriterien bewertet. alltäglicher Sprachgebrauch November 2014Sandra Bäthge & Stefanie Kihm2 wissenschaftlicher Sprachgebrauch

3 Kennzeichen wiss. Evaluation Evaluation dient als Planungs- und Entscheidungshilfe, ist ziel- und zweckorientiert (primäres Ziel ist die Überprüfung, Verbesserung bzw. Entscheidung über Sachverhalte) und sollte dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein. vgl. WOTTAWA & THIERAU (2003) 3November 2014Sandra Bäthge & Stefanie Kihm

4 Populäre Definitionen „Evaluation is the systematic investigation of the merit or worth of an object (program) for the purpose of reducing uncertainty in decision making.“ MERTENS (1998) Evaluationsforschung … „als systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme. Evaluationsforschung bezeichnet den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und laufenden Überwachung sowie zur Bestimmung der Effektivität und Effizienz von (...) sozialen Interventionsmaßnahmen.“ ROSSI/FREEMAN (1988) 4November 2014Sandra Bäthge & Stefanie Kihm

5 5 Eine weitere ausführliche Definition „Wissenschaftliche Dienstleistung, die namentlich öffentlich verantwortete oder finanzierte ‚Gegenstände‘ (Politiken, Programme, Projekte, Massnahmen …) in verschiedensten Themenfeldern systematisch, transparent und datengestützt beschreibt und ausgewogen bewertet, so dass Beteiligte & Betroffene (Auftraggebende und andere Stakeholder) die erzeugten Evaluationsergebnisse für vorgesehene Zwecke wie Rechenschaftslegung, Entscheidungsfindung oder Optimierung nutzen.“ BEYWL/WIDMER (2009) November 2014Sandra Bäthge & Stefanie Kihm

6 Typen & Problemstellungen von Eval. Gegenstand Gegenstand der Evaluation Ziele Ziele der Evaluation Zeitpunkt Zeitpunkt, an dem eine Evaluation ansetzt Instanzen Instanzen, die die Evaluation durchführen Evaluationsmodell Evaluationsmodell Bewertungskriterien Bewertungskriterien Evaluationen lassen sich anhand verschiedener Gestaltungsdimensionen klassifizieren, u.a.: 6November 2014Sandra Bäthge & Stefanie Kihm

7 Mögliche Teilaspekte eines Programms: Art, Ausmaß und Verteilung des sozialen Problems auf das ein Programm abzielt Programmziele und deren Angemessenheit Programmimplementation Programmwirkungen Programmeffizienz Evaluationsgegenstand: Wer/was (genau) wird evaluiert? Evaluationsgegenstand: 7November 2014Sandra Bäthge & Stefanie Kihm

8 Evaluation dient zu / zur … Kontrollzwecken Kontrollzwecken (evaluation for accountability) Verbreiterung der Wissensbasis Verbreiterung der Wissensbasis (evaluation for knowledge) Entwicklungszwecken (evaluation for development) vgl. KROMREY (2001): 113f., CHELIMSKY (1997): 9ff. Evaluationsziele: Warum wird evaluiert? Evaluationsziele: 8November 2014Sandra Bäthge & Stefanie Kihm

9 Dimensionen der Evaluationsforschung Quelle: In Anlehnung an STOCKMANN (2007): S. 34 Zeitpunkt der Evaluation: Wann wird evaluiert? Zeitpunkt der Evaluation: Wann wird evaluiert? 9 PlanungDurchführungWirkungsphase preformativ/ formativ formativ/ summativ summativ ex-ante on-going ex-post zusammenfassend bilanzierend ergebnis- und wirkungsorientiert  “analysis of policy” “science for knowledge” aktiv gestaltend prozessorientiert zukunftsorientiert/ konstruktiv  “analysis for policy” “science for action” November 2014Sandra Bäthge & Stefanie Kihm

10 Formative & summative Evaluation „When the cook tastes the soup, that‘s formative evaluation, when the guest tastes it, that‘s summative evaluation.“ (Robert E. Stake) 10November 2014Sandra Bäthge & Stefanie Kihm

11 Dimension/ Verortung Ort der Steuerung einer Evaluation Ort der Durchführung einer Evaluation Ort der Nutzung einer Evaluation Innerhalb der Institution/ des Projektes Selbst- evaluation Interne Evaluation Formative Evaluation Außerhalb der Institution/ des Projektes Fremd- evaluation Externe Evaluation Summative Evaluation Quelle: WIDMER (2004): S. 85 Evaluationsinstanz: Wo ist die Evaluation angesiedelt? Evaluationsinstanz: 11November 2014Sandra Bäthge & Stefanie Kihm

12 Interne und externe Evaluation Quelle: STOCKMANN (2007): S Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durchführungsorganisation angehören, z.B. externe Gutachter Vorteile: hohe Unabhängigkeit große Methodenkompetenz unterstützen Reformkräfte große Glaubwürdigkeit Nachteile: geringe Sachkenntnis Abwehrreaktionen Umsetzungsprobleme Von der gleichen Organisation vorgenommen, die auch das Programm durchführt; Sonderfall: Selbstevaluation Vorteile: rasch, geringer Aufwand hohe Sachkenntnis unmittelbare Umsetzung Nachteile: geringe Methodenkompetenz  fehlende Unabhängigkeit und Distanz „Betriebsblindheit“ Intern Extern November 2014Sandra Bäthge & Stefanie Kihm

13 Evaluationsmodelle (oder Evaluationsansätze) stellen weitgehend ausformulierte Vorschläge zur praktischen Strukturierung von Evaluationsvorhaben dar. Sie bieten einen Orientierungsrahmen für das Auffinden der Hauptfragestellungen einer Evaluation, beschreiben mögliche und notwendige Arbeitsschritte und deren Abfolge, die dabei zu verwendenden Instrumente, angestrebte Arten von Ergebnissen und deren Nutzung usw. (vgl. BEYWL 1988) Zu Evaluationsmodell: Wie wird evaluiert? Zu Evaluationsmodell: Wie wird evaluiert? Unterschiedliche Klassifikationsversuche: z.B. SHADISH et al. (1991); STUFFLEBEAM et al. (2000); FITZPATRICK et al. (2004); ALKIN (2004); BEYWL et al. (2004) 13November 2014Sandra Bäthge & Stefanie Kihm

14 BewertungskriterienBewertungskriterien Richten sich nicht nach vorgegebenen Normen oder Parametern Orientieren sich jedoch oft am Nutzen  eines Gegenstands  einer Handlung  eines Entwicklungsprozesses  für bestimmte Personen oder Gruppen Können festgelegt werden durch  Auftraggeber (direktiv)  Evaluator (wissenschafts-/erfahrungsbasiert)  Zielgruppe, Stakeholder (emanzipativ)  alle gemeinsam (partizipativ) 14November 2014Sandra Bäthge & Stefanie Kihm

15 Vielen Dank für Ihre Aufmerksamkeit!

16 Evaluation Erkenntnis Lernen Kontrolle Legitimität Quelle: Stockmann (2006): S. 67 Ziele der Evaluation

17 Modell der Programmforschung

18 Helfer- und Beratermodell

19 Dimensionen der Evaluationsforschung Quelle: STOCKMANN (2007): S. 34 Zeitpunkt der Evaluation: Wann wird evaluiert? Zeitpunkt der Evaluation: Wann wird evaluiert? 19


Herunterladen ppt "Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M.A. Universität des Saarlandes & Stefanie Kihm, M.A. HTW des Saarlandes November 2014."

Ähnliche Präsentationen


Google-Anzeigen