EVALUATION UND KENNZAHLEN FGM AUSBILDUNG, MODUL 5, 26. UND 27. FEBRUAR 2016

I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 2 INHALTSÜBERSICHT

I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 3 INHALTSÜBERSICHT

STANDORTBESTIMMUNG 4

5

6 Evaluation = Bewertung, Beurteilung (lat. valuere: bewerten)  alle Arten der Bewertung von Gegenständen, Zuständen, Maßnahmen, Prozessen  Prozess- und Ergebnisbezug  unabhängig von streng methodischen Regeln oder wissenschaftlichen Konventionen GRUNDLAGEN

7 Kennzahl = Maßzahl  quantitativer Indikator  Messbarmachung von Eigenschaften eines Gegenstands oder Produkts bzw. der Beschaffenheit eines Zustands oder Vorgangs  genau beschriebener und reproduzierbarer Vorgang zur Ermittlung GRUNDLAGEN

8 Evaluationsforschung = Bewertung mit sozialwissenschaftlichen Methoden  klar definierter Evaluationsgegenstand (Maßnahme, Projekt, Programm)  systematische Erhebung & Analyse von nicht routinemäßig verfügbaren Informationen  definierte und veröffentlichte Bewertungskriterien  klare Ziel- und Zweckorientierung  umfangreicher und rechtzeitiger Erkenntnis- und Informationsgewinn  Verbesserung des Evaluationsgegenstandes GRUNDLAGEN

Evaluationsobjekte  Personen  Produkte  Ereignisse  Systeme/Strukturen  Umwelt- und Umgebungsfaktoren  Zielvorgaben/Kennzahlen  Techniken und Methoden  Eingriffe oder Maßnahmen  Projekte und Programme 9 GRUNDLAGEN

Gründe für eine Evaluation:  Entscheidungshilfe zur Lösungsentwicklung  Verbesserung von Maßnahmen und Strategien  Überprüfung und Vergleich verschiedener Optionen  Planungshilfen für eine zukünftige Maßnahme  Durchsetzungshilfe für eine geplante Maßnahme  Verantwortungsdelegation bei vorhandener großer Unsicherheit  Rechenschaft und Erfolgskontrolle 10 GRUNDLAGEN

Systematisierungsmöglichkeiten  Zielsetzung  Rahmenbedingungen  Evaluationsmodell  Ausrichtung der Evaluation  Zeitpunkt der Evaluation  Durchführungsmodi  Metaevaluation / Programm-Design-Evaluation 11 GRUNDLAGEN

I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 12 INHALTSÜBERSICHT

Bewertung und weitergehende Nutzung Berichtlegung und Präsentation Datenerhebung und Datenauswertung Planung des Evaluationsprojektes Zielsetzung der Evaluation Definition von Evaluationsgegenstand und Grundlagen 13 EVALUATIONSPROZESS

14 EVALUATIONSPROZESS Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung Definition von Evaluationsgegenstand und Grundlagen:  Auswahl des Evaluationsobjektes  genaue Objektbeschreibung  Sensibilisierung des Auftraggebers!

15 EVALUATIONSPROZESS Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung Zielsetzung der Evaluation:  Klärung Ziel und Zweck der Evaluation  Konkretisierung des Evaluationsobjektes  Bestimmung der Kriterien der Zielerreichung und deren Messbarkeit  Achtung!  mögliche Nebenwirkungen/Zielkonflikte  „hidden agenda“ des Aufraggebers und Beteiligter?  „Auftragsarbeit“ → Handlungsspielraum  Sensibilisierung des Auftraggebers!

16 EVALUATIONSPROZESS Projektplanung:  Klärung der Rahmenbedingungen  Erstellung eines Arbeitsplanes  Auswahl Bewertungskriterien, Datenerhebungsverfahren und Auswertungsstrategien  Einbeziehung aller Beteiligten!  Kontroll- und Feedback-Möglichkeiten!  Anschlussfähigkeit? Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung

17 EVALUATIONSPROZESS Datenerhebung und Datenauswertung:  unüberschaubare Zahl an Datenerhebungsverfahren  quantitativ: zählbare Eigenschaften, standardisierte Daten, numerische Darstellung, oft zur Unterstützung von Schlussfolgerungen  qualitativ: vor allem bei neuen Forschungsgenständen und zur Entdeckung des Forschungsfeldes oder zur Formulierung von Hypothesen  sorgfältig Datenerhebung für gute Datenqualität! Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung

18 EVALUATIONSPROZESS Berichtlegung und Präsentation:  Ziel- und adressatenbezogene Informationsverdichtung  Beantwortung der Ausgangsfragen  zweckmäßige Verwendung von Text sowie Grafiken, Tabellen und Diagrammen  Abschlussbericht, in der Regel mündliche Abschlusspräsentation  Adressatenbezogene Sprache und Verständlichkeit! Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung

19 EVALUATIONSPROZESS Bewertung und weitergehende Nutzung:  Vergleich: erreichte Ergebnisse VS Zielen bei Projektbeginn  Endbewertung inklusive „lessons learned“  Bewertung der Effektivität (Wirksamkeit)  Bewertung der Effizienz (Wirtschaftlichkeit)  Übertragung der Ergebnisse in die Praxis! Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung

I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 20 INHALTSÜBERSICHT

21 FEEL GOOD FAKTOREN Standards der DeGEval für eine regelgerechte Evaluation  Nützlichkeit  Durchführbarkeit  Fairness  Genauigkei t

Nützlichkeit Durchführbarkeit Fairness Genauigkeit  Identifizierung der Beteiligten und Betroffenen  Klärung der Evaluationszwecke  Glaubwürdigkeit und Kompetenz des Evaluierenden  Auswahl und Umfang der Informationen  Transparenz von Werten  Vollständigkeit und Klarheit der Berichterstattung  Rechtzeitigkeit der Evaluation  Nutzung und Nutzen der Evaluation 22 FEEL GOOD FAKTOREN

Nützlichkeit Durchführbarkeit Fairness Genauigkeit  Angemessene Verfahren  Diplomatisches Vorgehen  Effizient von Evaluation 23 FEEL GOOD FAKTOREN

Nützlichkeit Durchführbarkeit Fairness Genauigkeit  Formale Vereinbarungen  Schutz individueller Rechte  Vollständige und faire Überprüfung  Unparteiische Durchführung und Berichterstattung  Offenlegung der Ergebnisse 24 FEEL GOOD FAKTOREN

Nützlichkeit Durchführbarkeit Fairness Genauigkeit  Beschreibung des Evaluationsgegenstandes  Kontextanalyse  Beschreibung von Zwecken und Vorgehen  Angabe von Informationsquellen  Valide und reliable Informationen  Systematische Fehlerprüfung  Analyse qualitativer und quantitativer Informationen  Begründete Schlussfolgerungen  Meta-Evaluation 25 FEEL GOOD FAKTOREN

I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 26 INHALTSÜBERSICHT

Evaluationen und Kennzahlen  wirkungsvolle Instrumente zur Planung, Durchführung und Auswertung  Messbarmachung  Objektivität  Qualitätsmanagement → Nachhaltigkeit Achtung!  Evaluation und Kennzahlen garantieren keinen Wandel  fehlendes Problembewusstsein bei den Entscheidungsträgern  ungeeignete Zieldefinitionen und Fragestellungen  Mangel an methodischen Kenntnissen  bestimmte Erwartungen an das Ergebnis  Scheu vor Mühe und Kosten 27 FAZIT

I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 28 INHALTSÜBERSICHT

Evaluation Kompakt, Gollwitzer und Jäger, Beltz Verlag, Weinheim, 2014 The ABCs of Evaluation, John Boulmetis and Phyllis Dutwin, Jossey-Bass © 2005 (via GetAbstract) (Abruf: , Uhr) (Abruf: , Uhr) ( Abruf: , Uhr) (Abruf: , Uhr) (Abruf , Uhr) (Abruf , Uhr) (Abruf: , Uhr) (Abruf: , Uhr) (Abruf ( , Uhr) 29 QUELLEN UND LITERATURVERZEICHNIS

I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 30 INHALTSÜBERSICHT

„Feel Good Manager können ohne einen gut gefüllten Evaluations-Methodenkoffer nicht erfolgreich sein.“ 31 DISKUSSION