EVALUATION UND KENNZAHLEN FGM AUSBILDUNG, MODUL 5, 26. UND 27. FEBRUAR 2016.

Präsentation zum Thema: "EVALUATION UND KENNZAHLEN FGM AUSBILDUNG, MODUL 5, 26. UND 27. FEBRUAR 2016."—  Präsentation transkript:

1 EVALUATION UND KENNZAHLEN FGM AUSBILDUNG, MODUL 5, 26. UND 27. FEBRUAR 2016

2 I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 2 INHALTSÜBERSICHT

3 I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 3 INHALTSÜBERSICHT

4 STANDORTBESTIMMUNG 4

5 5

6 6 Evaluation = Bewertung, Beurteilung (lat. valuere: bewerten)  alle Arten der Bewertung von Gegenständen, Zuständen, Maßnahmen, Prozessen  Prozess- und Ergebnisbezug  unabhängig von streng methodischen Regeln oder wissenschaftlichen Konventionen GRUNDLAGEN

7 7 Kennzahl = Maßzahl  quantitativer Indikator  Messbarmachung von Eigenschaften eines Gegenstands oder Produkts bzw. der Beschaffenheit eines Zustands oder Vorgangs  genau beschriebener und reproduzierbarer Vorgang zur Ermittlung GRUNDLAGEN

8 8 Evaluationsforschung = Bewertung mit sozialwissenschaftlichen Methoden  klar definierter Evaluationsgegenstand (Maßnahme, Projekt, Programm)  systematische Erhebung & Analyse von nicht routinemäßig verfügbaren Informationen  definierte und veröffentlichte Bewertungskriterien  klare Ziel- und Zweckorientierung  umfangreicher und rechtzeitiger Erkenntnis- und Informationsgewinn  Verbesserung des Evaluationsgegenstandes GRUNDLAGEN

9 Evaluationsobjekte  Personen  Produkte  Ereignisse  Systeme/Strukturen  Umwelt- und Umgebungsfaktoren  Zielvorgaben/Kennzahlen  Techniken und Methoden  Eingriffe oder Maßnahmen  Projekte und Programme 9 GRUNDLAGEN

10 Gründe für eine Evaluation:  Entscheidungshilfe zur Lösungsentwicklung  Verbesserung von Maßnahmen und Strategien  Überprüfung und Vergleich verschiedener Optionen  Planungshilfen für eine zukünftige Maßnahme  Durchsetzungshilfe für eine geplante Maßnahme  Verantwortungsdelegation bei vorhandener großer Unsicherheit  Rechenschaft und Erfolgskontrolle 10 GRUNDLAGEN

11 Systematisierungsmöglichkeiten  Zielsetzung  Rahmenbedingungen  Evaluationsmodell  Ausrichtung der Evaluation  Zeitpunkt der Evaluation  Durchführungsmodi  Metaevaluation / Programm-Design-Evaluation 11 GRUNDLAGEN

12 I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 12 INHALTSÜBERSICHT

13 Bewertung und weitergehende Nutzung Berichtlegung und Präsentation Datenerhebung und Datenauswertung Planung des Evaluationsprojektes Zielsetzung der Evaluation Definition von Evaluationsgegenstand und Grundlagen 13 EVALUATIONSPROZESS

14 14 EVALUATIONSPROZESS Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung Definition von Evaluationsgegenstand und Grundlagen:  Auswahl des Evaluationsobjektes  genaue Objektbeschreibung  Sensibilisierung des Auftraggebers!

15 15 EVALUATIONSPROZESS Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung Zielsetzung der Evaluation:  Klärung Ziel und Zweck der Evaluation  Konkretisierung des Evaluationsobjektes  Bestimmung der Kriterien der Zielerreichung und deren Messbarkeit  Achtung!  mögliche Nebenwirkungen/Zielkonflikte  „hidden agenda“ des Aufraggebers und Beteiligter?  „Auftragsarbeit“ → Handlungsspielraum  Sensibilisierung des Auftraggebers!

16 16 EVALUATIONSPROZESS Projektplanung:  Klärung der Rahmenbedingungen  Erstellung eines Arbeitsplanes  Auswahl Bewertungskriterien, Datenerhebungsverfahren und Auswertungsstrategien  Einbeziehung aller Beteiligten!  Kontroll- und Feedback-Möglichkeiten!  Anschlussfähigkeit? Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung

17 17 EVALUATIONSPROZESS Datenerhebung und Datenauswertung:  unüberschaubare Zahl an Datenerhebungsverfahren  quantitativ: zählbare Eigenschaften, standardisierte Daten, numerische Darstellung, oft zur Unterstützung von Schlussfolgerungen  qualitativ: vor allem bei neuen Forschungsgenständen und zur Entdeckung des Forschungsfeldes oder zur Formulierung von Hypothesen  sorgfältig Datenerhebung für gute Datenqualität! Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung

18 18 EVALUATIONSPROZESS Berichtlegung und Präsentation:  Ziel- und adressatenbezogene Informationsverdichtung  Beantwortung der Ausgangsfragen  zweckmäßige Verwendung von Text sowie Grafiken, Tabellen und Diagrammen  Abschlussbericht, in der Regel mündliche Abschlusspräsentation  Adressatenbezogene Sprache und Verständlichkeit! Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung

19 19 EVALUATIONSPROZESS Bewertung und weitergehende Nutzung:  Vergleich: erreichte Ergebnisse VS Zielen bei Projektbeginn  Endbewertung inklusive „lessons learned“  Bewertung der Effektivität (Wirksamkeit)  Bewertung der Effizienz (Wirtschaftlichkeit)  Übertragung der Ergebnisse in die Praxis! Definition von Evaluationsgegenstand & Grundlagen Zielsetzung der Evaluation Projektplanung Datenerhebung & -auswertung Berichtlegung & Präsentation Bewertung & weitergehende Nutzung

20 I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 20 INHALTSÜBERSICHT

21 21 FEEL GOOD FAKTOREN Standards der DeGEval für eine regelgerechte Evaluation  Nützlichkeit  Durchführbarkeit  Fairness  Genauigkei t

22 Nützlichkeit Durchführbarkeit Fairness Genauigkeit  Identifizierung der Beteiligten und Betroffenen  Klärung der Evaluationszwecke  Glaubwürdigkeit und Kompetenz des Evaluierenden  Auswahl und Umfang der Informationen  Transparenz von Werten  Vollständigkeit und Klarheit der Berichterstattung  Rechtzeitigkeit der Evaluation  Nutzung und Nutzen der Evaluation 22 FEEL GOOD FAKTOREN

23 Nützlichkeit Durchführbarkeit Fairness Genauigkeit  Angemessene Verfahren  Diplomatisches Vorgehen  Effizient von Evaluation 23 FEEL GOOD FAKTOREN

24 Nützlichkeit Durchführbarkeit Fairness Genauigkeit  Formale Vereinbarungen  Schutz individueller Rechte  Vollständige und faire Überprüfung  Unparteiische Durchführung und Berichterstattung  Offenlegung der Ergebnisse 24 FEEL GOOD FAKTOREN

25 Nützlichkeit Durchführbarkeit Fairness Genauigkeit  Beschreibung des Evaluationsgegenstandes  Kontextanalyse  Beschreibung von Zwecken und Vorgehen  Angabe von Informationsquellen  Valide und reliable Informationen  Systematische Fehlerprüfung  Analyse qualitativer und quantitativer Informationen  Begründete Schlussfolgerungen  Meta-Evaluation 25 FEEL GOOD FAKTOREN

26 I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 26 INHALTSÜBERSICHT

27 Evaluationen und Kennzahlen  wirkungsvolle Instrumente zur Planung, Durchführung und Auswertung  Messbarmachung  Objektivität  Qualitätsmanagement → Nachhaltigkeit Achtung!  Evaluation und Kennzahlen garantieren keinen Wandel  fehlendes Problembewusstsein bei den Entscheidungsträgern  ungeeignete Zieldefinitionen und Fragestellungen  Mangel an methodischen Kenntnissen  bestimmte Erwartungen an das Ergebnis  Scheu vor Mühe und Kosten 27 FAZIT

28 I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 28 INHALTSÜBERSICHT

29 Evaluation Kompakt, Gollwitzer und Jäger, Beltz Verlag, Weinheim, 2014 The ABCs of Evaluation, John Boulmetis and Phyllis Dutwin, Jossey-Bass © 2005 (via GetAbstract) https://de.wikipedia.org/wiki/Evaluationhttps://de.wikipedia.org/wiki/Evaluation (Abruf: 13.02.2016, 17.15 Uhr) http://www.degeval.de/home/http://www.degeval.de/home/ (Abruf: 10.02.2016, 17.15 Uhr) http://www.degeval.de/fileadmin/user_upload/Sonstiges/leitfaden.pdfhttp://www.degeval.de/fileadmin/user_upload/Sonstiges/leitfaden.pdf ( Abruf: 12.02.2016, 13.00 Uhr) http://www.degeval.de/images/stories/Publikationen/DeGEval_-_Standards_kurz.pdf http://www.degeval.de/images/stories/Publikationen/DeGEval_-_Standards_kurz.pdf (Abruf: 12.02.2016, 13.00 Uhr) https://de.wikipedia.org/wiki/Qualitative_Datenhttps://de.wikipedia.org/wiki/Qualitative_Daten (Abruf 16.02.2016, 15.00 Uhr) https://)_balzer-frey-nende.wikipedia.org/wiki/Quantitative_Sozialforschung https://)_balzer-frey-nende.wikipedia.org/wiki/Quantitative_Sozialforschung (Abruf 16.02.1016, 15.00 Uhr) http://www.lars-balzer.info/publications/pub-balzer_1999-02_EP1999-13(4niger.pdf http://www.lars-balzer.info/publications/pub-balzer_1999-02_EP1999-13(4niger.pdf (Abruf: 18.02.2016, 18.45 Uhr) https://de.wikipedia.org/wiki/Kennzahlhttps://de.wikipedia.org/wiki/Kennzahl (Abruf: 20.02.2016, 19.30 Uhr) https://de.wikipedia.org/wiki/Quantifizierunghttps://de.wikipedia.org/wiki/Quantifizierung (Abruf (20.02.2016, 19.40 Uhr) 29 QUELLEN UND LITERATURVERZEICHNIS

30 I) Standortbestimmung und theoretische Grundlagen II) modellhafter Evaluationsprozess III)Feel Good Faktoren IV) Fazit V) Quellen und Literaturverzeichnis VI)Diskussion 30 INHALTSÜBERSICHT

31 „Feel Good Manager können ohne einen gut gefüllten Evaluations-Methodenkoffer nicht erfolgreich sein.“ 31 DISKUSSION