Evaluation.

Präsentation zum Thema: "Evaluation."—  Präsentation transkript:

1 Evaluation

2 Agenda Definition von Evaluation Ansätze/Formen der Evaluation
Standards der Evaluation Ziele und Funktionen der Evaluation

3 Evaluation: Definition
Datenerfassung Systematisch Wissenschaftliches Instrumentarium Zweckorientiert Datengenerierung

4 Wissenschaftliche Herkunft der Evaluation
Anwendung empirischer (sozialwissenschaftl.) Forschungsmethoden zur Informationsgewinnung Systematische (vergleichende Verfahren) zur Informationsbewertung Anhand offen gelegter, intersubjektiv nachprüfbarer Kriterien Um den Nutzen (Wert) eines Objekts (z.B. Programm) zu bewerten Um Entscheidungen treffen zu können

5 Evaluation als „Controlling“
- Input - Prozess - Output SOLL IST – Vergleich ZIEL REALITÄT

6 Evaluation und Steuerung
Kritik an alter Steuerung: Mangelnde Ergebnisorientierung Zentrale Klärung von (Bildungs)zielen Überprüfung von Ergebnissen  Definition von Prozessen Definition von Ressourcen

7 Ansätze Selbstevaluation Fremdevaluation Meta- Evaluation
Prozessevaluation („formativ“) Ergebnisevaluation („summativ“)

8 Gegenstände der Evaluation
8 Gegenstände der Evaluation Personen Gruppen Organisationen Institutionen Programme

9 Prozesse und Ergebnisse
Evaluation Prozesse und Ergebnisse Säule 1 Formativ Überprüfung des Programmablaufs Bewertung der Programmkonzeption Probleme bei Umsetzung Steuerung des Programms Säule 2 Summativ Input- und Output- Überprüfung Feststellung der Zielerreichung Wirkungsbeobachtung Bewertung des Nutzens durch die Zielgruppen Ableitung von Empfehlungen für weiteres Vorgehen

10 Interne und externe Evaluation
Von der gleichen Organisation vorgenommen, die auch das Programm durchführt Vorteile rasch, geringer Aufwand hohe Sachkenntnis unmittelbare Umsetzung Nachteile geringe Methodenkompetenz fehlende Unabhängigkeit und Distanz „Betriebsblindheit“ Extern Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durch- führungsorganisation angehören Vorteile hohe Unabhängigkeit große Methodenkompetenz unterstützen Reformkräfte große Glaubwürdigkeit Nachteile geringe Sachkenntnis Abwehrreaktionen Umsetzungsprobleme Kombiniertes Monitoring und Evaluationssysteme

11 Pädagogische Implikationen (Jamentz, Kate 2001)
Traditioneller Unterricht Auswahl eines Themas (Lehrplan) Design der Lehrmethoden Design und Einsatz von Tests Noten ggf. Feedbacks Neues Thema Standardbasierung Auswahl eines Standards Design eines Assessments, das Standards abbildet Was braucht der Schüler, um Standard zu erreichen? Unterrichtsplanung: Hat jeder die Chance, das Nötige zu lernen? Assessment/Datenanalyse: Wiederholung, neuer Ansatz oder neuer Standard

12 Typen der Evaluation bei pädagogischen und sozialen Reformen
Bedarfsevaluation Theorie- Evaluation Prozess- Evaluation Ergebnis-/ Effekt-/ Wirkungsevaluation Effizienz- Evaluation

13 Anforderungen an Evaluation (Standards)
Evaluationen sollen: nützlich sein, d.h. an den Informationsbedürfnissen der Nutzer ausgerichtet sein (Nützlichkeit) realistisch, gut durchdacht, diplomatisch und kostenbewusst durchgeführt werden (Durchführbarkeit) rechtlich und ethisch korrekt ablaufen und dem Wohlergehen der in die Evaluation einbezogenen und von den Ergebnissen betroffenen Personen Aufmerksamkeit schenken (Korrektheit) über die Güte und/oder die Verwendbarkeit eines evaluierten Programms fachlich angemessene Informationen hervorbringen und vermitteln (Genauigkeit)

14 Legitimitätsfunktion
Evaluation Ziele der Evaluation Evaluation Erkenntnisfunktion Kontrollfunktion Lernfunktion Legitimitätsfunktion

15 Komplexe Bedingungen: Selbstevaluation
Verantwortungsdelegation: Verantwortung für die Evaluation für bestimmte Zeit an ein/e bestimmte Person/en delegiert. Durchführung der Selbstevaluation: Zeitweise Unterstützung durch interne oder externe Evaluationsexperten möglich. Gestaltungsspielräume müssen abgesteckt sein. Vereinbarungen mit der Leitungsebene sind Voraussetzung. Verfahren mit Informationsweitergabe und Veröffentlichungen. Transparenter Prozess und Dokumentation der Ergebnisse. Zuständigkeiten und Kompetenzen müssen geklärt sein. Kommunikation zwischen den Hierarchie-Ebenen muss transparent gestaltet werden. Ressourcen, die benötigt werden, müssen frei gestellt werden. Müller-Kohlenberg, H./Beywl, W. (2003): Standards der Selbstevaluation -- Begründung und aktueller Diskussionsstand. In:* *Zeitschrift für Pädagogik 03, S.65-76

16 Was-Fragen Was wird bewertet? Wer wird bewertet? Wer bewertet?
Evaluation Was-Fragen Was wird bewertet? Wer wird bewertet?   Wer bewertet? Was/wie sind die Standards der Bewertung? Was/wie sind die Prozesse der Bewertung? Welche Funktion erfüllt die Bewertung? Welche Konsequenzen hat die Bewertung?

17 Gelingensbedingungen
Evaluation Gelingensbedingungen Klare Zielsetzung Beteiligung der Akteure Klärung der Durchführungsnormen Klare und relevante Fragestellungen Handhabbare Methoden Überschaubare Datenmenge Perspektiven- Mix Schnelle Rückmeldungen Zeit für Auswertung Dokumentation der Ergebnisse und Bewertungen Wiederholung der Evaluation