Evaluation

Agenda Definition von Evaluation Ansätze/Formen der Evaluation Standards der Evaluation Ziele und Funktionen der Evaluation

Evaluation: Definition Datenerfassung Systematisch Wissenschaftliches Instrumentarium Zweckorientiert Datengenerierung

Wissenschaftliche Herkunft der Evaluation Anwendung empirischer (sozialwissenschaftl.) Forschungsmethoden zur Informationsgewinnung Systematische (vergleichende Verfahren) zur Informationsbewertung Anhand offen gelegter, intersubjektiv nachprüfbarer Kriterien Um den Nutzen (Wert) eines Objekts (z.B. Programm) zu bewerten Um Entscheidungen treffen zu können

Evaluation als „Controlling“ - Input - Prozess - Output SOLL IST – Vergleich ZIEL REALITÄT

Evaluation und Steuerung Kritik an alter Steuerung: Mangelnde Ergebnisorientierung Zentrale Klärung von (Bildungs)zielen Überprüfung von Ergebnissen  Definition von Prozessen Definition von Ressourcen

Ansätze Selbstevaluation Fremdevaluation Meta- Evaluation Prozessevaluation („formativ“) Ergebnisevaluation („summativ“)

Gegenstände der Evaluation 8 Gegenstände der Evaluation Personen Gruppen Organisationen Institutionen Programme

Prozesse und Ergebnisse Evaluation Prozesse und Ergebnisse Säule 1 Formativ Überprüfung des Programmablaufs Bewertung der Programmkonzeption Probleme bei Umsetzung Steuerung des Programms Säule 2 Summativ Input- und Output- Überprüfung Feststellung der Zielerreichung Wirkungsbeobachtung Bewertung des Nutzens durch die Zielgruppen Ableitung von Empfehlungen für weiteres Vorgehen

Interne und externe Evaluation Von der gleichen Organisation vorgenommen, die auch das Programm durchführt Vorteile rasch, geringer Aufwand hohe Sachkenntnis unmittelbare Umsetzung Nachteile geringe Methodenkompetenz fehlende Unabhängigkeit und Distanz „Betriebsblindheit“ Extern Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durch- führungsorganisation angehören Vorteile hohe Unabhängigkeit große Methodenkompetenz unterstützen Reformkräfte große Glaubwürdigkeit Nachteile geringe Sachkenntnis Abwehrreaktionen Umsetzungsprobleme Kombiniertes Monitoring und Evaluationssysteme

Pädagogische Implikationen (Jamentz, Kate 2001) Traditioneller Unterricht Auswahl eines Themas (Lehrplan) Design der Lehrmethoden Design und Einsatz von Tests Noten ggf. Feedbacks Neues Thema Standardbasierung Auswahl eines Standards Design eines Assessments, das Standards abbildet Was braucht der Schüler, um Standard zu erreichen? Unterrichtsplanung: Hat jeder die Chance, das Nötige zu lernen? Assessment/Datenanalyse: Wiederholung, neuer Ansatz oder neuer Standard

Typen der Evaluation bei pädagogischen und sozialen Reformen Bedarfsevaluation Theorie- Evaluation Prozess- Evaluation Ergebnis-/ Effekt-/ Wirkungsevaluation Effizienz- Evaluation

Anforderungen an Evaluation (Standards) Evaluationen sollen: nützlich sein, d.h. an den Informationsbedürfnissen der Nutzer ausgerichtet sein (Nützlichkeit) realistisch, gut durchdacht, diplomatisch und kostenbewusst durchgeführt werden (Durchführbarkeit) rechtlich und ethisch korrekt ablaufen und dem Wohlergehen der in die Evaluation einbezogenen und von den Ergebnissen betroffenen Personen Aufmerksamkeit schenken (Korrektheit) über die Güte und/oder die Verwendbarkeit eines evaluierten Programms fachlich angemessene Informationen hervorbringen und vermitteln (Genauigkeit)

Legitimitätsfunktion Evaluation Ziele der Evaluation Evaluation Erkenntnisfunktion Kontrollfunktion Lernfunktion Legitimitätsfunktion

Komplexe Bedingungen: Selbstevaluation Verantwortungsdelegation: Verantwortung für die Evaluation für bestimmte Zeit an ein/e bestimmte Person/en delegiert. Durchführung der Selbstevaluation: Zeitweise Unterstützung durch interne oder externe Evaluationsexperten möglich. Gestaltungsspielräume müssen abgesteckt sein. Vereinbarungen mit der Leitungsebene sind Voraussetzung. Verfahren mit Informationsweitergabe und Veröffentlichungen. Transparenter Prozess und Dokumentation der Ergebnisse. Zuständigkeiten und Kompetenzen müssen geklärt sein. Kommunikation zwischen den Hierarchie-Ebenen muss transparent gestaltet werden. Ressourcen, die benötigt werden, müssen frei gestellt werden. Müller-Kohlenberg, H./Beywl, W. (2003): Standards der Selbstevaluation -- Begründung und aktueller Diskussionsstand. In:* *Zeitschrift für Pädagogik 03, S.65-76

Was-Fragen Was wird bewertet? Wer wird bewertet? Wer bewertet? Evaluation Was-Fragen Was wird bewertet? Wer wird bewertet?   Wer bewertet? Was/wie sind die Standards der Bewertung? Was/wie sind die Prozesse der Bewertung? Welche Funktion erfüllt die Bewertung? Welche Konsequenzen hat die Bewertung?

Gelingensbedingungen Evaluation Gelingensbedingungen Klare Zielsetzung Beteiligung der Akteure Klärung der Durchführungsnormen Klare und relevante Fragestellungen Handhabbare Methoden Überschaubare Datenmenge Perspektiven- Mix Schnelle Rückmeldungen Zeit für Auswertung Dokumentation der Ergebnisse und Bewertungen Wiederholung der Evaluation