Evaluation – Grundlagen im Rahmen des Moduls zur Qualifizierung der SLK in Niedersachsen

Zur Herkunft des Begriffs Evaluation /Evaluierung - < lat. valere: gesund, stark, geeignet sein, vermögen, gelten - allgemein: die Beschreibung, Analyse, Bewertung von Projekten, Prozessen und Organisationseinheiten - als Begriff seit dem 19. und 20. Jahrhundert im Französischen und Englischen verwendet

Formen der Evaluation Es lassen sich drei Formen der Evaluation unterscheiden: die antizipatorische Evaluation die formative Evaluation die summative Evaluation

Formen der Evaluation II die antizipatorische Evaluation - erfolgt vor Beginn eines Projekts / eines Einsatzes - - sie beschäftigt man sich mit der Bedarfs- / Konzeptionsanalyse

Formen der Evaluation III die formative Evaluation - ist die Bewertung eines Prozesses - erfolgt innerhalb vorab definierter Zeiträume und nach vorab festgelegten Kriterien - sie ist Prozess begleitend - die dient der Qualitätssicherung

Formen der Evaluation IV die summative Evaluation - wird nach den vollständig entwickelten Programmen / Projekten angewendet - ist Ergebnis bezogen

Einleitendes zur Evaluation Das Evaluationsobjekt: Was soll evaluiert werden? Das Evaluationsziel: Warum soll etwas evaluiert werden? Das Evaluationsmodell: Wie soll evaluiert werden? Der Evaluationsort: Wo /von wem wird evaluiert? Die Nutzung der Evaluationsergebnisse: Wie werden die Ergebnisse aufbereitet, und wo werden sie zu welchen weiteren Entscheidungen verwendet?

Ziele der Evaluation Rechenschaft ablegen? Außendarstellung? Erkenntnisgewinn? Entscheidungen über mögliche Weiterentwicklungen der Maßnahme? …  „Auftragsforschung“: der Auftrag ist auf einen bestimmten Kontext zugeschnitten

Möglichkeiten der Datenerhebung Befragung – schriftlich versus mündlich Beobachtung – offen versus verdeckt Testung – Leistungs- versus Persönlichkeitstests, Messungen Vor- und Nachteile der gewählten Methode? Die Wahl der Erhebungsmethode führt unweigerlich zur Frage der Auswertung.

exemplarische Probleme der Evaluation I Befragungen: - Mehrdeutigkeit von Formulierungen, Rückmeldungen - Repräsentanz, Bedeutung der Befragten auch innerhalb einer Gruppe - Antworttendenzen - etc.

exemplarische Probleme der Evaluation II Die Gütekriterien: Objektivität: Die Durchführung und die Auswertung des Tests sowie die Interpretation der Ergebnisse sind objektiv nachvollziehbar und unabhängig vom Versuchsleiter. Reliabilität: Der Test misst das, was er misst, möglichst exakt. Validität: Der Test misst tatsächlich das, was er messen soll. Nebengütekriterien: Vergleichbarkeit, Ökonomie, Nützlichkeit

Probleme der Evaluation IV Stereotype – Wer ist der Beamte? – Wieso Beamter? Quelle: 1.bp.blogspot.com/.../s1600/frenchman.gif Quelle:mktg343.pbworks.com/German%20Beer%20Man.jpg

Datenauswertung I „Hast du `nen Plan?“

Datenauswertung II Kreisdiagramm? Histogramm? Balkendiagramm? Bkendiagramm? Kreisdiagramm? Histogramm? Balkendiagramm?

Zusammenhänge Korrelationen – statistische Zusammenhänge Positive Zusammenhänge: je größer, desto größer, je kleiner, desto kleiner Negative Zusammenhänge: je größer.. Desto größer Achtung: Ein Zusammenhang läst keine kausalen Zusammenhänge zu!

Kontakt Alexandra.Marsall@nlq.niedersachsen.de Marion.Queck-Boetzkes@nlq.niedersachsen.de Niedersächsisches Landesinstitut für schulische Qualitätsentwicklung (NLQ) Keßlerstraße 52 31134 Hildesheim nlq.nibis.de 16