Evaluation

Evaluation - Überblick - Definition Reflektion, Feedback, Evaluation Evaluation etwas genauer Selbst- und Fremdevaluation Evaluationsinstrumente Evaluation

Evaluation - Definition - Evaluation ist das, was wir daraus machen. Eine einheitliche und von allen akzeptierte Definition ist schwer auszumachen. Durch die jeweilige praktische Anwendung erhält der Begriff immer wieder eine neue Färbung.

Evaluation - Definition - Dennoch ist es gerade für die Praxis nützlich einige Eckpunkte zu kennen: Evaluation -> lat.: valor= Wert und e/ex= aus Evaluation bedeutet also Auswertung, Bewertung oder einen Wert aus etwas ziehen.

Evaluation - Definition - Was? Bestimmung des Wertes einer Sache

Evaluation - Definition - Evaluation ist der Prozess der Beurteilung des Wertes einer Sache. Basis sind immer empirisch feststellbare Sachverhalte, auf deren Grundlage Vorgänge insgesamt bewertet und optimaler gestaltet werden. (Ruep/ Keller 2007)

Evaluation - Definition - Evaluation ist der Prozess der Beurteilung des Wertes einer Sache. Basis sind immer empirisch feststellbare Sachverhalte, auf deren Grundlage Vorgänge insgesamt bewertet und optimaler gestaltet werden. (Ruep/ Keller 2007)

Evaluation - Definition - Wie? Mit systematischen Methoden (Evaluationsinstrumente), die Daten als Grundlage der Bewertung ermitteln.

Evaluation - Definition - Evaluation ist der Prozess der Beurteilung des Wertes einer Sache. Basis sind immer empirisch feststellbare Sachverhalte, auf deren Grundlage Vorgänge insgesamt bewertet und optimaler gestaltet werden. (Ruep/ Keller 2007)

Evaluation - Definition - Warum? Optimierung von pädagogischen Veranstaltungen, Arbeitsabläufen in der Einrichtung, Fortbildungen…

Reflektion, Feedback und Evaluation…

Reflektion, Feedback, Evaluation Von mir und für mich Klar werden, über die eigene Situation, das eigene Verhalten usw. als Methode der Selbstevaluation Reflektion Von anderen für mich Rückmeldung, wie ich auf andere wirke, ob ich meine Inhalte vermitteln konnte als Methode der Fremdevaluation Feedback

Evaluation - etwas genauer - Bereits vor 2300 Jahren forderte Aristoteles den Nutzen staatlicher Maßnahmen empirisch zu bewerten. Jedoch begannen Staat und Privatwirtschaft erst im 20. Jhd. Dienstleistungen und Produkte qualitativ zu prüfen. Evaluation hat eine informationsgewinnende und -bewertende Funktion und geht immer systematisch vor. Aus der Bewertung werden Maßnahmen zur Verbesserung der Sache abgeleitet und durchgeführt. Anschließend werden diese Maßnahmen wieder evaluiert.

Evaluation - etwas genauer - So kann eine ständige Weiterentwicklung gewährleistet werden. Defizite werden benannt und Möglichkeiten zur Verbesserung ausprobiert, bis ein Optimum erreicht wird. Auf diesem Wege können z.B. die pädagogische Veranstaltungen, (waldpädagogische) Fortbildungen, Seminare aber auch die Arbeit im Team oder Büroabläufe fortwährend optimiert werden.

Evaluation - etwas genauer - Durch Evaluation kann festgestellt werden, ob die pädagogischen Ziele einer Veranstaltung erreicht wurden. (Erreiche ich – auch langfristig – überhaupt meine angestrebten Ziele?) Außerdem kann die Zufriedenheit der Teilnehmer oder Kunden festgestellt werden. (Werden die Teilnehmer wiederkommen?) So trägt die kontinuierliche Sicherung der Qualität auch zum Erhalt der Wettbewerbsfähigkeit bei. (Durch den Dialog mit den TN bleibt der Marktwert aktuell)

Beispiel? Evaluation Einrichtung/ Veranstaltung Was soll evaluiert werden? Welches Instrument eignet sich? Ableitung von Maßnahmen Verbesserte Einrichtung/ Veranstaltung Evaluation der neuen Maßnahmen Möglicherweise weitere Entwicklung von Maßnahmen Beispiel?

Evaluation - Definition - Wer? Interne und externe Evaluation

Evaluation - Selbstevaluation und Fremdevaluation- Interne Evaluation Selbstkritische und systematische Analyse der Qualität Durchführung liegt im eigenen Verantwortungsbereich Die Kollegen entscheiden selbst über Art und Konsequenz der Evaluation Sollte alle Betroffenen einbeziehen (-> Prozess der Demokratisierung) Fremdevaluation Externe Evaluation Evaluation durch externe/ betriebsfremde Dritte Ergänzung zur Selbstevaluation Kann von der Institution in Auftrag gegeben werden, aber u.U. auch von einer höheren Instanz verordnet werden. Vorteile? Nachteile? Vorteile? Nachteile?

Evaluation - Selbstevaluation und Fremdevaluation- Vorteile: Höhere Akzeptanz Engagiertere Evaluatoren Bessere Kenntnis der Einrichtung Nachteile: Geringere Objektivität Betriebsblindheit Fremdevaluation Vorteile: Unvoreingenommenere, objektivere Evaluatoren Fundiertes Wissen über Evaluation Dadurch: höhere Glaubwürdigkeit bei anderen Instanzen (Beispiel: Fördergelder) Nachteile: Akzeptanz der Betroffenen Geringeres Wissen über die Einrichtung

Evaluation - Evaluationsinstrumente - quantitativ Erhebung von Daten, Fakten, Zahlen, Statistiken Welche Veranstaltungen sind die beliebtesten? qualitativ Diskursive, dialogische Ansätze und Instrumente zur Rückmeldung Wie kann die Zusammenarbeit unter den Kollegen verbessert werden?

Evaluation - Evaluationsinstrumente - Fragebögen -> große Masse wird erreicht, schnelle Auswertung Tagebücher -> schriftliche Reflexion, festhalten von wichtigen Ereignissen Interviews -> individuelle, detailierte Auskünfte sind möglich Informelle Gespräche -> offener (privater) Austausch Triangulation -> Perspektivwechsel

Evaluation - Evaluationsinstrumente - Dokumentenanalyse -> vorhandene Daten nutzen Kollegiales Diskutieren -> Austausch von professionellem Wissen Rollenspiele -> Perspektivwechsel Bildevaluation -> für kleine Kinder Video- und Fotoevaluation -> kreative Möglichkeit

Evaluation - Evaluationsinstrumente - Kritischer Freund Außenstehender, der mit dem Ablauf der Organisation vertraut ist Unterstützende Funktion Er ist vertrauenswürdig, öffnet neue Perspektiven, nimmt sich Zeit, um alle Beteiligten zu verstehen Er gibt Feedback und fördert die Kommunikation und den internen und externe Beziehungsaufbau Kontinuität

Evaluation Evaluation braucht Zeit, Geduld und Sensibilität Evaluation sollte nicht als Belastung oder Kontrolle gesehen werden, sondern grund-legendes Element von Qualitätsentwicklung und als Chance zur ständigen Weiterent-wicklung.

Evaluation der Präsentationen

Festiwald der Sinne (im Wald der Märchen und Wunder) Gudrun, Ute, Silvia, Andrea Zielgruppe: Familien (15 TN) Rahmen: Veranstaltung Ziel: Formuliert: (nicht ausdrücklich)  Teilziel/Lernziel Methoden: Einstimmung ( etwas mit Tieren im Wald erfahren/ Thema: Sinne) Lichterreise (Sinneserlebnisse) Walnuss-Schiffchen ( Gitarrenmusik Kommunikation/ Sprache (nicht beurteilbar)

Ursula, Linda, Tanja, Silke, Ernst Wild im Wald Ursula, Linda, Tanja, Silke, Ernst Zielgruppe: Bänker (16 TN) Rahmen: Betriebsausflug Ziel: benannt aber nicht beschrieben Bänker zu Jägern machen Spaß? (Sinne schärfen) Ich: langweilig und trocken (wertfrei); Hierachien beachtet; „Sollen sich auch mal erschrecken“ „zu sehen, ob sie dazu in der Lage sind“ „abschreckend wirken“, (augenzwinkernd?), Fremdwahrnehmung/ Selbstwahrnehmung Prinzipien: andere Erlebnisse verschaffen, überraschen, besinnen, Spaß (weg vom Alltag), Konfrontation

Friederike, Jörg, Jost Wir im Wald Zielgruppe: Multiplikatorinnen aus Erziehung und Pädagogik (und die, die es werden wollen) Rahmen: Fortbildung Ziel: benannt aber nicht beschrieben bzw. begründet Lerninhalt über Spannung und Pädagogik zu vermitteln Planung/Struktur: 3-Tage, 60 TN, 3 Blöcke nach Zielgrupe aufgeteilt referenten zugeornet Angebote Pädagogik/Spannung/Ökologie-Nachhaltigkeit Didaktische Prinzipien: Zielgruppen orientiert; Selbstständiges Arbeiten, , Problem orientiert (z.B. vom Sex ablenken) (Methoden orientiert) Lerninhalt: Ökologie und Nachhaltigkeit ; Umgang mit Zielgruppen Forst- und Ökologieinhalte: (von mir nicht beurteilbar) Experte)

Evaluation - Quellen- BALZER, Lars: Wie werden Evaluationsprojekte erfolgreich? Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Verlag Empirische Pädagogik, Landau 2005 RADEWALDT, Fred: Evaluation. Eine Schule überprüft ihre Qualitätsstandards. Schneider Verlag Hohengehren, Baltmannsweiler 2005 RUEP, Margret/ KELLER, Gustav: Schulevaluation. Grundlagen, Methoden, Wirksamkeit. Peter Lang Internationaler Verlag der Wissenschaften, Frankfurt am Main 2007 SCHRATZ, Michael/ JAKOBSEN, Bo/ MAC BEATH, John/ MEURET, Denis: Serena, oder: Wie Menschen ihre Schule verändern. Schulentwicklung und Selbstevaluation in Europa. Studienverlag, Innsbruck 2002