Formen der Systemsteuerung und einige zentrale methodische Aspekte der Evaluation Welchen Logiken folgt Evaluation? Welche Evaluationsbegriffe kommen bei Evaluationsvorhaben zur Anwendung? Wie können wir ein Evaluationsvorhaben charakterisieren? Welche generellen Unterscheidungen finden wir bei den Methoden der Evaluation?

Teil 1 Versuch einer Definition Was ist Evaluation. Welche Begriffe Teil 1 Versuch einer Definition Was ist Evaluation!? Welche Begriffe? Versuch einer Systematik! „Schillernde Vielfalt des Evaluationsbegriffs“ „Eine Menge möglicher Verhaltensweisen“ „To say that there are as many definitions as there are evaluators......“

Drei Definitionsversuche der Evaluationsliteratur Program evaluation is the use of social research methods to systematically investigate the effectiveness of social intervention programs. It draws on the techniques and concepts of social science disciplines and is intended to be useful for improving programs and informing social action aimed at ameliorating social problems (Rossi, Freeman, Lipsey 1999, 35) Evaluation (Bewertung): Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder eines Programms, was nicht notwendigerweise systematische Verfahren oder datengeschützte Beweise zur Untermauerung einer Beurteilung erfordert...Evaluationsforschung betont die Möglichkeit eines Beweises anstelle der reinen Behauptung bzgl. des Wertes und Nutzens einer bestimmten sozialen Aktivität (Suchmann 1967) Evaluation dient der Planungs- und Entscheidungshilfe und hat somit etwas mit der Bewertung von Handlungsalternativen zu tun und ist ziel- und zweckorientiert und soll praktische Maßnahmen überprüfen, verbessern oder über sie entscheiden (Wottawa 1998, 14)

Alltagssprachlicher Gebrauch und seine Präzisierung (Kromrey 2001) „Irgendetwas wird - von irgendjemandem nach - irgendwelchen Kriterien in - irgendeiner Weise bewertet“ Sachverhalte, Programme, Maßnahmen, Projekte, Organisationen....... Sachverständige, ausgewiesene Experten, Betroffene, Innovationsakteure, Stakeholders... Kriterien und/oder Indikatoren die auf den expliziten Sachverhalt mehr oder weniger bezogen sind...... replizierbares Verfahren, welches auch im Detail bzw. Verfahrensschritten (story board) geplant ist und in einem Evaluationsdesign für alle Beteiligten verbindlich dargelegt wird.............

Aspekte und Fragen zur Charakterisierung eines Evaluationsprojektes Evaluationsziel: Warum wird evaluiert? Welcher Zweck wird verfolgt? Evaluationsbereiche: In welchem gesellschaftlichen Bereich wird evaluiert? Evaluationsgegenstand: Wer / Was wird evaluiert? Evaluationsort: Wo wird evaluiert? Evaluationsmodell: Wie wird evaluiert? Nach welchen Kriterien? Evaluationsnutzung: Wie werden die Ergebnisse aufbereitet und entscheidungsrelevant verwendet? Evaluationsakteure: Von wem wird die Evaluation durchgeführt? Wer ist der Nutznießer? Wer will es nicht? Die Fragen können in einer Checkliste genutzt werden um die wesentlichen Aspekte einer Evaluation zu klären.

Unterschiedliche Formen der Systemsteuerung und -kontrolle (Wottawa/ Thierau 1998, S. 28) Ergebniskontrolle Inputkontrolle Verhaltenskontrolle Formulierung von Inputvorgaben und Kontrolle des Inputs Formulierung von Handlungsvorgaben und Kontrolle des Verhaltens/Handelns Formulierung von Outputvorgaben und Kontrolle des Outputs Inputkontrolle (traditionell die Deutsche Vorgehensweise): Qualität der Bildungsprozesse durch Auswahl guter Lehrer, gutes didaktisches Material; der Rest wird schon laufen; Nachweis des 1. und 2. Staatsexamen als Input für das Bildungssystem Verhaltenssteuerung (in Deutschland in Bereich der öffentlichen Verwaltung typischerweise zu finden): Viele Verhaltensanweisungen für die Ausbilder durch die Bildungsabteilung eines Großkonzerns! Verwaltungsbestimmungen, Durchführungsvorschriften System ist vorwiegend Verhaltenskontrolliert Ergebnissteuerung (liegt voll im Trend): Vorwiegend beschäftigt sich das Evaluationsvorhaben mit der Optimierung des vorzeigbaren bzw. erlebbaren Nutzens PISA Aufgaben als Ergebnis einer Outputvorgabe und der Kontrolle der z.B. mathematischen Fähigkeiten oder des Leseverständtnisses der Schüler Die neuen Schwerpunktsetzungen von Input zu Output-Kontrolle hat auch neue Schwerpunktsetzungen bei den Evaluationsprojekten zur Folge! Inputvorgaben System Verhalten Output

Bedingungen, Orientierungen, Ebenen, Zeitpunkt der Evaluation Rahmenbedingungen: Auftragsverhandlungen parteilich vs. überparteilich Offene vs. geschlossene Evaluation Zweckorientierung: Paradigma Evaluation als Kontrolle Theorieorientierte Evaluation Entwicklungsorientierte Evaluation Ebenen der Evaluation: Gerichtetheit der Fragestellung Mikro-Evaluation Meso-Evaluation Makro-Evaluation Tatsächliche Ziele des Evaluationsvorhabens nicht die vorgeschobenen; Ethische Implikationen des Evaluationsvohabens; absehbare Nebenfolgen z.B. Bestimmte Maßnahmen einer Schule sollten untersucht werden; hat aber wenig Sinn da die Lehrer nicht wollen; bzw. Leitung will nichts ändern! Man sollte grundsätzlich auf eine Veröffentlichung wert legen! Kontrolle: Sind die Mittel sachgerecht ausgegeben worden Theorie: Sind die theoretischen Überlegungen richtig: Forschung über gesellschaftliche Zusammenhänge Entwicklung: EVA soll eine Optimierung oder Verbesserung der Interventionsmaßnahme bewirken Vorher: antizipatorisch; prognostisch; prospektiv Während: prozeß oder dynamische Evaluation Nachher: Produkt-, Outputevaluation; Ergebnisevaluation Zeitpunkt der Evaluation Vor einer Maßnahme Während einer Maßnahme Nach einer Maßnahme

Zentrale Bearbeitungsformen der Evaluation: Formative (im Verlauf) vs. summative Evaluation Selbst vs. Fremdevaluation Interne vs. externe Evaluation Vergleichende vs. nicht-vergleichende Evaluation Formativ: vorwiegend zur Gestaltungsverbesserung; meist befriedigender da noch gestaltend eingegriffen werden kann Summativ: zusammenfassende abschließende Bewertung Nach Abschluss einer Maßnahmen werden die gemachten Erfahrungen aufbereitet und zusammengefasst (Meta Evaluation): comprehensive evalautions (Rossi) Aber auch verbesserte Gestaltung des Evaluationsdesigns! Meta-Evaluation Ergebniszusammenfassende Meta-Evaluation Programm-Design-Evaluation

Einige Anwendungsbereiche der Evaluation in Deutschland Bildungsbereich (Aus- und Weiterbildung) Wirtschaft Agrar- und Verkehrspolitik Familien- und Sozialpolitik Arbeitsmarkt- und Beschäftigungspolitik Umweltpolitik Gesundheitswesen Städtebau und Wohnungswesen Militärischer Bereich

Gruppen von Evaluationsgegenständen Lernerfolg der Teilnehmer eines Weiterbildungsseminars; Veränderung des Raucherverhalten nach Anti-Raucher-Kampagne Personen Wirkungen von Medikamenten auf die Gesundheit, Akzeptanz eines technischen Produktes am Markt; Produkte Aufklärungskampagnen zu Aids, Behandlungsprogramm im Strafvollzug, Modellversuche im Bildungswesen; Wirksamkeit eines Modellversuchsprogramme z.B. zur Einführung neuer Lernkonzepte oder der Lernortkooperation Modellversuche & Programme Wirkung von Straßenlärm auf den nächtlichen Ruheschlaf, Effekte einer Umgehungsstraße auf die städt. Verkehrssitua. Umweltmaßnahmen Vergleich verschiedener Lesetechniken hinsichtlich der Lesegeschwindigkeit, Einfluss der „Super Learning“ Lerntechnik auf Fremdsprachenerwerb Techniken & Methoden Wirkung der Zielvorgaben „mitarbeiterorientierter Führungsstil“ (FS) vs. „aufgabenorientierter FS“ auf das Betriebsklima und den Unternehmenserfolg Zielvorgaben

Bewertung von Maßnahmen/ Veränderungen wie Verfahren der Evaluation bzw. methodisches Vorgehen Wer sind die Evaluationsakteure? Bewertung von Maßnahmen/ Veränderungen wie Einführung eines neuen Pflegekonzeptes Etablierung einer neuen Fabrikorganisation Qualitätsmanagementsysteme (z.B. Q2E, EFQM) Teamarbeitsmodelle Neue Aus-und Weiterbildungsangebote Zu welchem Zeitpunkt findet die Evaluation statt? Nach welchen Kriterien/ Indikatoren soll die Evaluation ausgerichtet werden? Wie werden diese bestimmt?

Vier Zielfunktionen bei Evaluationen nach Stockmann (2002) Erkenntnisfunktion Kontrollfunktion Z.B.: Welche Akzeptanz erfährt das Programm? Funktioniert der Programmablauf? Erreicht die Maßnahme ihre Zielgruppe? Z.B.:Erfüllen alle am Programm Beteiligten ihre Aufgaben? Reichen die professionellen, finanziellen und physikalischen Resourcen aus? Gewinnung von Erkenntnissen Gewinnung von Erkenntnissen / Expertisen Programm/ Projekt Schaffung von Transparenz um Dialog zu erreichen Dokumentation der Bewertung der Aktivität Z.B.:Entwicklung Zusammenarbeit? Was wurde erreicht? Wo sind Erfolge zu verzeichnen? Wo liegen die Defizite? Z.B.:Legitimation der eigenen Arbeit; sachgerechte Mittelverwendung Effektivität Dialogfunktion Legitimitätsfunktion © Stockmann 2000

Betroffene / Stakeholders ? Einstieg: Klärung der Ziele und Motivlagen bei der Evaluation betrieblicher Weiterbildung Lehrerfolgsnachweis Hinweise auf Weiterbildung Feed-Back durch die Azubi Mängel in der Organisation Bedarf an Ressource Ausbilder Dozenten Trainer Studenten, SeminarteilnehmerAZUBI Betroffene / Stakeholders ? Vorgesetzte Leitung Lernerfolg Teilnahmeerfolg Karriereförderung Feed-Back Beurteilung Ausbilder/ Studierende Rechenschaftslegung Personalfragen Effizienz-Nachweis Organisationsschwächen

Typische Methoden der quantitativen Evaluation Quantitative Methoden der Datenerhebung: Messungen stehen im Mittelpunkt in Form einer Quantifizierung der Beobachtungsrealität; mündet ein in die statistische Auswertung von Meßwerten: Sind die zu erhebenden Merkmale operationalisierbar? Beobachtung meint das Sammeln von Erfahrungen in einem nicht-kommunikativen Prozeß mit Hilfe sämtlicher Wahrnehmungsmöglichkeiten. Die wissenschaftliche Beobachtung beruht auf Standardisierung und Intersubjektivität und wird von Alltagsbeobachtungen abgegrenzt. Befragungen unterscheiden sich in mündliche Befragungen in Form von Interviews oder schriftliche Befragungen in Form von Fragebögen Zählen qualitativer und quantitativer Merkmale unter Nutzung von Indikatoren

Typische Methoden der qualitativen Evaluation Qualitative Evaluationsforschung verzichtet eher auf Messungen, sind weniger standardisiert und liefern Interpretationen von verbalem Material oder nicht-numerischen Daten ; viele Evaluationsprojekte kombinieren quantitative und qualitative Methoden. Qualitative Befragungen wie z. B. offene Interviews, arbeiten mit offenen Fragen und lassen dem Befragten viel Spielraum bzw. werden durch die Interaktion zwischen Interviewer und dem Befragten gesteuert. Die Eindrücke und Deutungen des Interviewers dienen als Informationsquelle. Qualitative Beobachtungen arbeiten mit offenen Kategorien bzw. Fragestellungen, lassen mehr Informationen des Verhaltens und Erlebens zu und finden im natürlichem Lebensumfeld bei meist aktiver Teilnahme des Beobachters statt. Qualitative Auswertungsverfahren interpretieren das Material in intersubjektiv nachvollziehbaren Arbeitsschritten. Gültige Interpretationen sollten konsensfähig sein und von mehreren Forschern, Experten, Laien selbst als zutreffende Deutung interpretiert werden.

Evaluations-Zyklus im Verlauf eines Vorhabens Interne Entscheidungen; weitere Perspektiven; vollständige Dokumentation Planung der Evaluationsmaßnahme Durchführung im Entwicklungsprozess Dialog über die Ergebnisse Selbstevaluation Externe Evaluation: Fremdevaluation Evaluationsbericht