Formen der Systemsteuerung und einige zentrale methodische Aspekte der Evaluation Welchen Logiken folgt Evaluation? Welche Evaluationsbegriffe kommen bei Evaluationsvorhaben zur Anwendung? Wie können wir ein Evaluationsvorhaben charakterisieren? Welche generellen Unterscheidungen finden wir bei den Methoden der Evaluation?

Unterschiedliche Formen der Systemsteuerung und -kontrolle Ergebnissteuerung Inputsteuerung Verhaltenssteuerung Formulierung von Inputvorgaben und Kontrolle des Systeminputs Formulierung von Handlungsvorgaben und Kontrolle des Verhaltens Formulierung von Outputvorgaben und Kontrolle des Outputs Inputkontrolle (traditionell die Deutsche Vorgehensweise): Qualität der Bildungsprozesse durch Auswahl guter Lehrer, gutes didaktisches Material; der Rest wird schon laufen; Nachweis des 1. und 2. Staatsexamen als Input für das Bildungssystem Verhaltenssteuerung (in Deutschland in Bereich der öffentlichen Verwaltung typischerweise zu finden): Viele Verhaltensanweisungen für die Ausbilder durch die Bildungsabteilung eines Großkonzerns! Verwaltungsbestimmungen, Durchführungsvorschriften System ist vorwiegend Verhaltenskontrolliert Ergebnissteuerung (liegt voll im Trend): Vorwiegend beschäftigt sich das Evaluationsvorhaben mit der Optimierung des vorzeigbaren bzw. erlebbaren Nutzens PISA Aufgaben als Ergebnis einer Outputvorgabe und der Kontrolle der z.B. mathematischen Fähigkeiten oder des Leseverständtnisses der Schüler Die neuen Schwerpunktsetzungen von Input zu Output-Kontrolle hat auch neue Schwerpunktsetzungen bei den Evaluationsprojekten zur Folge! Input System Verhalten Output

Wichtige Evaluationsbegriffe im Ablauf eines Evaluationsvorhabens Rahmenbedingungen: Auftragsverhandlungen parteilich vs. überparteilich Offene vs. geschlossene Evaluation Zweckorientierung: Paradigma Evaluation als Kontrolle Theorieorientierte Evaluation Entwicklungsorientierte Evaluation Ebenen der Evaluation: Gerichtetheit der Fragestellung Mikro-Evaluation Meso-Evaluation Makro-Evaluation Tatsächliche Ziele des Evaluationsvorhabens nicht die vorgeschobenen; Ethische Implikationen des Evaluationsvohabens; absehbare Nebenfolgen z.B. Bestimmte Maßnahmen einer Schule sollten untersucht werden; hat aber wenig Sinn da die Lehrer nicht wollen; bzw. Leitung will nichts ändern! Man sollte grundsätzlich auf eine Veröffentlichung wert legen! Kontrolle: Sind die Mittel sachgerecht ausgegeben worden Theorie: Sind die theoretischen Überlegungen richtig: Forschung über gesellschaftliche Zusammenhänge Entwicklung: EVA soll eine Optimierung oder Verbesserung der Interventionsmaßnahme bewirken Vorher: antizipatorisch; prognostisch; prospektiv Während: prozeß oder dynamische Evaluation Nachher: Produkt-, Outputevaluation; Ergebnisevaluation Zeitpunkt der Evaluation Vor einer Maßnahme Während einer Maßnahme Nach einer Maßnahme

Fortführung zu wichtigen Evaluationsbegriffe Einige Bearbeitungsformen der Evaluation z.B.: Formative vs. summative Evaluation Selbst vs. Fremdevaluation Interne vs. externe Evalaution Vergleichende vs. nicht vergleichende Evaluation Formativ: vorwiegend zur Gestaltungsverbesserung; meist befriedigender da noch gestaltend eingegriffen werden kann Summativ: zusammenfassende abschließende Bewertung Nach Abschluss einer Maßnahmen werden die gemachten Erfahrungen aufbereitet und zusammengefasst (Meta Evaluation): comprehensive evalautions (Rossi) Aber auch verbesserte Gestaltung des Evaluationsdesigns! Meta-Evaluation Ergebniszusammenfassende Meta-Evaluation Programm-Design-Evaluation

Aspekte und Fragen zur Charakterisierung eines Evaluationsprojektes Evaluationsziel: Warum wird evaluiert? Welcher Zweck wird verfolgt? Evaluationsbereiche: In welchem gesellschaftlichen Bereich wird evaluiert? Evaluationsgegenstand: Wer / Was wird evaluiert? Evaluationsort: Wo wird evaluiert? Evaluationsmodell: Wie wird evaluiert? Nach welchen Kriterien? Evaluationsnutzung: Wie werden die Ergebnisse aufbereitet und entscheidungsrelevant verwendet? Evaluationsakteure: Von wem wird die Evaluation durchgeführt? Wer ist der Nutznießer? Wer will es nicht? Die Fragen können in einer Checkliste genutzt werden um die wesentlichen Aspekte einer Evaluation zu klären.

Betroffene / Stakeholders ? Einstieg: Klärung der Ziele und Motivlagen bei der Evaluation betrieblicher Weiterbildung Lehrerfolgsnachweis Hinweise auf Weiterbildung Feed-Back durch die Azubi Mängel in der Organisation Bedarf an Ressource Ausbilder Dozenten Trainer Studenten, SeminarteilnehmerAZUBI Betroffene / Stakeholders ? Vorgesetzte Leitung Lernerfolg Teilnahmeerfolg Karriereförderung Feed-Back Beurteilung Ausbilder/ Studierende Rechenschaftslegung Personalfragen Effizienz-Nachweis Organisationsschwächen

Anwendungsbereiche der Evaluation in Deutschland Bildungsbereich (Aus- und Weiterbildung) Wirtschaft Agrar- und Verkehrspolitik Familien- und Sozialpolitik Arbeitsmarkt- und Beschäftigungspolitik Umweltpolitik Gesundheitswesen Städtebau und Wohnungswesen Militärischer Bereich

Gegenstände/ Objekte von Evaluationsprojekten Lernerfolg der Teilnehmer eines Weiterbildungsseminars; Veränderung des Raucherverhalten nach Anti-Raucher-Kampagne Personen Wirkungen von Medikamenten auf die Gesundheit, Akzeptanz eines technischen Produktes am Markt; Produkte Aufklärungskampagnen zu Aids, Behandlungsprogramm im Strafvollzug, Modellversuche im Bildungswesen; Wirksamkeit eines Modellversuchsprogramme z.B. zur Einführung neuer Lernkonzepte oder Lernortkooperation Modellversuche & Programme Wirkung von Straßenlärm auf den nächtlichen Ruheschlaf, Effekte einer Umgehungsstraße auf die städt. Verkehrssitua. Umweltmaßnahmen Vergleich verschiedener Lesetechniken hinsichtlich der Lesegeschwindigkeit, Einfluss der „Super Learning“ Lerntechnik auf Fremdsprachenerwerb Techniken & Methoden Wirkung der Zielvorgaben „mitarbeiterorientierter Führungsstil“ (FS) vs. „aufgabenorientierter FS“ auf das Betriebsklima und den Unternehmenserfolg Zielvorgaben

Typische Methoden der quantitativen Evaluation Quantitative Methoden der Datenerhebung: Messungen stehen im Mittelpunkt in Form einer Quantifizierung der Beobachtungsrealität; mündet ein in die statistische Auswertung von Meßwerten: Sind die zu erhebenden Merkmale operationalisierbar? Beobachtung meint das Sammeln von Erfahrungen in einem nicht-kommunikativen Prozeß mit Hilfe sämtlicher Wahrnehmungsmöglichkeiten. Die wissenschaftliche Beobachtung beruht auf Standardisierung und Intersubjektivität und wird von Alltagsbeobachtungen abgegrenzt. Befragungen unterscheiden sich in mündliche Befragungen in Form von Interviews oder schriftliche Befragungen in Form von Fragebögen Zählen qualitativer und quantitativer Merkmale unter Nutzung von Indikatoren

Typische Methoden der qualitativen Evaluation Qualitative Evaluationsforschung verzichtet eher auf Messungen, sind weniger standardisiert und liefern Interpretationen von verbalem Material oder nicht-numerischen Daten ; viele Evaluationsprojekte kombinieren quantitative und qualitative Methoden. Qualitative Befragungen wie z. B. offene Interviews, arbeiten mit offenen Fragen und lassen dem Befragten viel Spielraum bzw. werden durch die Interaktion zwischen Interviewer und dem Befragten gesteuert. Die Eindrücke und Deutungen des Interviewers dienen als Informationsquelle. Qualitative Beobachtungen arbeiten mit offenen Kategorien bzw. Fragestellungen, lassen mehr Informationen des Verhaltens und Erlebens zu und finden im natürlichem Lebensumfeld bei meist aktiver Teilnahme des Beobachters statt. Qualitative Auswertungsverfahren interpretieren das Material in intersubjektiv nachvollziehbaren Arbeitsschritten. Gültige Interpretationen sollten konsensfähig sein und von mehreren Forschern, Experten, Laien selbst als zutreffende Deutung interpretiert werden.

Bewertung von Maßnahmen/ Veränderungen wie Verfahren der Evaluation bzw. methodisches Vorgehen Wer sind die Evaluationsakteure? Bewertung von Maßnahmen/ Veränderungen wie Einführung eines neuen Pflegekonzeptes Etablierung einer anderen Fabrikorganisation Qualitätsmanagementsystem Teamarbeitsmodelle Neues Aus-und Weiterbildungsangebot Zu welchem Zeitpunkt findet die Evaluation statt? Nach welchen Kriterien/ Indikatoren soll die Evaluation ausgerichtet werden? Wie werden diese bestimmt?