Formen der Systemsteuerung und einige zentrale methodische Aspekte der Evaluation Welchen Logiken folgt Evaluation? Welche Evaluationsbegriffe kommen bei Evaluationsvorhaben zur Anwendung? Wie können wir ein Evaluationsvorhaben charakterisieren? Welche generellen Unterscheidungen finden wir bei den Methoden der Evaluation?

Unterschiedliche Formen der Systemsteuerung und - kontrolle InputsteuerungVerhaltenssteuerung Ergebnissteuerung Formulierung von Inputvorgaben und Kontrolle des Systeminputs Formulierung von Handlungsvorgaben und Kontrolle des Verhaltens Formulierung von Outputvorgaben und Kontrolle des Outputs InputSystemVerhalten Output

Wichtige Evaluationsbegriffe im Ablauf eines Evaluationsvorhabens Rahmenbedingungen: Auftragsverhandlungen parteilich vs. überparteilichOffene vs. geschlossene Evaluation Zweckorientierung: Paradigma Evaluation als Kontrolle Entwicklungsorientierte Evaluation Theorieorientierte Evaluation Ebenen der Evaluation: Gerichtetheit der Fragestellung Mikro-EvaluationMeso-EvaluationMakro-Evaluation Zeitpunkt der Evaluation Vor einer MaßnahmeWährend einer MaßnahmeNach einer Maßnahme

Fortführung zu wichtigen Evaluationsbegriffe Einige Bearbeitungsformen der Evaluation z.B.: Formative vs. summative Evaluation Interne vs. externe Evalaution Selbst vs. Fremdevaluation Vergleichende vs. nicht vergleichende Evaluation Meta-Evaluation Programm-Design-Evaluation Ergebniszusammenfassende Meta-Evaluation

Vier Zielfunktionen von Evaluation nach Stockmann (2002) ErkenntnisfunktionKontrollfunktion Dialogfunktion Legitimitätsfunktion Programm/ Projekt Z.B.: Welche Akzeptanz erfährt das Programm? Funktioniert der Programmablauf reibungslos? Erreicht die Maßnahme ihre Zielgruppe? Z.B.:Erfüllen alle am Programm beteiligten ihre Aufgaben? Reicht die Qualifikation/ das Konzept aus? Z.B.:Entwickelt sich eine gute Zusammenarbeit? Was wurde erreicht? Wo sind Erfolge zu verzeichnen? Wo liegen die Defizite? Z.B.:Nachhaltigkeit aller Programmeffekte Legitimation der eigenen Arbeit Effizienz der Mittel © Stockmann 2000 Gewinnung von Erkenntnissen Schaffung von Transparenz um Dialog zu erreichen Gewinnung von Erkenntnissen Dokumentation des Erfolges

THREE CONCEPTUAL FRAMEWORK FOR TYPE`s of EVALUATIONS RESEARCH PARADIGM Evaluation for developing and distribution the knowledge base about the effects and implication arising from social interventions (impact research) CONTROL PARADIGM Evaluation as an attempt to control and monitor developments in the regional & national vet system (Ex-post evaluation/ control on success) HELPING OR CONSULTANCY PARADIGM E valuation with its prior idea to develop and perform better in a community of practise (formative, participate evaluation, open evaluation, strong user involvement, feed-back to the audience, support leaning and self consciousness) Nach Kromrey

Aspekte und Fragen zur Charakterisierung eines Evaluationsprojektes Evaluationsziel: Warum wird evaluiert? Welcher Zweck wird verfolgt? Evaluationsbereiche: In welchem gesellschaftlichen Bereich wird evaluiert? Evaluationsgegenstand: Wer / Was wird evaluiert? Evaluationsort: Wo wird evaluiert? Evaluationsmodell: Wie wird evaluiert? Nach welchen Kriterien? Evaluationsnutzung: Wie werden die Ergebnisse aufbereitet und entscheidungsrelevant verwendet? Evaluationsakteure: Von wem wird die Evaluation durchgeführt? Wer ist der Nutznießer? Wer will es nicht?

Einstieg: Klärung der Ziele und Motivlagen bei der Evaluation betrieblicher Weiterbildung Ausbilder Dozenten Trainer Lehrerfolgsnachweis Hinweise auf Weiterbildung Feed-Back durch die Azubi Mängel in der Organisation Bedarf an Ressource Studenten, Seminarteilnehmer AZUBI Lernerfolg Teilnahmeerfolg Karriereförderung Feed-Back Vorgesetzte Leitung Beurteilung Ausbilder/ Studierende Rechenschaftslegung Personalfragen Effizienz-Nachweis Organisationsschwächen

Anwendungsbereiche der Evaluation in Deutschland Bildungsbereich (Aus- und Weiterbildung) Wirtschaft Agrar- und Verkehrspolitik Familien- und Sozialpolitik Arbeitsmarkt- und Beschäftigungspolitik Umweltpolitik Gesundheitswesen Städtebau und Wohnungswesen Militärischer Bereich

Gegenstände/ Objekte von Evaluationsprojekten Personen Lernerfolg der Teilnehmer eines Weiterbildungsseminars; Veränderung des Raucherverhalten nach Anti-Raucher- Kampagne Produkte Wirkungen von Medikamenten auf die Gesundheit, Akzeptanz eines technischen Produktes am Markt; Modellversuche & Programme Aufklärungskampagnen zu Aids, Behandlungsprogramm im Strafvollzug, Modellversuche im Bildungswesen; Wirksamkeit eines Modellversuchsprogramme z.B. zur Einführung neuer Lernkonzepte oder Lernortkooperation Umweltmaßnahmen Wirkung von Straßenlärm auf den nächtlichen Ruheschlaf, Effekte einer Umgehungsstraße auf die städt. Verkehrssitua. Techniken & Methoden Vergleich verschiedener Lesetechniken hinsichtlich der Lesegeschwindigkeit, Einfluss der Super Learning Lerntechnik auf Fremdsprachenerwerb Zielvorgaben Wirkung der Zielvorgaben mitarbeiterorientierter Führungsstil (FS) vs. aufgabenorientierter FS auf das Betriebsklima und den Unternehmenserfolg

Typische Methoden der quantitativen Evaluation Quantitative Methoden der Datenerhebung: Messungen stehen im Mittelpunkt in Form einer Quantifizierung der Beobachtungsrealität; mündet ein in die statistische Auswertung von Meßwerten: Sind die zu erhebenden Merkmale operationalisierbar? Zählen qualitativer und quantitativer Merkmale unter Nutzung von Indikatoren Befragungen unterscheiden sich in mündliche Befragungen in Form von Interviews oder schriftliche Befragungen in Form von Fragebögen Beobachtung meint das Sammeln von Erfahrungen in einem nicht-kommunikativen Prozeß mit Hilfe sämtlicher Wahrnehmungsmöglichkeiten. Die wissenschaftliche Beobachtung beruht auf Standardisierung und Intersubjektivität und wird von Alltagsbeobachtungen abgegrenzt.

Typische Methoden der qualitativen Evaluation Qualitative Evaluationsforschung verzichtet eher auf Messungen, sind weniger standardisiert und liefern Interpretationen von verbalem Material oder nicht-numerischen Daten ; viele Evaluationsprojekte kombinieren quantitative und qualitative Methoden. Qualitative Befragungen wie z. B. offene Interviews, arbeiten mit offenen Fragen und lassen dem Befragten viel Spielraum bzw. werden durch die Interaktion zwischen Interviewer und dem Befragten gesteuert. Die Eindrücke und Deutungen des Interviewers dienen als Informationsquelle. Qualitative Beobachtungen arbeiten mit offenen Kategorien bzw. Fragestellungen, lassen mehr Informationen des Verhaltens und Erlebens zu und finden im natürlichem Lebensumfeld bei meist aktiver Teilnahme des Beobachters statt. Qualitative Auswertungsverfahren interpretieren das Material in intersubjektiv nachvollziehbaren Arbeitsschritten. Gültige Interpretationen sollten konsensfähig sein und von mehreren Forschern, Experten, Laien selbst als zutreffende Deutung interpretiert werden.

Bewertung von Maßnahmen/ Veränderungen wie Einführung eines neuen Pflegekonzeptes Etablierung einer anderen Fabrikorganisation Qualitätsmanagementsystem Teamarbeitsmodelle Neues Aus-und Weiterbildungsangebot Wer sind die Evaluationsakteure? Verfahren der Evaluation bzw. methodisches Vorgehen Zu welchem Zeitpunkt findet die Evaluation statt? Nach welchen Kriterien/ Indikatoren soll die Evaluation ausgerichtet werden? Wie werden diese bestimmt?

Prozess- und Potenzialbeobachtung Beobachtung der Ablaufprozesse Verlauf bei der Programmeinführung Kooperationsverhalten der Akteure Überprüfung der Zielerreichung Ziele sind unpräzise Ziele ändern sich Akteure verfolgen unterschiedliche Ziele Wirkungs- überprüfung intendierte Effekte nicht-intendierte Effekte Kausalbetrachtung Kausalitätsproblem Zurechenbarkeit der Effekte Relevanz-/ Signifikanzprüfung Tut man die richtigen Dinge Aufgabenprofil von Evaluation

Evaluations-Zyklus Planung der Evaluationsm aßnahme Durchführung im Entwicklungsprozess Externe Evaluation Fremdevaluation Evaluations- berichte Selbstevaluation Interne Entscheidung Perspektiven vollständige Dokumentation Dialog über die Ergebnisse