Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Formen der Systemsteuerung und einige zentrale methodische Aspekte der Evaluation Welchen Logiken folgt Evaluation? Welche Evaluationsbegriffe kommen bei.

Ähnliche Präsentationen


Präsentation zum Thema: "Formen der Systemsteuerung und einige zentrale methodische Aspekte der Evaluation Welchen Logiken folgt Evaluation? Welche Evaluationsbegriffe kommen bei."—  Präsentation transkript:

1 Formen der Systemsteuerung und einige zentrale methodische Aspekte der Evaluation Welchen Logiken folgt Evaluation? Welche Evaluationsbegriffe kommen bei Evaluationsvorhaben zur Anwendung? Wie können wir ein Evaluationsvorhaben charakterisieren? Welche generellen Unterscheidungen finden wir bei den Methoden der Evaluation?

2 Teil 1 Versuch einer Definition Was ist Evaluation!? Welche Begriffe? Versuch einer Systematik! Schillernde Vielfalt des Evaluationsbegriffs Eine Menge möglicher Verhaltensweisen To say that there are as many definitions as there are evaluators......

3 Drei Definitionsversuche der Evaluationsliteratur Program evaluation is the use of social research methods to systematically investigate the effectiveness of social intervention programs. It draws on the techniques and concepts of social science disciplines and is intended to be useful for improving programs and informing social action aimed at ameliorating social problems (Rossi, Freeman, Lipsey 1999, 35) Evaluation dient der Planungs- und Entscheidungshilfe und hat somit etwas mit der Bewertung von Handlungsalternativen zu tun und ist ziel- und zweckorientiert und soll praktische Maßnahmen überprüfen, verbessern oder über sie entscheiden (Wottawa 1998, 14) Evaluation (Bewertung): Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder eines Programms, was nicht notwendigerweise systematische Verfahren oder datengeschützte Beweise zur Untermauerung einer Beurteilung erfordert...Evaluationsforschung betont die Möglichkeit eines Beweises anstelle der reinen Behauptung bzgl. des Wertes und Nutzens einer bestimmten sozialen Aktivität (Suchmann 1967)

4 Alltagssprachlicher Gebrauch und seine Präzisierung (Kromrey 2001) Irgendetwas wird - von irgendjemandem nach - irgendwelchen Kriterien in - irgendeiner Weise bewertet Sachverhalte, Programme, Maßnahmen, Projekte, Organisationen replizierbares Verfahren, welches auch im Detail bzw. Verfahrensschritten (story board) geplant ist und in einem Evaluationsdesign für alle Beteiligten verbindlich dargelegt wird Kriterien und/oder Indikatoren die auf den expliziten Sachverhalt mehr oder weniger bezogen sind Sachverständige, ausgewiesene Experten, Betroffene, Innovationsakteure, Stakeholders...

5 Aspekte und Fragen zur Charakterisierung eines Evaluationsprojektes Evaluationsziel: Warum wird evaluiert? Welcher Zweck wird verfolgt? Evaluationsbereiche: In welchem gesellschaftlichen Bereich wird evaluiert? Evaluationsgegenstand: Wer / Was wird evaluiert? Evaluationsort: Wo wird evaluiert? Evaluationsmodell: Wie wird evaluiert? Nach welchen Kriterien? Evaluationsnutzung: Wie werden die Ergebnisse aufbereitet und entscheidungsrelevant verwendet? Evaluationsakteure: Von wem wird die Evaluation durchgeführt? Wer ist der Nutznießer? Wer will es nicht?

6 Unterschiedliche Formen der Systemsteuerung und -kontrolle (Wottawa/ Thierau 1998, S. 28) InputkontrolleVerhaltenskontrolle Ergebniskontrolle Formulierung von Inputvorgaben und Kontrolle des Inputs Formulierung von Handlungsvorgaben und Kontrolle des Verhaltens/Handelns Formulierung von Outputvorgaben und Kontrolle des Outputs InputvorgabenSystemVerhalten Output

7 Bedingungen, Orientierungen, Ebenen, Zeitpunkt der Evaluation Rahmenbedingungen: Auftragsverhandlungen parteilich vs. überparteilichOffene vs. geschlossene Evaluation Zweckorientierung: Paradigma Evaluation als Kontrolle Entwicklungsorientierte Evaluation Theorieorientierte Evaluation Ebenen der Evaluation: Gerichtetheit der Fragestellung Mikro-EvaluationMeso-EvaluationMakro-Evaluation Zeitpunkt der Evaluation Vor einer MaßnahmeWährend einer MaßnahmeNach einer Maßnahme

8 Zentrale Bearbeitungsformen der Evaluation: Formative (im Verlauf) vs. summative Evaluation Interne vs. externe Evaluation Selbst vs. Fremdevaluation Vergleichende vs. nicht-vergleichende Evaluation Meta-Evaluation Programm-Design-Evaluation Ergebniszusammenfassende Meta-Evaluation

9 Einige Anwendungsbereiche der Evaluation in Deutschland Bildungsbereich (Aus- und Weiterbildung) Wirtschaft Agrar- und Verkehrspolitik Familien- und Sozialpolitik Arbeitsmarkt- und Beschäftigungspolitik Umweltpolitik Gesundheitswesen Städtebau und Wohnungswesen Militärischer Bereich

10 Gruppen von Evaluationsgegenständen Personen Lernerfolg der Teilnehmer eines Weiterbildungsseminars; Veränderung des Raucherverhalten nach Anti-Raucher- Kampagne Produkte Wirkungen von Medikamenten auf die Gesundheit, Akzeptanz eines technischen Produktes am Markt; Modellversuche & Programme Aufklärungskampagnen zu Aids, Behandlungsprogramm im Strafvollzug, Modellversuche im Bildungswesen; Wirksamkeit eines Modellversuchsprogramme z.B. zur Einführung neuer Lernkonzepte oder der Lernortkooperation Umweltmaßnahmen Wirkung von Straßenlärm auf den nächtlichen Ruheschlaf, Effekte einer Umgehungsstraße auf die städt. Verkehrssitua. Techniken & Methoden Vergleich verschiedener Lesetechniken hinsichtlich der Lesegeschwindigkeit, Einfluss der Super Learning Lerntechnik auf Fremdsprachenerwerb Zielvorgaben Wirkung der Zielvorgaben mitarbeiterorientierter Führungsstil (FS) vs. aufgabenorientierter FS auf das Betriebsklima und den Unternehmenserfolg

11 Bewertung von Maßnahmen/ Veränderungen wie Einführung eines neuen Pflegekonzeptes Etablierung einer neuen Fabrikorganisation Qualitätsmanagementsysteme (z.B. Q2E, EFQM) Teamarbeitsmodelle Neue Aus-und Weiterbildungsangebote Wer sind die Evaluationsakteure? Verfahren der Evaluation bzw. methodisches Vorgehen Zu welchem Zeitpunkt findet die Evaluation statt? Nach welchen Kriterien/ Indikatoren soll die Evaluation ausgerichtet werden? Wie werden diese bestimmt?

12 Vier Zielfunktionen bei Evaluationen nach Stockmann (2002) ErkenntnisfunktionKontrollfunktion Dialogfunktion Legitimitätsfunktion Programm/ Projekt Z.B.: Welche Akzeptanz erfährt das Programm? Funktioniert der Programmablauf? Erreicht die Maßnahme ihre Zielgruppe? Z.B.:Erfüllen alle am Programm Beteiligten ihre Aufgaben? Reichen die professionellen, finanziellen und physikalischen Resourcen aus? Z.B.:Entwicklung Zusammenarbeit? Was wurde erreicht? Wo sind Erfolge zu verzeichnen? Wo liegen die Defizite? Z.B.:Legitimation der eigenen Arbeit; sachgerechte Mittelverwendung Effektivität © Stockmann 2000 Gewinnung von Erkenntnissen Schaffung von Transparenz um Dialog zu erreichen Gewinnung von Erkenntnissen / Expertisen Dokumentation der Bewertung der Aktivität

13 Einstieg: Klärung der Ziele und Motivlagen bei der Evaluation betrieblicher Weiterbildung Ausbilder Dozenten Trainer Lehrerfolgsnachweis Hinweise auf Weiterbildung Feed-Back durch die Azubi Mängel in der Organisation Bedarf an Ressource Studenten, Seminarteilnehmer AZUBI Lernerfolg Teilnahmeerfolg Karriereförderung Feed-Back Vorgesetzte Leitung Beurteilung Ausbilder/ Studierende Rechenschaftslegung Personalfragen Effizienz-Nachweis Organisationsschwächen

14 Typische Methoden der quantitativen Evaluation Quantitative Methoden der Datenerhebung: Messungen stehen im Mittelpunkt in Form einer Quantifizierung der Beobachtungsrealität; mündet ein in die statistische Auswertung von Meßwerten: Sind die zu erhebenden Merkmale operationalisierbar? Zählen qualitativer und quantitativer Merkmale unter Nutzung von Indikatoren Befragungen unterscheiden sich in mündliche Befragungen in Form von Interviews oder schriftliche Befragungen in Form von Fragebögen Beobachtung meint das Sammeln von Erfahrungen in einem nicht-kommunikativen Prozeß mit Hilfe sämtlicher Wahrnehmungsmöglichkeiten. Die wissenschaftliche Beobachtung beruht auf Standardisierung und Intersubjektivität und wird von Alltagsbeobachtungen abgegrenzt.

15 Typische Methoden der qualitativen Evaluation Qualitative Evaluationsforschung verzichtet eher auf Messungen, sind weniger standardisiert und liefern Interpretationen von verbalem Material oder nicht-numerischen Daten ; viele Evaluationsprojekte kombinieren quantitative und qualitative Methoden. Qualitative Befragungen wie z. B. offene Interviews, arbeiten mit offenen Fragen und lassen dem Befragten viel Spielraum bzw. werden durch die Interaktion zwischen Interviewer und dem Befragten gesteuert. Die Eindrücke und Deutungen des Interviewers dienen als Informationsquelle. Qualitative Beobachtungen arbeiten mit offenen Kategorien bzw. Fragestellungen, lassen mehr Informationen des Verhaltens und Erlebens zu und finden im natürlichem Lebensumfeld bei meist aktiver Teilnahme des Beobachters statt. Qualitative Auswertungsverfahren interpretieren das Material in intersubjektiv nachvollziehbaren Arbeitsschritten. Gültige Interpretationen sollten konsensfähig sein und von mehreren Forschern, Experten, Laien selbst als zutreffende Deutung interpretiert werden.

16 Evaluations-Zyklus im Verlauf eines Vorhabens Planung der Evaluationsm aßnahme Durchführung im Entwicklungsprozess Externe Evaluation: Fremdevaluation Evaluationsbericht Selbstevaluation Interne Entscheidungen; weitere Perspektiven; vollständige Dokumentation Dialog über die Ergebnisse


Herunterladen ppt "Formen der Systemsteuerung und einige zentrale methodische Aspekte der Evaluation Welchen Logiken folgt Evaluation? Welche Evaluationsbegriffe kommen bei."

Ähnliche Präsentationen


Google-Anzeigen