„Evaluation und Methoden“ 13. Jahrestagung der DeGEval Ethik-AG der DeGEval Unabhängigkeit von Evaluationen Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke Luxemburg, 15.-17. September 2010

Inhalt Methodisches Vorgehen Wer hat an der Befragung teilgenommen? An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Methodisches Vorgehen Wer hat an der Befragung teilgenommen? Welche ethischen Vorstellungen herrschen vor? Häufigkeit und Intensität negativer Beeinflussungen Formen der Beeinflussung Konsequenzen der Beeinflussung Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Methodisches Vorgehen Ziel: Erfassung des Umfangs und der Art von Beeinflussungsformen sowie deren Wahrnehmung durch die Evaluatoren Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Aufbau des Fragebogens Evaluationskontext Evaluationserfahrung Erfahrungen mit verschiedenen Beeinflussungsformen (Intensität und Art) Subjektive Wahrnehmung der Beeinflussung Konsequenzen der Beeinflussung Rolle der DeGEval Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Ablauf Feb./März Erarbeitung des Fragebogens April Pretest Mai Befragung Auswertung Juni Erste Präsentation der AG Ethik in Mainz Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Charakteristika des Samples 1 An der Befragung beteiligt: 260 Als externe Evaluatoren tätig: 225 davon aktuell 185 Zentrale Arbeitsgebiete der aktuell externen Evaluatoren: Entwicklungspolitik 16% Hochschule 15% Soziale Dienstleistungen 12% Berufliche Bildung 11% Schule 8% Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 62% 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Charakteristika des Samples 2 Berufserfahrung: mehr als 5 Jahre: 80% mehr als 1 Jahr: 18% Durchführung von Evaluationen: 11 und mehr 48% 6-10 26% Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

DeGEval - Mitgliedschaft Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke 8

Ein guter Evaluator sollte… Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval den Standards verpflichtet sein Ergebnisse grundsätzlich nicht abschwächen Methoden unbeeinflusst anwenden Schwachstellen schonungslos offenlegen Verantwortung gegenüber Stakeholdern haben Orientierung an Stakeholdern beim Methodeneinsatz negative Evaluationsergebnisse abschwächen Ergebnisse an Erwartungen der Auftraggeber ausrichten 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100 % Totale Ablehnung (1) Eher Ablehnung (2-3) Eher Zustimmung (4-5) Totale Zustimmung (6) 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke 9

Bei wie vielen Evaluationen wurden Sie vom Auftraggeber beeinflusst? Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval (nur externe Evaluatoren, N=185) 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Noch bei keiner Evaluation vom Auftraggeber beeinflusst… Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Während mehr als drei Evaluationen vom Auftraggeber beeinflusst … Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Auftraggeber hat verlangt… Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke 13

Positiver Darstellen nach Arbeitsgebiet Nennung: Ja, habe ich erlebt Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Signifikanz p=<.10 N=172 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Inhaltliche Verzerrung nach Arbeitsgebiet Nennung: Ja, habe ich erlebt Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Signifikanz p=<.05 N=172 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Habe ich noch nie getan… Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Nutzung der Standards Wenden Sie die DeGEval-Standards im ja: 89% Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Wenden Sie die DeGEval-Standards im Rahmen ihrer Arbeit an? ja: 89% Welche Rolle spielen die Standards im als Evaluator? gar keine: 1,4% geringe: 20,7% große: 54,5% sehr große: 23,4% 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Rat geholt? N=260 (valide Fälle 174) 15.-17.09.10 Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

Die DeGEval sollte… N=260 15.-17.09.10 Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval N=260 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke 19

Vielen Dank für Ihre Aufmerksamkeit! 15.-17.09.10 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke