„Evaluation und Methoden“

Präsentation zum Thema: "„Evaluation und Methoden“"—  Präsentation transkript:

1 „Evaluation und Methoden“
13. Jahrestagung der DeGEval Ethik-AG der DeGEval Unabhängigkeit von Evaluationen Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke Luxemburg, September 2010

2 Inhalt Methodisches Vorgehen Wer hat an der Befragung teilgenommen?
An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Methodisches Vorgehen Wer hat an der Befragung teilgenommen? Welche ethischen Vorstellungen herrschen vor? Häufigkeit und Intensität negativer Beeinflussungen Formen der Beeinflussung Konsequenzen der Beeinflussung Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

3 Methodisches Vorgehen
Ziel: Erfassung des Umfangs und der Art von Beeinflussungsformen sowie deren Wahrnehmung durch die Evaluatoren Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

4 Aufbau des Fragebogens
Evaluationskontext Evaluationserfahrung Erfahrungen mit verschiedenen Beeinflussungsformen (Intensität und Art) Subjektive Wahrnehmung der Beeinflussung Konsequenzen der Beeinflussung Rolle der DeGEval Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

5 Ablauf Feb./März Erarbeitung des Fragebogens April Pretest
Mai Befragung Auswertung Juni Erste Präsentation der AG Ethik in Mainz Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

6 Charakteristika des Samples 1
An der Befragung beteiligt: Als externe Evaluatoren tätig: 225 davon aktuell Zentrale Arbeitsgebiete der aktuell externen Evaluatoren: Entwicklungspolitik % Hochschule % Soziale Dienstleistungen % Berufliche Bildung % Schule % Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval 62% Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

7 Charakteristika des Samples 2
Berufserfahrung: mehr als 5 Jahre: 80% mehr als 1 Jahr: 18% Durchführung von Evaluationen: 11 und mehr 48% % Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

8 DeGEval - Mitgliedschaft
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke 8

9 Ein guter Evaluator sollte…
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval den Standards verpflichtet sein Ergebnisse grundsätzlich nicht abschwächen Methoden unbeeinflusst anwenden Schwachstellen schonungslos offenlegen Verantwortung gegenüber Stakeholdern haben Orientierung an Stakeholdern beim Methodeneinsatz negative Evaluationsergebnisse abschwächen Ergebnisse an Erwartungen der Auftraggeber ausrichten 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100 % Totale Ablehnung (1) Eher Ablehnung (2-3) Eher Zustimmung (4-5) Totale Zustimmung (6) Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke 9

10 Bei wie vielen Evaluationen wurden Sie vom Auftraggeber beeinflusst?
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval (nur externe Evaluatoren, N=185) Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

11 Noch bei keiner Evaluation vom Auftraggeber beeinflusst…
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

12 Während mehr als drei Evaluationen vom Auftraggeber beeinflusst …
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

13 Auftraggeber hat verlangt…
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke 13

14 Positiver Darstellen nach Arbeitsgebiet
Nennung: Ja, habe ich erlebt Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Signifikanz p=<.10 N=172 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

15 Inhaltliche Verzerrung nach Arbeitsgebiet
Nennung: Ja, habe ich erlebt Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Signifikanz p=<.05 N=172 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

16 Habe ich noch nie getan…
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

17 Nutzung der Standards Wenden Sie die DeGEval-Standards im ja: 89%
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Wenden Sie die DeGEval-Standards im Rahmen ihrer Arbeit an? ja: 89% Welche Rolle spielen die Standards im als Evaluator? gar keine: 1,4% geringe: ,7% große: ,5% sehr große: 23,4% Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

18 Rat geholt? N=260 (valide Fälle 174) 15.-17.09.10
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke

19 Die DeGEval sollte… N=260 15.-17.09.10
Methodisches Vorgehen An Befragung teilgenommen Ethische Vorstellungen Beeinflussungs- versuche Formen der Beeinflussung Konsequenz Rolle der DeGEval N=260 Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke 19

20 Vielen Dank für Ihre Aufmerksamkeit!
Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer, Dipl. Soz. Wiss. Hanna Schenke