Validität der Arbeitszufriedenheits- Messinstrumente

Präsentation zum Thema: "Validität der Arbeitszufriedenheits- Messinstrumente"—  Präsentation transkript:

1 Validität der Arbeitszufriedenheits- Messinstrumente
Susanne Büsing & Tobias Jagusch

2 Validität „Unter Validität eines Messverfahrens versteht man seine Gültigkeit: es sollte tatsächlich das messen, was es vorgibt zu messen.“ Bezüglich der Def. AZ kein Konsens Deshalb immernoch: „There is no one best way to measure it“ Hauptschwierigkeiten bei der Messung von AZ ist die Tatsache, dass AZ ein hypothetisches Konstrukt ist, welches nur anhand von Indikatoren erfasst werden kann. Kernproblem: Validität der Indikatoren Zufriedenheitsraten von 60-80% der Befragten lassen Zweifel an der Validität der standardisierten Instrumente aufkommen

3 Gliederung Die Gültigkeit der Daten allgemein:
Das Artefakt-Argument Das Ambivalenz-Argument Das Manipulierbarkeits-Argument Das Spillover-Argument Verzerrung der Daten nach oben? Das Selbstselektions-Argument Abwehrmechanismen und asymmetrisches Vergessen Gesenktes Anspruchsniveau Soziale Erwünschtheit

4 Bestreitung der Datengültigkeit von AZ-Ergebnissen

5 Das Artefakt-Argument
Gegen globale Fragen zur AZ gerichtet Die Befragungsergebnisse sind kaum sinnvoll interpretierbare Produkte der Fragestellung: Fehlende einheitliche Definition von AZ Fragestellung sei den Befragten fremd Diskrepanzen zwischen der AZ-Def. der Fragenden & dem AZ-Verständnis der Befragten? Inwieweit weicht das AZ-Verständnis der Befragten untereinander und gegenüber der forschungsleitenden Definition ab?

6 ???Fragestellung/ Definition???
Fragestellung ist den Befragten fremd Würde eine zweite Messung erst echte Ergebnisse liefern? ???Reaktivität??? Wie könnten Diskrepanzen zwischen der AZ-Def. Der Fragenden & dem AZ-Verständnis der Befragten überwunden werden?

7 Der AZ steht vor der Befragung nichts Reales gegenüber Artefekte
Befragte haben sich oft nicht klargemacht, worum es bei AZ geht. Vielleicht finden weder die postulierten kognitiven Prozesse, noch die Empfindungsqualitäten statt Extremgruppenvergleich (Gebert): G1 keine pos. Gefühle bei Gedanken an Arbeit G2 überdurchschnittlich viele pos. Gefühle bei Gedanken an Arbeit  kein signifikanter Unterschied in der global abgefragten AZ Gehen Empfindungen bei der Arbeit in das Zufriedenheitsurteil ein?

8 Wird die Einstellung AZ erst durch den Messvorgang erzeugt (als Artefakt)?
Keine empirischen Belege Behauptung von Sandelands/ Larson: Hohe Reaktivität bei Laborexperimenten, jedoch nicht bei Feldexperimenten Es ist unklar, wie mit dem Problem der Reaktivität umgegangen werden soll

9 Das Ambivalenz-Argument
Scott: Allgemeine AZ + Teil AZ Zufriedenheit je nach dem, mit wem man sich vergleicht Beachtet Aspekte wie Arbeitsinhalt & Vorgesetzte Neuberger: Ambivalenz; derselbe Faktor wird zugleich als befriedigend und als unbefriedigend erlebt Bsp: Fachlich sehr kompetenter, menschlich unangenehmer Vorgesetzter Auf Teil AZs der Teil AZs bezogen

10 AZ wird reduziert auf die Einstellung zur Arbeit
Reduktion der Zufriedenheit mit der jeweiligen Arbeit auf eine Einstellung zur Arbeit (Volmerg) Einstellungsbegriff  Widerspruchsfreiheit AZ als pos. Einstellung zur Arbeit Eine äußerst angenehme Tätigkeit kann stärker ins Gewicht fallen als ein besonders unangenehmer Vorgesetzter – oder umgekehrt bei neg. Einstellung

11 Bleiben bei den gängigen AZ-Skalen Ambivalenzen unberücksichtigt?
Jein, bisher gibt es keine Erhebungen zum Ausmaß der Ambivalenzen Eindimensionale AZ-Skalen können keine Ambivalenzen erfassen Extremwerte lassen sich zuordnen, Ambivalenzen fallen unter „Keine Angabe“ Die Befragten müssen alles gegeneinander abwägen um ein Gesamturteil zu bilden Im ABB gibt es keine Kategorie „Unentschieden“ mehr. (zu oft von VPN verwendet) *Gebert: Die AUZ als Unzufriedenheitsempfindung korreliert mit der Häufigkeit von zwiespältigen Einstellungen zur Arbeit mit 0.66

12 Wann spricht das Ambivalenz-Argument gegen die Validität?
Wenn die neutrale Kategorie fehlt Wenn die Ambivalenz Situationsbedingt ist Indiz für die Zufälligkeit, geringe Retest-Reliabilität Oder Änderung der Arbeitssituation bzw. der individuellen Beurteilungsstandards Frage: Ist AZ ein kurzfristiges oder langfristiges Konstrukt?  Meist Anweisung, Antworten ohne Überlegung zu geben

13 Ambivalenz-Argument in der Forschung
Argument ist nach Gawellek nicht stichhaltig, es sei denn, dass sich nicht alles zum Gesamturteil zusammenfassen lässt Wichtig zur Interpretation von Unentschiedenheitsantworten Es sollte stärker beachtet werden Vielleicht hängt das Verhalten der Beschäftigten auch davon ab, inwieweit sie ihre Arbeitssituation als ambivalent erleben.

14 Das Manipulierbarkeits-Argument
Manipulation von Befragten Skepsis gegenüber der Anonymität Befürchtung von Nachteilen seitens des Arbeitgebers bei freier Meinungsäußerung Ggf. Verzerrung in die neg. Richtung (durch Überbetonung) um auf Missstände aufmerksam zu machen Manipulation durch die Art der Frage bzw. Antwort Direkte/ indirekte Fragen Pos. oder neg. Formulierung Antwortformat Skalentyp

15 Antworten sind von direkten & indirekten Fragen abhängig
Direkte Fragen führen i.d. Regel zu höheren AZ-Werten „If you were starting over in your working career, would you lean toward taking the same type of job you have now?“ Sind direkte Fragen invalide? Können indirekte Fragen etwas anderes messen als AZ? Z.B. Vorstellungskraft Fragearten führen zu unterschiedlichen Ergebnissen

16 Pos., neg. oder extreme Frageformulierung
Fragen nach AUZ führen eher – aber nicht generell zu höheren AZ-Werten als positiv formulierte Extremität der Frageformulierung „Ich bin mit meinem Kollegen sehr zufrieden“ „Ich bin mit meinem Kollegen außerordentlich zufrieden“

17 Vermutung, die Antworten seien vom Antwortformat abhängig
Exp: Die gleichen Fragen bezüglich desselben Themas wurden auf unterschiedlichen Skalen bewertet Bipolare Skala höhere AZ-Werte als bei den anderen Skalen Messinstrumente müssen hinsichtlich ihrer Güte hinterfragt werden, keine Gütekriterien angegeben (Huber) Antworten können je nach Fragestellung & Antwortformat variieren. Dies muss im Blickpunkt bleiben, damit nicht Gefahr gelaufen wird, Manipulationen zu unterliegen

18 Das Spillover-Argument
Die extreme Unzufriedenheit des Arbeitgebers mit einem Aspekt seiner Arbeit kann einen starken Effekt auf seine Gefühle zu anderen Aspekten seiner Arbeit haben Ausstrahlungseffekte: Validität der Teil Zufriedenheiten Das Argument bekommt nur Gewicht, wenn die Vermutung besteht, dass die Teil-AZ-Korrelationen auf Ausstrahlungseffekten beruhen keine emp. Belege

19 Sind die AZ-Ergebnisse nach oben verzerrt?

20 4 Argumente die für die Verzerrung der Daten nach oben sprechen
Selbstselektionsargument Die Argumente: Abwehrmechanismen & Asymmetrisches Vergessen Das Argument: Gesenktes Anspruchsniveau Das Argument: Soziale Erwünschtheit

21 Selbstselektionargument
Nur die „Zufriedenen“ nehmen an der Befragung teil Hohe AZ-Werte resultieren aus der Freiwilligkeit der Befragungs-Teilnahme Verdacht: Selbstselektion der „Zufriedenen“ führt zu hohen Zufriedenheitswerten Rücklaufquoten meist deutlich unter 100% Vermutung: Weniger schreib-/ redegewandte /-willige verweigern die Teilnahme an der Befragung Hoher Anteil der mit der Arbeit Zufriedenen beruht auf einem verzerrten Bild der Realität

22 Schwierigkeit bei dem Selbstselektionargument
Um Einwände zu belegen ist der Nachweis nötig, dass die tatsächlich weniger schreib- bzw. redegewandten die Teilnahme verweigern, dass sie schlechteren Arbeitsbedingungen unterliegen und deshalb mit ihrer Arbeit unzufrieden sind. Problem: Es gibt keine weiterreichenden Daten über die Befragungsverweigerer Weiter: Standardisierte Fragebögen (simples Ankreuzen) dürften auch für nicht schreib- und redegewandte verständlich sein

23 Abwehrmechanismen und asymmetrisches Vergessen
A) Befunde hoher AZ werden häufig auf psychische Abwehrmechanismen zurückgeführt . *Kornhauser: Angestellte sehen oft wenig Chancen, sich aus der aktuellen Arbeitssituation zu befreien. Das Eingeständnis, das ihr Job nicht zufriedenstellend ist, ist zu schmerzvoll. Aus dem natürlichen Hang zum Selbstschutz ergibt sich ein Bias positive Akzente der Arbeit überzubewerten

24 Abwehrmechanismen und Gesellschaftliche Normen
*Kern/Schumann: Betonung der Rolle gesellschaftlicher Normen: Gesellschaftliche Leistungsnormen führen dazu, dass Erfolg häufig mit Erfolg in der Arbeit gleichgesetzt wird Kritik an der Arbeit fällt zwangsläufig mit Kritik an der Person zusammen. Gebot positiver Selbstinterpretation: Alles in Allem zufrieden zu sein, auch wenn viele Einzelheiten als negativ bezeichnet werden

25 Abwehrmechanismen und Validität
Abwehrmechanismen sprechen immer dann gegen die Validität, wenn von einem AZ-Konzept ausgegangen wird, bei dem derart zustande gekommene Ergebnisse nicht mehr als echte AZ angesehen werden können. Jedoch ist die Annahme mit einem undifferenzierten Diskrepanzkonzept vereinbar Weiteres Indiz für Ungültigkeit der AZ-Befunde: Nachweis, dass die Abwehr-Prozesse durch die Erhebung selbst hervorgerufen werden oder aber nur in der Erhebungssituation auftreten.

26 Asymmetrisches Vergessen
*Neuberger versteht darunter: Verdrängungsprozesse Hohe AZ, Ergebnis eines Stichprobenfehlers? Es gibt viele Erlebnisse, pos. & neg. Natur im Arbeitsleben Durch psychogene Verdrängungen vieler Alltagsärgernisse werden möglicherweise die falschen Schlüsse gezogen. Zusammenfassende Wirkung könnte dazu führen, dass die AZ nicht mehr angemessen repräsentiert wird.

27 Asymmetrisches Vergessen
Unklar bleibt jedoch, worauf Asymmetrisches Vergessen hinauszielt: 1. Auf die Annahme: - pos. Ereignisse bleiben leichter im Gedächtnis 2. Oder aber durch die: - Entstehung einer Verzerrung durch den Zwang zur Abgabe eines Globalurteils

28 Gesenktes Anspruchsniveau
Rückführung hoher AZ-Werte auf ein reduziertes Anspruchsniveau, die Zeichen und Ausdruck von Resignation sein können Wird weiter von einer unmodifizierten Diskrepanzkonzeption der AZ ausgegangen, zielen diese Vermutungen nicht auf die Invalidität der AZ-Ergebnisse AZ ist auch abhängig vom jeweiligen Anspruchsniveau. Weniger ein Problem der Validität, als von dem AZ-Konstrukt, welches undifferenziert AN nicht explizit berücksichtigt AN-Vermutung ist eher als Hinweis einer Unzulänglichkeit bei der Zugrundelegung einer differenz. AZ-Konzeption zu betrachten. *Brüggemann: AZ wird in Abhängigkeit von deren Zustandekommen unterschieden.

29 Argument Soziale Erwünschtheit (SD = Social Desirability)
Einer der gängigsten Einwände gegen AZ-Befunde: Die Annahme auf Antwortverzerrung infolge sozialer Erwünschtheit *Ganster: versteht unter sozialer Erwünschtheit: „... a tendency for an individual to present him or herself in a way that makes the person look positive with regard to culturally derived norms and standards“ *Mummendry sieht das Konstrukt „soziale Erwünschtheit“ gewissermaßen als Allerweltskonstrukt, auf welches immer dann zurückgegriffen wird, wenn es an die Interpretation hypothesenkonformer Ergebnisse empirischer Untersuchungen geht. SD ist für ihn nicht die Ausprägung von AZ, sondern Ausdruck von Täuschungsverhalten. Befragte verfälschen mehr oder weniger die als „wahr“ oder „echt“ aufgefassten Reaktionen durch im Sinne sozialer Normen korrigierte Reaktionen

30 2 mögliche Betrachtungswinkel für SD-Effekte
SD-Effekte können einerseits als response-set auf dem Hintergrund der zugrundeliegenden Frage untersucht werden und andererseits als response-style als im Sinne einer Persönlichkeitseigenschaft

31 pos SD-Verzerrung neg.
Entgegen Behauptungen hohe AZ-Werte auf die soziale Erwünschtheit von Zufriedenheit zurückzuführen steht die Erwägung eines Bias in die negative Richtung. Geht man davon aus, dass auch Kritiklosigkeit als sozial unangesehen ansehen (*Bartz) *Glatzer: Hegt generell gar keine Erwartungen hinsichtlich positiver Zufriedenheitsäußerungen Artikulation von Unzufriedenheit sozial weitestgehend akzeptiert

32 Empirische Ergebnisse hinsichtlich SD-verzerrter Antworten
Mittels SD-Kontrollskalen(* Crown/ Marlow, CM-Skala) wurde der Frage nachgegangen inwieweit ein Antwortverhalten bei AZ-Fragebogen durch SD-Tendenzen beeinflusst ist: Vielfach signifikante in der Regel aber nur schwache Zusammenhänge zwischen den AZ und den SD-Daten: *Ganster: Korrelationen der 5 JDI-Skalen mit der CM-Skala im Bereich von – 0.03 bis 0.08

33 Positive, aber schwache Zusammenhänge...
Cawsay ermittelte höhere Koeffizienten. 12 bzw. 14 % der Varianz des aus den 5 Einzelskalen gebildeten JDI Summenscores durch SD erklärt ABB  nur schwache Hinweise auf sozial erwünschte Antworten Einzelne ABB-Skalen korrelieren ausnahmslos negativ mit der Skala „Offenheit“ des FPI‘s, Werte sind jedoch fast immer deutlich unter 0.4

34 3 Modelle in denen die Variable SD für kommende AZ-Forschung von Bedeutung sein könnte:
1.Spuriousness model: Korrellation 2er eigentl. zusammenhanglosen Variablen die anhand SD-Verzerrungen gemeinsame Varianzanteile aufweisen 2.Suppression model: Tatsächlicher Zusammenhang 2er Größen bleibt wegen SD-Einfluss unentdeckt 3.Moderator model: SD moderiert Zusammenhang zwischen unabhängiger und abhängiger Variable wenn Interaktion zwischen Größe SD und unabhängiger Variable vorliegt Aber: Derzeit für AZ-Forschung keine fundierten Aussagen über durch SD hervorgerufene Effekte möglich

35 Zusammenfassung der SD-Ergebnisse
Es gibt positive Verzerrungen durch SD Jedoch: Schwache Zusammenhänge Der SD wird ein zu starkes Gewicht beigemessen Unbeantwortet: Welches AZ Messinstrument ist für SD am unanfälligsten? SD-Effekte können schwer eliminiert werden Die SD-Skalen korrelieren nur schwach miteinander Verschiedene SD-Skalen würden unterschiedliche Änderungen nahelegen

36 Fazit Einwände gegen Validität werden meist ohne empirische Belege vorgebracht Es sind derzeit keine klaren Validitätsaussagen darüber möglich, ob die Instrumente das messen, was sie messen sollen Zurückzuführen ist dies auf die vage begriffliche Bestimmtheit des Konstrukts AZ Dies hat zur Folge, dass man sich schwer tut, die verschiedenen AZ-Messinstrumente in eine Validitätsrangreihe zu bringen So kann wohl keines als das valideste bezeichnet werden, es bleibt nur der Hinweis, dass die einzelnen Verfahren nicht das gleiche messen Ein Ansatz zur Lösung des Validitätsproblems wäre eine Einigung über eine AZ-Definition

37 Vielen Dank für die Aufmerksamkeit
Susanne Büsing & Tobias Jagusch