Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Assessment-Center II: oder: Warum sind ACs prognostisch valide und wenig konstruktvalide? Studie zu den Konsequenzen der Bekanntgabe der Anforderungsdimensionen.

Ähnliche Präsentationen


Präsentation zum Thema: "Assessment-Center II: oder: Warum sind ACs prognostisch valide und wenig konstruktvalide? Studie zu den Konsequenzen der Bekanntgabe der Anforderungsdimensionen."—  Präsentation transkript:

1 Assessment-Center II: oder: Warum sind ACs prognostisch valide und wenig konstruktvalide? Studie zu den Konsequenzen der Bekanntgabe der Anforderungsdimensionen für Konstrukt- und Kriteriumsvalidität von Martin Kleinmann 1997

2 Gliederung: 1. Problem Konstruktvalidität 2. Studie von Martin Kleinmann (1997): - Konsequenzen der Bekanntgabe der Anforderungsdimensionen für Konstrukt- und Kriteriumsvalidität im AC

3 1.Problem Konstruktvalidität Warum weisen ACs eine hohe prädiktive Validität auf? Anforderungsdimensionen Leistungsbewertung in den Dimensionen als Prädiktor Beurteilung der Dimensionen im Kriterium Weil sie berufsrelevante Anforderungsdimensionen der Teilnehmer erfassen.

4 Empirisch nachgewiesen wurde ein Mangel an Konstruktvalidität!!! 1. Multi-Trait-Multi-Method-Untersuchung zur Konstruktvalidität von ACs von Russell (1987): Konvergente Validität betrug.25 > die Bewertungen derselben Anforderungsdimension in unterschiedlichen Übungen müßten aber hoch korreliert sein Diskriminante Validität betrug.50 > die Bewertungen auf unterschiedlichen Anforderungsdimensionen in derselben Übung müßten aber niedrig korreliert sein Es ist also unklar, was im AC gemessen wird!

5 2. Klassische Studie von Sackett & Dreher (1982) Zentraler Befund: Beobachterurteile im AC beruhen nicht auf Anforderungsfaktoren sondern auf Übungsfaktoren! Denn: > Teilnehmer werden in einer Übung auf verschiedenen Anforderungsdimensionen sehr ähnlich bewertet. > auf identischen Anforderungsdimensionen in verschiedenen Übungen werden die Teilnehemer sehr unähnlich bewertet.

6 2. Transparenz der Anforderungsdimensionen - ein Moderator der Konstrukt-und Kriteriumsvalidität im Assessment-Center (Kleinmann 1997) Zentrale Annahmen: 1. ACs, in denen die Anforderungen bekannt gemacht werden, sind eher konstruktvalide. 3. Personen, die die Anforderungsdimensionen in der Intransparenz- bedingung erkennen, verfügen über ein höheres Maß an sozialer Urteilskompetenz und werden besser bewertet, als Personen, die sie nicht erkennen. 2. ACs, in denen die Anforderungen nicht bekannt gemacht werden, sind eher kriteriumsvalide. reziproke Beziehung

7 Theoretische Einbettung 1. Moderatoren der Konstruktvalidität I (Kleinmann 1993): Intransparenz der Anforderungsdimensionen Erkennnen / Erraten der AnforderungsdimensionenTrefferquote richtig erkannter Dimensionen variiert nach:Erkennensfähikeit der PersonEindeutigkeit der ÜbungBeeinflußt konvergente Validität Höher konvergente Validität, wenn Dimensionen über Übungen hinweg erkannt / nicht erkannt wurden Geringere konvergente Validität, wenn Dimensionen mal erkannt wurden und mal nicht

8 Intransparente Dimensionen vermindern die konvergente Validität, weil Teilnehmer raten bzw. erkennen Personen unterscheiden sich in ihrer Fähigkeit, relevante Anforderungen zu erkennen bzw. zu erraten Bessere Bewertung eines Teilnehmers, je mehr Anforderungs- dimensionen er richtig erkannt hat Je mehr Anforderungsdimensionen ein Teilnehmer übungsunabhängig errät / erkennt, desto besser und konsistenter ist die Bewertung, also auch die konvergente Validität

9 2. Moderatoren der Konstruktvalidität II (Kleinmann et al. 1996): Bekanntgabe der Anforderungsdimensionen Konsistente VerhaltenssleistungKonsistente Beurteilungen der LeistungenBeeinflußt konvergente Validität Hypothese: Die Bekanntmachung der Anforderungsdimensionen hat Einfluß auf die Konstruktvalidität Vorgehen: - Anforderungsdimensionen wurde einem Teil der Stichprobe bekanntgemacht und dem anderen nicht

10 Ergebnisse: Konstruktvalidität ist eher gegeben, wenn die Anforderungen bekannt gegeben wurden: - Beobachterbewertung kann in der Transparenzbedingung eher durch Dimensionsfaktoren erklärt werden als in der Intransparenzbedingung - Es zeigte sich eine höhere diskriminante und konvergente Validität bei Teilnehmern, die angaben, ihr Verhalten nach den Anforderungen auszurichten, als bei solchen, die angaben dies nicht zu tun

11 3. Kriteriumsvalidität Annahme: Das Erkennen der relevanten Anforderungsdimensionen bedingt einen Teil der gemeinsamen Varianz von Prädiktor und Kriterium. Erkennen von Anforderungen ist eine Fähigkeit, die auch im Kriterium von Bedeutung ist: - Z.B.: Erkennen, welche Anforderungen einer angestrebten Beförderung (=Kriterium) zugrunde liegen Erkennen von Anforderungsdimensionen könnte der zentrale Wirkmechanismus der prädiktiven Validität sein !

12 Hypothesen Prädiktive Validität: 1. In der Transparenzbedingung ist die prädiktive Validität geringer als in der Intransparenzbedingung. Konstruktvalidität: 2. In der Transparenzbedingung wird die Varianz der Beurteilungen sowohl durch die Übungen als auch durch die Personenmerkmale erklärt. 3. In der Intransparenzbedingung wird die Varianz der Beurteilungen weitesgehend durch die einzelnen Übungen bestimmt. Moderierender Wirkmechanismus der prädiktiven Validität: 4. Je mehr Anforderungen von Teilnehmern erkannt werden, desto besser schneiden sie in einem Test für soziale Urteilskompetenz ab. Replikation der Studie Erkennen von Anforderungsdimensionen: 5. Je mehr Dimensionen erkannt werden, desto besser wird ein Teilnehmer bewertet.

13 Methode 16 ACS wurden in einer Laborstudie mit 125 studentischen Teilnehmern durchgeführt > Erhöhung der internen Validität! Manipuliert wurde die Transparenz der Anforderungsdimensionen im Prädiktor-AC Als Kriterium wurde zeitgleich ein zweites AC durchgeführt: - mit anderen Beobachtern - ohne Bekanntgabe der Anforderungsdimensionen In einem Vorversuch wurden die Übungen und Dimensionen ausgewählt: Übungen des Prädiktor-ACS: 1. Diskussion ohne Rollenverteilung Nachwuchsförderung 3. Präsentation Szenariotechnik Übungen des Kriterium-ACS: 2. Diskussion mit Rollenverteilung 4. Rollenspiel

14 3 Dimensionen wurden ausgewählt: 3. Überzeugungsfähigkeit- Verhalten: entkräftet Gegenargumente, Problemlösefähigkeit - Verhalten: geht strukturierend vor,...etc. 2. Soziale Sensibilität - Verhalten: geht auf andere ein,...etc. 16 Beobachter (Psychologiestudenten) wurden einen Tag trainiert - Dimensionen und Verhalten, Übungen, Beobachtungsfehler - Keine Informationen über die Hypothesen - Keine Informationen darüber, daß es eine Transparenz- und eine Intransparenzbedingung gab Test für soziale Urteilskompetenz wurde mit Teilnehmern durchgeführt In ACs der Intransparenzbedingung wurde die Anzahl der erkannten Anforderungsdimensionen erfaßt. Fragebogenerhebung als Manipulation Check

15 Forschungsdesign Kriteriums-AC: Intransrarenzbed. Prädiktor-AC: Intransparenzbedingung Experimentalgruppe 1: Experimentalgruppe 2: Kriteriums-AC: Intransparenzbed. Prädiktor-AC: Transparenzbedingung 1. Gruppendiskussion m. Rollenvorgabe 2. Rollenspiel 3. Gruppendiskussion o.Rollenvorgabe Nachwuchsförderung 4. Präsentation mit Disput Szenariotechnik 3. Gruppendiskussion o.Rollenvorgabe Nachwuchsförderung 4. Präsentation mit Disput Szenariotechnik Fragebogen & Manipulation Check Test soziale Urteilsfähigkeit (Filmszenen) Fragebogen & Manipulation Check Test soziale Urteilsfähigkeit (Filmszenen)

16 Verhaltensleistungen wurden von den Beobachtern auf einer fünfstufigen Skala bewertet Jeweils nach den Prädiktor- bzw. Kriteriumsübungen wurde eine Beobachterkonferenz abgehalten - Einigung auf gemeinsame Beurteilungswerte Die Gesamtbeurteilung erfolgte hinsichtlich des Managementpotential des Teilnehmers

17 Ergebnisse Manipulation Checks: In Transparenzbedingung wurden die Erklärungen zu den Anforderungen verstanden In der Intransparenzbedingung ist für keine der Übungen eine zu leichte Erkennbarkeit der Anforderungsdimensionen aufgetreten Prüfung der Hypothesen: 1. Hypothese Intransparenzbedingung: höhere prädiktive Validität Korreliert wurden die Gesamtbewertungen von Prädiktor- und Kriteriums-AC Anforderungen im Prädiktor-AC bekanntgegeben: r=.34 Anforderungen im Prädiktor-AC nicht bekanntgegeben: r=.65 Hypothese 1 ist bestätigt in Intransparenzbedingung zeigte sich eine höhere prädiktive Validität

18 2 & 3. Hypothese Transparenzbedingung = höhere Konstruktvalidität Intransparenzbedingung = niedrige Konstruktvalidität Vorliegen von Kontruktvalidität wird mit Multi-Trait-Multi-Method-Matrix überprüft Die MTMM-Matrix wird mittels der konfirmatorischen Faktorenanalyse getestet und die Faktorenanalyse mit LISREL durchgeführt (jeweils )für beide Bedingungen. - Apriori werden Hypothesen über Modelle gebildet, die die Kovarianzmatrix abbilden sollen: - Varianzen und Kovarianzen der MTMM-Matrix werden... a) allein durch die Persönlichkeitsfaktoren bestimmt b) allein durch die Übungsfaktoren bestimmt c) durch Übungs- und Persönlichkeitsfaktoren bestimmt - Mit der LISREL- bzw. Kausalanalsyse werden die angenommenen Modelle mit den empirisch gewonnen Daten auf Übereinstimmung geprüft.

19 Die Hypothesen 2 & 3 werden bestätigt! 1. Hohe Konstruktvalidität in der Transparenzbedingung - Modell mit 3 Merkmalsfaktoren und 2 Übungsfaktoren erklärt die Kovarianzmatrix am besten - Alle Faktoren sind für die Erklärung der Beobachterbeurteilungen notwendig 2. Niedrige Konstruktvalidität in der Intransparenzbedingung - Modell mit nur 2 Übungsfaktoren erklärt die Kovarianzmatrix am ökonomischsten - Nur die beidenÜbungsfaktoren sind für die Erklärung der Beobachterbeurteilungen notwendig

20 4. Hypothese Zusammenhang zw. Anzahl erkannter Dimensionen und sozialer Urteilskompetenz Rangkorrelationen zw. Anzahl richtig erkannter Dimensionen und Ergebnissen im Test soziale Urteilskompetenz von r =.25 bei p <.05 bestätigen den postulierten Zusammhang 5. Hypothese Zusammenhang zw. Anzahl erkannter Dimensionen und Bewertung Rangkorrelationen zw. Anzahl richtig erkannter Dimensionen und Gesamt-Management-Potential von r =.32 bei p <.01 bestätigen den postulierten Zusammhang

21 Diskussion 1. Unter der Bedingung, daß die Anforderungsdimensionen bekannt gegeben werden, erhöht sich die konvergente Validität und reduziert sich die kriteriumsbezogene Validität. Erläuterung zu 1: Kriteriumsbezogene Validität ist in der Intransparenzbedingung höher als in der Transparenzbedingung, weil der vermittelnde Mechanismus zw. Prädiktor und Kriterium das Erkennen von Anforderungsdimensionen ist. 2. Unter der Bedingung, daß die Anforderungsdimensionen nicht bekannt gegeben werden, vermindert sich die konvergente Validität und ehöht sich die kriteriumsbezogene Validität. Dazugehöriges Konstrukt: Soziale Urteilskompetenz: > Personen, die Anforderungsdimensionen gut erkennen können, soren auch hoch im Tesz zur sozialen Urteilsfähigkeit.

22 Erläuterung zu 2: Bei Bekanntgabe der Anforderungen steigt die konvergente Validität, weil die Teilnehmer, wissen, welches Verhalten gefordert ist, dieses also konsistenter zeigen können und somit auch konsistenter in identischen Dimensionen in unterschiedlichen Übungen bewertet werden. Implikationen für die Praxis: > Anforderungsdimensionen sollten bei Personalentwicklungs-ACS bekannt gegeben werden - erhöht die Konstruktvalidität! > Anforderungsdimensionen sollten bei Personalauswahl-ACs nicht bekannt gegeben werden - erhöht die prädiktive Validität


Herunterladen ppt "Assessment-Center II: oder: Warum sind ACs prognostisch valide und wenig konstruktvalide? Studie zu den Konsequenzen der Bekanntgabe der Anforderungsdimensionen."

Ähnliche Präsentationen


Google-Anzeigen