Der neue WILDE-Intelligenztests (WIT-2)

Präsentation zum Thema: "Der neue WILDE-Intelligenztests (WIT-2)"—  Präsentation transkript:

1 Der neue WILDE-Intelligenztests (WIT-2)
Präsentation - erstellt von Martin Kersting Stand: 21. April 2008

2 1 2 3 4 5 Agenda Ausgangssituation: Der „alte“ Wilde Test
Der „neue“ Wilde Test (WIT-2): Konzeption / Theorie 2 Qualitätsmerkmale des WIT-2 3 Empirische Bewährung 4 Desiderata 5

3 1 2 3 4 5 Agenda Ausgangssituation: Der „alte“ Wilde Test
Der „neue“ Wilde Test (WIT-2): Konzeption / Theorie 2 Qualitätsmerkmale des WIT-2 3 Empirische Bewährung 4 Desiderata 5

4 Zur Geschichte des Wilde-Tests
1953 Mit der Publikation des von Amthauer unter der wissen-schaftlichen Leitung von Prof. Dr. Kurt Wilde entwickelten Intelligenzstrukturtests (I-S-T) veröffentlichte der Hogrefe Verlag zum ersten mal einen Test. 1954 Entwicklungsbeginn: WIT als Intelligenz Strukturdiagnostikum 1962 wurde der WIT auf dem 23. Kongress der Dt. Gesellschaft für Psychologie in Würzburg von A.O. Jäger vorgestellt (JägerBIS 4) Von 1962 bis 1983 wurde der Test bei ca Personen im Rahmen von Eignungsuntersuchungen durch die Dt. Gesellschaft für Personalwesen (DGP) als >confidential test< eingesetzt 1983 Veröffentlichung (die 1983er und 1994er Fassung wird nun nachträglich als „WIT-1“ bezeichnet) Revision von 4 der 560 Items Keine Aktualisierung der Normen 1994 ‚revidierte Auflage‘ des WIT-1 2008 Publikation des WIT-2 (Kersting, Althoff & Jäger) Prof. Dr. A. O. Jäger Dr. K. Althoff Vorläufige Befunde – Änderungen vorbehalten

5 Louis Leon Thurstone (1887 -1955) Primary mental abilities
Zum „alten“ Wilde-Test: Theoretische Grundlage n m r s v p w Louis Leon Thurstone ( ) Primary mental abilities number space perceptual speed memory (associative) verbal comprehension word fluency reasoning Thurstone, L. L. (1938). The perceptual factor. Psychometrika, 3 (1), 1-17. Thurstone, L. L. (1940). An experimental study of simple structure. Psychometrika, 5 (2), Thurstone, L.L.& Thurstone, T.G. (1941). Factorial studies of intelligence, Chicago: Psychometric Monograph 2

6 Testaufbau „alter“ Wilde-Test
Gesamtwert Skala Subtest SW GW Sprachgebundenes Denken (V ) AL Doppelzuordnung vom Tests (AL, ZN) Hierarchisches Modell Formallogisches Denken (R ) BR ZN rechnerisches Denken (N) SCH GR ER Allgemeine Intelligenz (AI) Wortflüssigkeit(W) WG Wahrnehmungs-geschwindigkeit & -genauigkeit (P) BO Trennung von Merkfähigkeit und Gedächtnis Räumliches Vorstellen (S) AW SP Merkfähigkeit (M1) ZM Gedächtnis (M2) GDT

7 Zum „alten“ Wilde-Test: Veraltetes Aufgabenmaterial
Gleiche Wortbedeutungen GW: willfährig = a) gutwillig, b) gefügig, c)nachgiebig, d) gefällig, e) bereitwillig Eingekleidete Rechenaufgaben 15 Frauen brauchen zur Reinigung eines D-Zuges 26 Stunden. Wieviel Stunden brauchen 3 Frauen für die gleiche Arbeit? Sprichwörter Item 126, Form 1: Weiberlist geht über alle List A) Weiber lachen, wenn sie können und weinen, wann sie wollen B) Männerlist ist wohl behände, aber Weiberlist ist ohne Ende C) Je schöner die Wirtin, je größer die Zeche D) Frauen wissen immer noch einen Punkt mehr als der Teufel E) Weiber hüten ist vergebliche Arbeit Aus: Kersting, M. (2007). Wenn Tests in die Jahre kommen. Probleme des Einsatzes überalterter Testverfahren. In C. Lorei (Hrsg.), Polizei und Psychologie (S ). Frankfurt: Verlag für Polizeiwissenschaft.

8 Revision des Wilde Intelligenz Test
Ausgangsbasis der Testmodifikation: Aktuelle empirische Analysen zum „alten“ Wilde-Test  Repräsentation zahlreicher Fähigkeiten  Anwenderorientierung  Gute Kriteriumsvalidität Konstruktvalidität Psychometrische Qualität Normen Parallelität Revision des Wilde Intelligenz Test   Aus: Kersting, M. (2007). Wenn Tests in die Jahre kommen. Probleme des Einsatzes überalterter Testverfahren. In C. Lorei (Hrsg.), Polizei und Psychologie (S ). Frankfurt: Verlag für Polizeiwissenschaft. 8

9 Subtests des „alten“ Wilde Test, die in dem neuen WIT-2 nicht mehr enthalten sind
Satzergänzung (SE) Schätzen (SCH) Buchstabenreihen (BR) Sprichwörter (SP) Beobachtung (BO) 9

10 1 2 3 4 5 Agenda Ausgangssituation: Der „alte“ Wilde Test
Der „neue“ Wilde Test (WIT-2): Konzeption / Theorie 2 Qualitätsmerkmale des WIT-2 3 Empirische Bewährung 4 Desiderata 5

11 Modifiziertes Modell der Primary
Mental Abilities (MMPMA) (Kersting, Althoff und Jäger, 2008) Louis Leon Thurstone ( ) Stratum III Neu ggb. PMA Modell: (1) Hierarchie-Ansatz (2) Facettenansatz und (3) kognitive Korrelate Ansatz Fluide Intelligenz / Arbeits-gedächtnis Kristalli-sierte Intelligenz Stratum II Schlussfolgerndes Denken Sprachlich. Denken Rechneris. Denken Räumliches Denken Merk-fähigkeit Rasches Erkennen v. Details Flüssigkeit sprachlich. Einfälle Stratum I (Beispiele) … … Arbeits-effizienz … … … Kenntnisse Informations-technologie … Kenntnisse Wirtschaft … … 11 11

12 (Keine Interpretation) Interpretationsebene 2
Testaufbau WIT-2: Flexibles System aus acht separat einsetzbaren und frei kombinierbaren Modulen Aufgabenebene (Keine Interpretation) Modul der Interpretationsebene 2 Module der Interpretationsebene 1 Arbeitseffizienz 19 Min. Sprachliches Denken AL GW 12 Min. ZN Schlussfolgerndes Denken (SD) als separates Modul: 35 Min., als Ergänzung (nur ZN) zu den sprachlichen, rechnerischen und räumlichen Aufgaben: 14 Min. zusätzlich Merkfähigkeit 9 Min. Rechnerisches Denken GR ER 27 Min. Wissen Informa-tionstechnologie 5 Min. Räumliches Denken AW SP 22 Min. Wissen Wirtschaft 5 Min. Zeit: Allg. Einführung, Erfassung demograph. Daten: 14 Min. Beispiel Gesamtzeiten: Nur sprachliches Denken: 26 Min. Nur schlussfolgerndes Denken: 49 Min. Sprachlich., rechn. und räumliches Denken: 75 Min. Sprachlich., rechn., räuml. & schluss. Denken: 89 Min. Alle Module (inkl. einer Pause von 20 Min.): 147 Min. GW = Gleiche Wortbedeutungen AL = Verbale Analogien GR = Grundrechnen ZN = Zahlenreihen ER = Eingekleidete Rechenaufgaben AW = Abwicklungen SP = Spiegelbilder

13 Vom „alten“ zum „neuen“ Wilde Test
Für alle „übernommenen“ Subtests gilt: - Optimierung der Reihenfolge nach Trennschärfe und Schwierigkeit - Form A und B wurden zusammengefasst (aus zwei mach eins  Bestenauswahl)  keine „echte“ Parallelform, sondern zwei pseudo-parallele Formen Subtest Keine / wenig Veränderungen Viele Veränderungen (Modifikationen im Detail) Analogien (sprachlich) X Gl. Wortbedeutungen (sprach.) X Eingekl. Rechenaufg. (rechn.) X Grundrechnen (rechnerisch) X Zahlenreihen (rechnerisch) X Abwicklungen (räumlich) X Spiegelbilder(räumlich) X Subtests, die komplett neu sind: (1) Merkfähigkeit, (2) bearbeiten (3) Wissen Wirtschaft (4) Wissen IT

14 Der neue Wilde-Test – Subtests (1/3)
Analogien (AL) Analogien: Sprachliches Denken und schlussfolgerndes Denken. Auf der linken Seite eines Gleichheitszeichens sind zwei Wörter vorgegeben, die in einer bestimmten Beziehung zueinander stehen. Auf der rechten Seite steht ein Wort. Von 5 Wahlwörtern ist dasjenige auszuwählen, das auf der rechten Seite des Gleichheitszeichens eine analoge Beziehung herstellt. Zahlenreihen (ZN) Zahlenreihen: Schlussfolgerndes Denken. Vorgegeben ist eine Folge von Zahlen, die nach einer Regel aufgebaut ist. Auf dem Antwortbogen sind die Ziffern der Zahl durchzustreichen, die als nächstes Glied der Reihe folgen müsste. Spiegelbilder (SP) Spiegelbilder: Räumliches Denken. Von 5 Strichfiguren lassen sich 4 durch einfaches Verschieben in der Ebene, die 5. dagegen nur durch Umklappen in der Vorstellung zur Deckung bringen; diese Figur ist herauszufinden. Eingekleidete Rechen-aufgaben (ER) Eingekleidete Rechenaufgaben: Rechnerisches Denken. Sprachlich eingekleidete Rechenaufgaben sind vorgegeben und auf dem Antwortbogen sind die Ziffern der Lösungen einzutragen.

15 Der neue Wilde-Test - Subtests (2/3)
Abwicklungen (AW) Abwicklungen: Räumliches Denken und schlussfolgerndes Denken. Zu einer aus mehreren Flächen mit verschiedenen Zeichen bestehenden Faltvorlage ist aus 5 vorgegebenen Körpern derjenige herauszufinden, der sich aus der Faltvorlage herstellen lässt. Gleiche Wort-bedeutung (GW) Gleiche Wortbedeutungen: Sprachliches Denken. Zu einem vorgegebenen Wort ist aus 5 anderen Wörtern das sinnähnlichste herauszusuchen. Grundrechnen (GR) Grundrechnen: Rechnerisches Denken. Zu Rechenaufgaben der 4 Grundrechenarten sind auf dem Antwortbogen die Ziffern der Lösungen durchzustreichen. Merkfähigkeit (MF) Merkfähigkeit: In einem Text befinden sich sprachlich, numerisch und figural kodierte Informa-tionen. Einer Einprägungszeit von einer Minute folgen für mehrere Minuten andere Subtests (Störphase). In dem anschließenden Reproduktionstest sollen Einzelheiten unterschieden werden. Die richtige Lösung ist aus einer Reihe von sechs Alternativen auszuwählen. Wissen Wirtschaft (WW) Wissen Wirtschaft: Es werden Fragen zum Thema Wirtschaft gestellt. Die richtige Lösung ist aus vier Alternativen auszuwählen. Wissens IT (WI) Wissen Informationstechnologie: Es werden Fragen zum Thema Informationstechnologie gestellt. Die richtige Lösung ist aus vier Alternativen auszuwählen.

16 Der neue Wilde-Test - Subtests (3/3)
s bearbeiten (EM) Arbeitseffizienz Die Aufgabe simuliert die Bearbeitung des Posteingangs. Zur Bearbeitung des Posteingangs stehen sechs Möglichkeiten zur Verfügung, z. B. „Weiterleiten der “, „Speichern der “, „Beantworten der “ usw., wobei bestimmte Bedingungen zu beachten sind. Beispielsweise sind Datum und Dringlichkeit der Nachricht, das Projekt, um welches es in der geht, sowie die Firma, aus welcher die stammt, für die Wahl der Bearbeitungsoption und somit für die Wahl der richtigen Lösung Adressat: Dies ist entweder Herr Holtmann (ihr Vorgesetzter) oder das Sekretariat (das sind Sie) Das Datum ist für die Bearbeitung der Aufgabe irrelevant Dringlichkeit: Ob die Anfrage einer dringend oder nicht dringend ist (das Feld ist in diesem Fall leer), entscheidet auch darüber, wie mit der zu verfahren ist An: Holtmann Datum: 27.06 dringend Von: Finke Firma: TechnoCom Sehr geehrter Herr Holtmann, bezüglich des geplanten Kick-off Termins für den (in zwei Tagen!) unseres gemeinsamen Projekts Global-X ist es zu Problemen gekommen. Bitte melden Sie sich sobald wie möglich bei mir, damit wir schnell reagieren und alles weitere absprechen können. Mit freundlichen und eiligen Grüßen, Finke Art des Projekts Herkunft der Entweder die eigene Firma Innovum Net (intern) oder ein anderes Unternehmen (extern)

17 Der neue Wilde-Test - Merchandising
Aufgabe AW als Mobile

18 Der neue WILDE Test (WIT-2)
Wissenstest Wirtschaft 20 WW Wissen Wirtschaft Wissenstest IT WI Wissen Information. s bearbeiten 42 AE Arbeitseffizienz Merkfähigkeit, umfasst (1) verbal (2) numerisch (3) figural 21 MF Merkfähigkeit (1) Analogien (2) Abwicklungen, (3) Zahlenreichen 60 R Schlussfolgerndes Denken (1) Spiegelbilder (2) Abwicklungen 40 F Räumliches Denken (1) Eingekleidete Rechenaufgaben (2) Grundrechnen N Rechnerisches Denken (1) Analogien (2) Gleiche Wortbedeutung V Sprachliches Denken Subtests Items Abkürzung Dimensionen Wahlweise: computergestützte Testung

19 Siehe: www.hogrefe-testsystem.com.
PC, Intra- und Internet Version des WIT-2 im Hogrefe-Testsystem Siehe:

20 1 2 3 4 5 Agenda Ausgangssituation: Der „alte“ Wilde Test
Der „neue“ Wilde Test (WIT-2): Konzeption / Theorie 2 Qualitätsmerkmale des WIT-2 3 Empirische Bewährung 4 Desiderata 5

21 Vorzüge und Innovationen des „neuen“ Wilde-Tests
Modernes, schlankes, modular aufgebautes Verfahren Berufsorientiertes Testverfahren (Erfassung der beruflichen „Schlüsselqualifikationen“, Aufgaben mit direktem Bezug zur Berufswelt; Berücksichtigung der DIN zur Personalauswahl, anwendungsorientiert) Differenzierung in allen Leistungsbereichen Merkfähigkeit, nicht nur unmittelbare Behaltensleistung Optional: neue Leistungsdimension Arbeitseffizienz - dargeboten in Form einer Arbeitsprobe (Verbindung zum Konstrukt working memory) Optional: berufsrelevante Wissenstests IT und Wirtschaft Optional: Computergestützte Vorgabe Praxiserprobtes und praxisorientiertes Verfahren, „realistische“(keine Studenten und Schülerstichproben) umfassende Normgruppen

22 Qualitätsmerkmale WIT-2
Durchführungsobjektivität: Die fehlerfreie und komfortable Instruktion wird u. a. durch ein separates Instruktionsheft unterstützt.

23 Qualitätsmerkmale WIT-2
Auswertungsobjektivität: Fehlerminimierung durch ausführliche Instruktionen und (optional) durch PC Unterstützung Interpretationsobjektivität : Gesamt- sowie alters- und bildungsspezifische Normen Beispielinterpretationen unter Berücksichtigung der Konfidenzintervalle Anforderungsanalytische Gewichtung der Dimensionen (optional)

24 Qualitätsmerkmale WIT-2
Beispiel: Anforderungsanalytische Gewichtung der Dimensionen (optional) Bewerberin: Elke Müller Stelle: Bürokraft (Finanz) Bewerberin: Ute Meier Stelle: Juristin (Ministerium) SW Gewicht Produkt Sprachliches Denken 110 0.2 22 114 0.4 45.6 Rechnerisches Denken 90 0.3 27 Räumliches Denken 124 0.1 12.4 Schlussfolg. Denken 120 48 Merkfähigkeit 9 Arbeitseffizienz 122 24.4 Wissen Wirtschaft 92 9.2 97 9.7 Wissen IT 88 8.8 Summe 1 100.4 115.7 Methode zur anforderungsorientierten Integration v. Verfahrens-ergebnissen (MAIV) 24

25 Qualitätsmerkmale WIT-2
Reliabilität: Neben der internen Konsistenz wird – entsprechend der DIN – auch die Retest-Reliabilität der Aufgaben berichtet

26 Qualitätsmerkmale WIT-2
Kriteriumsvalidität: Zu jeder Aufgabe, die aus dem „alten“ WIT in modifizierter Form übernommen wurde, wurden die bisherigen Ergebnisse zur Kriteriumsvalidität von Lang, Kersting und Lang (under review) metaanalytisch zusammengefasst (pro Aufgabe 12 bis 21 unabhängige Studien mit einem N von 1009 bis 1781, N über alle Aufgaben: 9639) Neue Validitätsstudien zum WIT-2 mit folgenden Kriterien (vor der Testung erhobene) Selbsteinschätzungen Schulnoten (konkurrentes und retrogrades Design) Ausbildungserfolg in der beruflichen Erstausbildung Ausbildungserfolg in der beruflichen Weiterbildung / Umschulung Biographische Daten Konstruktvalidität Dimensionsanalysen: Entspricht die Struktur der Daten dem Modell? Umfangreiche Analysen zur konvergenten und diskriminanten Validität durch Bestimmung der Zusammenhänge zu 17 (!) verschiedenen Tests Lang, J. W. B., Kersting, M. & Lang, J. (under review). Relative importance of General Mental Ability and Thurstone‘s Primary Mental Abilities in Job Performance.

27 Qualitätsmerkmale WIT-2
Normen Insgesamt wurden zur Normierung die Daten von annähernd Personen erhoben (Aufgabenebene). Die zur Normierung berücksichtigten Daten stammen fast überwiegend von Personen, die der Zielgruppe entsprechen und die den Test unter Ernstfallbedingungen bearbeitet haben (keine Forschungsstudien).

28 Übersicht über die mit dem neuen Wilde-Test erhobenen Daten (Aufgabenebene)
Analogien Gleiche Wortbedeutungen Eingekleidete Rechenaufgaben Grundrechnen Zahlenreihen Abwicklungen Spiegelbilder Merkfähigkeit s bearbeiten Wissen Wirtschaft Wissen IT Einzelaufgaben 9.219 10.024 2.714 2.461 2.488 3.092 2.432 2.234 2.440 2.285 41.829

29 Qualitätsmerkmale WIT-2
Akzeptanz Bereitstellung von teilnehmerorientierten Vorabinformationen zum Test. Diese umfassen Informationen zur Untersuchungssituation Allgemeine Hinweise für Testteilnehmer Beispielaufgaben und Lösungen Tipps für Bewerberinnen und Bewerber (vom BdP) Motivational ansprechende Gestaltung der Testmaterialien Empirische Erhebung der Akzeptanzwerte

30 Der neue Wilde-Test – Profilbogen; 1/2

31 Der neue Wilde-Test – Profilbogen; 2/2

32 1 2 3 4 5 Agenda Ausgangssituation: Der „alte“ Wilde Test
Der „neue“ Wilde Test (WIT-2): Konzeption / Theorie 2 Qualitätsmerkmale des WIT-2 3 Empirische Bewährung 4 Desiderata 5

33 Einzelaufgaben – Gesamtgruppe: Schwierigkeiten der Einzelaufgaben
.05 .22 .19 .15 .12 .03 .18 .10 .07 Minimum .85 .95 .65 .87 .90 .75 .83 .89 .82 .72 Maximum .45 .56 .46 .60 .49 .44 .50 .34 .52 .47 .39 Durchschnitt N AL 9.219 AW 3.092 EM 2.440 ER 2.714 MF 2.234 GR 2.461 GW 10.024 SP 2.432 WI 2.285 WW 2.440 ZN 2.488

34 Einzelaufgaben – Gesamtgruppe: Trennschärfen der Aufgaben (rit mit Subtest)
Mittlere Trennschärfe (nach Z-Transformation) Minimum Maximum % ≥ .30 N AL .35 .22 .43 80 % 9.219 AW .42 .23 .55 95 % 3.092 EM .56 .29 .73 98 % 2.440 ER .37 .11 .49 80 % 2.714 MF .35 .08 .54 52 % 2.234 GR .34 .06 .58 60 % 2.461 GW .35 .08 .52 70 % 10.024 SP .56 .43 .66 100 % 2.432 WI .52 .34 .66 100 % 2.285 WW .38 .17 .53 75 % 2.440 ZN .46 .24 .58 95 % 2.488

35 Reliabilitätsschätzungen für die WIT-2 Subtests und Skalen (Retest und Cronbachs Alpha)
Dimension Aufgabe(n) Items Interne Konsistenz Stabilität (Retest) α N r N Intervall Sprachliches Denken AL und GW 40 .87 (1) 839 .80 63 9 Monate Rechnerisches Denken ER und GR 40 .88 (1) 839 .79 63 9 Monate Räumliches Denken AW und SP 40 .94 (1) 839 .76 63 9 Monate schlussfolgerndes Denken AL, ZN u. AW 60 .94 (1) 839 .86 63 9 Monate Merkfähigkeit MF 21 .78 2.234 .67 29 6 Wochen Arbeitseffizienz EM 42 .95 2.440 .59 63 9 Monate Wissen Wirtschaft WW 20 .81 2.440 .84 30 6 Wochen Wissen IT WI 20 .89 2.285 .93 30 6 Wochen (1) stratifiziertes Alpha, vgl.: Osburn, H. G. (2000). Coefficient alpha and related internal consistency reliability coefficients. Psychological Methods, 5 (3),

36 Vergleich der Reliabilitäten (interne Konsistenz) alter und neuer Wilde Test
Cronbach‘s Alpha 0,2 0,4 0,6 0,8 1 GW AL ER ZN neuer WILDE Test (WIT-2) alter WILDE Test (WIT-1), Form 2 (*) (*) Für den „alten“ WIT werden nicht die Werte aus der Handanweisung, sondern aktuell ( ) erhobene Kennwerte berichtet. Quelle: Knebelau, M. (2002). Evaluation des Wilde-Intelligenz-Tests (WIT) und seiner Funktion als eignungsdiagnostisches Instrument. Unveröffentlichte Diplomarbeit. Aachen: RWTH Aachen.

37 Modifiziertes Modell der Primary
Mental Abilities (MMPMA) (Kersting, Althoff und Jäger, 2008) Louis Leon Thurstone ( ) Stratum III Neu ggb. PMA Modell: (1) Hierarchie-Ansatz (2) Facettenansatz und (3) kognitive Korrelate Ansatz Fluide Intelligenz / Arbeits-gedächtnis Kristalli-sierte Intelligenz Stratum II Schlussfolgerndes Denken Sprachlich. Denken Rechneris. Denken Räumliches Denken Merk-fähigkeit Rasches Erkennen v. Details Flüssigkeit sprachlich. Einfälle Stratum I (Beispiele) … … Arbeits-effizienz … … … Kenntnisse Informations-technologie … Kenntnisse Wirtschaft … … 37 37

38 WIT-2 Module 1,2,3 und 5: Konstruktvalidität
.10 .73 .72 .34 .44 .69 .45 .36 Sp.D. GW AL ER GR Re. D. GD_F GD_N GD_V MF gf .95 .52 .53 .81 .75 .55 .74 .80 .91 .84 .64 1.00 .12 SP AW Rä. D. .13 ²(20, N = 839) = 98.97 Standardized Root Mean Square Residual (SRMR) = .04 Comparative Fit Index (CFI) = .97 WIT-2 Module 1,2,3 und 5: Konstruktvalidität Vollständiger Test, Gesamtgruppe

39 WIT-2 Alle Module außer 4: Konstruktvalidität
GR GW AL GD_F GD_N SP AW EM_2B WI_1 EM_1B GD_V WW_2 WW_1 WI_2 MF Wis. Wirt gf Wissen IT AE Rä. D. Re. D. Sp. D. gc .25 .69 .13 .70 .34 .44 .68 .46 .37 .08 .21 .05 .49 .86 .56 .93 .55 .81 .75 .57 .74 .79 .96 .89 .97 .72 .87 .98 .82 .67 1.00 ²(79, N = 839) = Standardized Root Mean Square Residual (SRMR) = .06 Comparative Fit Index (CFI) = .96 WIT-2 Alle Module außer 4: Konstruktvalidität Vollständiger Test, Gesamtgruppe

40 WIT-2 Module 4 bis 8: Konstruktvalidität
SD AW GD_F ZN AL EM_1B EM_2B GD_V GD_N Wirt_1 Wirt_2 IT_2 IT_1 MF AE Wis. Wirt gf Wissen IT .32 .48 .54 .67 .44 .37 .08 .07 .22 .05 .49 .23 .82 .72 .68 .57 .75 .79 .96 .88 .98 .71 .97 .77 .84 .65 gc 1.00 ²(48, N = 839) = Standardized Root Mean Square Residual (SRMR) = .05 Comparative Fit Index (CFI) = .98 WIT-2 Module 4 bis 8: Konstruktvalidität Gesamtgruppe

41 WIT-2: Studien zur Konstruktvalidität
Einordnung WIT-2 in das nomologische Netz Dimensionsanalysen Informationen zum Zusammenhang von WIT-2 Subtests mit: N N ABAT-R 111 KLT 48 AMS (Achievement Motive Scale) 126 LGT 76 BIS Merkfähigkeit 641 LPS 76 BIS-r-DGP Test 6081 MRT 76 DGP Tests, Wissen 641 NEO-PI-R (nur Gewissenhaftigkeit) 111 DGP Tests, Arbeitseffizienz 641 SPS (Striving for Perfection) 111 IST 2000-R (Grundmodul vollständig) 78 TAI (Test Anxiety Inventory) 126 IST 2000-R (Einzelaufgaben) 641 Wonderlic Intelligenztest 193 FRT 78 Working Memory Aufgaben 111 1 Mittelwert aus 11 Subtest-Stichproben (Min=430; Max=953)

42 Rä. D. SP ER IST-FA AW GW IST-SE AL GR GD_V BIS_M (3) GD_N GD_F Re. D. Sp. D AE gf MF gc 1.00 .69 EM GH Wirt_2 Wirt_1 IT_1 IT_2 Gem_1 Gem_2 Wis. Wirt Wis. Gem.K. Wissen IT .31 .54 .53 .38 .60 .73 .57 .56 .29 .05 .01 .80 .79 .58 .46 .34 .44 .28 .39 .83 .68 .63 .52 .66 .84 .98 .99 .74 .81 .75 .85 .78 .72 .67 .97 .61 .87 .93 .18 .22 .23 .15 ²(156, N = 641) = Standardized Root Mean Square Residual (SRMR) = .07 Comparative Fit Index (CFI) = .92 WIT-2 Alle Module außer 4: Konstruktvalidität / Generalisierbarkeit (Vollständiger Test, Gesamtgruppe)  Die Geltung der Konstruktannahmen ist nicht auf die WIT-2 Subtests beschränkt, sondern zeigt sich auch in Untersuchungen mit Subtests, die nicht zur Modellkonstruktion eingesetzt wurden!

43 WIT-2 (Schlussf. Denk.) zu
Konstruktvalidität: Konvergente Validität Beziehung zum IST 2000-R WIT-2 IST 2000-R1 Verbal Numerisch Figural Reasoning Sprachliches Denken .79** (.90) .56** (.62) .45** (.52) .74** (.81) Rechnerisches Denken .57** (.65) .81** (.89) .33** (.38) .71** (.77) Räumliches Denken .37** (.41) (.59) .60** (.66) .62** Schlussfolgerndes Denken .61** (.67) .75** (.79) (.69) (.85) N=78; alle Korrelationen (einseitig) nach Pearson * p≤.05, ** p≤.01 1 Werte in Klammern: Korrigiert gegen Unreliabilität in beiden Tests WIT-2 (Schlussf. Denk.) zu Wonderlic (N=193) .66**

44 Konstruktvalidierung: Diskriminante Validität:
Zusammenhang der WIT-2-Dimension „Schlussfolgerndes Denken“ zum NEO-PI-R sowie zum TAI WIT-2 Schlussfolgerndes Denken2 NEO-PI-R (N=111) Kompetenz1 .21* Ordnungsliebe1 .11 Leistungsstreben1 .13 Selbstdisziplin1 .08 Besonnenheit1 .19* Pflichtbewusstsein1 Gewissenhaftigkeit gesamt1 .18* TAI3 (N= 126) Gesamt1 AW: -.11 AL: -.18 Alle Korrelationen (einseitig) nach Pearson * p≤.05, ** p≤.01 1 Rohwerte; 2 z-Werte; 3 Test Anxiety Inventory

45 Konstruktvalidität: Geschlechtsspezifische Testleistungen
Einzelaufgaben Gesamtgruppe Geschlechtsspezifische Leistungsausprägungen pro Subtest / Dimension (Rohwerte). Daten von 18-jährigen Männern und Frauen mit Abitur 0.5 4.4 4.0 10.7 11.0 191 46 ZN 3.3 3.5 11.4 11.6 146 65 WW 8.2** 3.9 4.6 8.2 13.6 134 56 WI 1.8 4.8 13.8 15.3 141 42 SP 0.1 3.7 3.4 10.8 539 160 GW -2.2* 10.5 9.4 172 71 GR -3.1** 3.6 4.5 13.3 118 MF 2.2* 6.7 7.9 179 50 ER 8.3 7.7 28.0 28.2 241 80 EM 1.9 4.2 4.1 10.3 222 67 AW 0.2 9.2 420 145 AL weiblich männlich T-Wert Standard- abweichung Mittelwert N ** p < * p < 0.05

46 WIT-2: Kriteriumsvalidität
Bei der Kriteriumsvalidierung prüft man, ob der Testwert eine Bestimmung von Nicht-Testverhalten erlaubt, welches retrospektiv, gleichzeitig oder später erfasst wird. Laut DIN kann der Nachweis der Kriteriumsvalidität durch verfahrensspezifische Untersuchungen erbracht werden. Es ist aber auch explizit vorgesehen, Gültigkeitsbelege, die in anderen Studien erbracht wurden, zu übertragen (Validitätsgeneralisierung). Des Weiteren wird in der DIN gefordert, dass (sofern vorhanden) auch die Kriteriumsgültigkeiten vergleichbarer Verfahren für gleiche oder ähnliche Anwendungsbereiche berichtet werden. Der WIT-2 wird diesen Forderungen gerecht und informiert auf vier Ebenen über die Kriteriumsvalidität des Tests: Validitätsgeneralisierung Kriteriumsvaliditäten vergleichbarer Verfahren Metaanalyse zur Kriteriumsvalidität derjenigen Subtests des WIT-1, die auch im WIT-2 enthalten sind Weitere Studien zur Kriteriumsvalidität des WIT-2

47 WIT-2: Kriteriumsvalidität - 1. Validitätsgeneralisierung
Die Module des WIT-2 erfassen nachweislich (siehe Konstruktvalidität) Dimen-sionen der Intelligenz. Daher können allgemeine Erkenntnisse zur Kriteriums-validität von Intelligenztests in vollem Ausmaß auf den WIT-2 übertragen werden. Nach der Sichtung metaanalytischer Studien resümieren Schmidt und Hunter (1998), dass aufgrund von Intelligenztests gewonnene Aussagen mit die höchste Validität bei der Vorhersage zukünftiger Leistungen erzielen, und zwar sowohl bei der Vorhersage von Ausbildungs- als auch bei der Vorhersage von Berufs-leistungen. Hunter und Hunter (1984) berichten entsprechende gemittelte Koeffizienten von .54 für den Ausbildungs- und .45 für den Berufserfolg. Salgado et al. (2003) berechnen für die Intelligenz anhand von europäischen Datensätzen sogar eine Kriteriumsvalidität in Höhe von .62. Eine Metaanalyse der deutschen Studien zur Kriteriumsvalidität von Intelligenztests wurde von Hülsheger, Maier und Stumpp (2007) berechnet. Die Autoren kommen auf einen Vorhersagewert von .47 für Ausbildungserfolg und .53 für Berufserfolg. Hülsheger, U. R., Maier, G. W. & Stumpp, T. (2007). Validity of general mental ability for the prediction of job performance and training success in Germany: A meta-analysis. International Journal of Selection and Assessment, 15, 3-18. Hunter, J. E. & Hunter, R. F. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96, Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C. & De Fruyt, F. (2003). International validity generalization of GMA and cognitive abilities: A European commu-nity meta-analysis. Personnel Psychology, 56,

48 WIT-2: Kriteriumsvalidität - 2
WIT-2: Kriteriumsvalidität - 2. Kriteriums-validitäten vergleichbarer Verfahren (Hülsheger et al., 2006) Unterschiede zw. den p-Werten der Testkategorien (zweiseitig) beob. Varianz d. Validitäts- koeffizienten MW der beob. Validitäten1 Mittl. operationale Validität2 Anzahl Studien Stichproben- größe Varianz von p Test 3.28*** .79 .04 5.73*** Z K N Mr S²r ρ S²ρ .027 .477 .025 .323 6062 39 IST .000 .544 .009 .324 1670 14 WIT .000 .542 .006 .367 299 5 CFT-3 SPM .025 .521 .016 .402 949 6 LPS PSB .000 .372 .013 .287 1166 11 Subtests 1 mit Stichprobengröße gewichtet 2 korrigiert um Varianzeinschränkungen und Kriteriumsreliabilität Hülsheger, U. R., Maier, G. W., Stumpp, T. & Muck, P. M. (2006). Vergleich kriteriumsbezogener Validitäten verschiedener Intelligenztests zur Vorhersage von Ausbildungserfolg in Deutschland: Ergebnisse einer Metaanalyse. Zeitschrift für Personalpsychologie, 5,

49 WIT-2: Kriteriumsvalidität - 3. Metaanalyse
zur Kriteriumsvalidität derjenigen Subtests des WIT-1, die auch im WIT-2 enthalten sind (Lang, Kersting & Lang, under review) Althoff, K. (1977). Gehobener und höherer Polizeivollzugsdienst. Althoff, K. (1974). Allgemeinen Verwaltung. Althoff, K. (1975) Kriminalpolizei. Althoff, K. (1978). Vermessungstechnikern. Althoff, K. (1982). Assistentenanwärter Kommunen. Althoff, K. (1984). Diepenbrock, W. & Thielepape, M. (1973). Meisteranwärter Automobilproduktion. Göhrlich, Y. & Schuler, H. (2005). Azubis aus dem technischen Bereich. Graudenz, H. (1982). Beamtenanwärtern des gehobenen Dienstes. Graudenz, H. (1984). Mittlerer Justizvollzugsdienst. Greif, S. (1972). u. a. Polizeivollzugsdienst. Haustedt, T.(2001). Transportunternehmen. Kleinevoss, R. (1983). Gehobener Dienstes einer Bundesbehörde. Knebelau, M. (2002). Versicherungs-Inspektor. Lang, K. (1990). Auszubildende gewerblich-technischer Berufe. Lometsch, D. (1975). Führungsnachwuchskräfte Unilever GmbH. Schmidt-Atzert, L., Deter, B., & Jaeckel, S. (2004). Ausbildungserfolg. Seggebruch, G. (1982). Mittleren Verwaltungsdienst. Seggebruch, G. (1984). Gehobenen allgemeinen Verwaltungsdienst. Thielepape, M. (1980). Krankenschwestern und -Pflegern. Weber, W. & Werner, R. (1983). Anwärter mittlerer und gehobener Dienst. Wolf, B. (1990). Gehobenen Polizeivollzugsdienst. Wolff, P. & Voullaire, C. (1968). Körperbehinderte. Zeissig, H.J. (1989). Berufsfindung / Arbeitserprobung Berufsförderungswerke. Lang, J. W. B., Kersting, M. & Lang, J. (under review). Relative importance of General Mental Ability and Thurstone‘s Primary Mental Abilities in Job Performance.

50 WIT-2: Kriteriumsvalidität - 3. Metaanalyse
zur Kriteriumsvalidität derjenigen Subtests des WIT-1, die auch im WIT-2 enthalten sind (Lang, Kersting & Lang, under review) XPa SDXPa 90% CVXPa k N Low high AL .37 .00 21 1781 AW .20 .14 .03 .43 12 1009 ER .32 .12 -.12 .52 16 1177 GW .33 19 1649 GR .30 .05 -.22 .38 14 1225 SP .22 .16 .04 .48 18 1737 ZN 15 1061 AL AW ER GW GR SP ZN 0,1 0,2 0,3 0,4 AL = Verbale Analogien; AW = Abwicklungen ER = Eingekleidete Rechenaufgaben; GW = Gleiche Wortbedeutungen GR = Grundrechnen; SP = Spiegelbilder ZN = Zahlenreihen Anmerkungen: XPa : Schätzung d. operationalen Validität nach Arte-faktkorrektur von Unreliabiltität im Kriterium sowie indirekter Stichprobeneinschränkung mit den in Hunter und Schmidt (2004) sowie Hunter et al. (2006) dargestellten Methoden; SDXPa : Standardabweichung d. operationalen Validität; 90% CVXPa : Vertrauensintervall (credibility interval) f. d. ope-rationale Validität (zur Interpretation siehe Whitener (´90)); k: Anzahl der zugrundeliegenden Stichproben; N: Anzahl der zugrundeliegendenen Datenpunkte Die Daten zeigen, dass selbst mit den psycho-metrisch teilweise problematischen Aufgaben des „alten“ Wilde Tests auf der Subtestebene hohe Validitäten zu beobachten sind. Bei Nutzung der psychometrisch deutlich verbesserten WIT-2 Aufgaben und bei Aggregation zu Composite-Werten auf der Ebene der Gesamtdimensionen sind deutlich höhere Validitäten zu erwarten. Lang, J. W. B., Kersting, M. & Lang, J. (in Vorbereitung). Eine metaanalytische Untersuchung zur spezifischen Fähigkeitstheorie. (Die Angaben hier auf der Folie beziehen sich allerdings nur auf die Tests des WIT-1, während im Artikel die WIT-1 und WIT-2 Tests gemeinsam analysiert werden, was zu geringfügig anderen Werten führt.)

51 WIT-2: Kriteriumsvalidität - 4
WIT-2: Kriteriumsvalidität - 4. Weitere Studien zur Kriteriumsvalidität des WIT-2 (1 von 7) Zusätzlich zu der Metaananalyse wurden zur Kriteriumsvalidierung des WIT-2 in verschiedenen Studien insgesamt fünf Kriterien herangezogen, die als Indikatoren des Erfolgs in kognitiv geprägten Lebensaufgaben gelten können: (Vor der Testbearbeitung erhobene) Selbsteinschätzungen (N=289) Schulnoten konkurrentes Design (N=129) retrogrades Design (N = 367) Erfolg in der beruflichen Weiterbildung / Umschulung (N=104) Erfolg in der beruflichen Erstausbildung (N=51) biographische Daten (N=49) 51

52 WIT-2: Kriteriumsvalidität - 4
WIT-2: Kriteriumsvalidität - 4. Weitere Studien zur Kriteriumsvalidität des WIT-2 (2 von 7) .19** .11* .22** .20** .08 .21** .25** Schul- abschlussnote Retrograd2 (18 Jahre!) (Gruppe I.3.2; N = 367) .20* .01 Wissen Wirtschaft .07 .11 Wissen IT .26** .23** .13 Arbeitseffizienz .15* .18* Merkfähigkeit .35** Schlussfolgerndes Denken .19* .05 Räumliches Denken .27** .24** Rechnerisches Denken .37** Sprachliches Denken Durchschnitts- Schulzeugnisnote Schulnote Deutsch Mathematik konkurrent (Gruppe I.3.3; N = 129) Kriterium Prädiktor Alle Korrelationen (einseitig) nach Pearson * p≤.05, ** p≤.01; Berichtet werden logisch positive Korrelationen (je besser die Testleistung, je höher die Schulleistung); 1 Standardwerte; 2 Retrograde Validierung: die Schulabschlussnote liegt im Durchschnitt 18 Jahre zurück

53 WIT-2: Kriteriumsvalidität - 4
WIT-2: Kriteriumsvalidität - 4. Weitere Studien zur Kriteriumsvalidität des WIT-2 (3 von 7) Kriterium Prädiktor Note berufliche Weiterbildung / Umschulung (Rehavorbereitungslehrgang) 3 Mathematik Deutsch Schulabschlussnote .18* .01 Sprachliches Denken .24** (.29) .46** (.55) WIT-2 Analogien WIT-2 gleiche Wortbedeutungen Rechnerisches Denken .37** (.44) .28** (.33) WIT-2 Eingekleidete Rechenaufgaben WIT-2 Grundrechnen Räumliches Denken .44** (.51) .38** (.44) WIT-2 Abwicklungen WIT-2 Spiegelbilder Schlussfolgerndes Denken .43** (.50) .46** (.53) WIT-2 Zahlenreihen WIT-2 Merkfähigkeit .15 (.19) .22* (.25) WIT-2 Arbeitseffizienz .14 (.16) WIT-2 Wissen IT .34** (.40) .24** (.28) WIT-2 Wissen Wirtschaft .26** (.32) .27** (.34) Alle Korrelationen (einseitig) nach Pearson; * p≤.05, ** p≤.01; Berichtet werden logisch positive Korrelationen (je besser die Testleistung, je höher die Schulleistung) 1 z-Werte; 3 Werte in Klammern: Korrigiert gegen Unreliabilität in Prädiktor und Kriterium

54 Kreuzvalidierung Mathe
WIT-2: Kriteriumsvalidität - 4. Weitere Studien zur Kriteriumsvalidität des WIT-2 (4 von 7) 0,1 0,2 0,3 0,4 0,5 0,6 Nachweis der inkrementellen Validität: Hierarchische Regression der Dimen-sionen des WIT-2 auf das Kriterium Erfolg in der beruf. Umschulung (Mathe) R = .58 Wissen IT N = 104 R = .53 Rechnerisches Denken Kreuzvalidierung Mathe Gr. 1 Gr. 2 R2 .71** .40** R2korr .46 .09 N  52 52 R = .47 Räumliches Denken R2korr .31 Intercept 1.721 F(4,99) 12.445 Kreuzvalidierung Deutsch Gr. 1 Gr. 2 R2 .58** .48** R2korr .30 .19 N  52 52 Bei Vorhersage der Deutschnote: Schritt 1: Schulabschlussnote (.01) Schritt 2: Sprachliches Denken (.47) Schritt 3: Rechnerisches Denken (.51) R = .18 Schulabschluss

55 Kriterium: Ausbildungserfolg
WIT-2: Kriteriumsvalidität - 4. Weitere Studien zur Kriteriumsvalidität des WIT-2 (5 von 7) Kriterium: Ausbildungserfolg WIT-2 Theorie (N=51) Sprachliches Denken .34** (.41) Rechnerisches Denken .39** (.46) Räumliches Denken .11 (.13) Schlussfolgerndes Denken .14 (.16) Merkfähigkeit .24* (.30) Arbeitseffizienz .33** (.38) Wissen IT .10 (.12) Wissen Wirtschaft .27* (.34) Schulabschlussnote .49** Die ausbleibenden Validitäten für den Wissenstest Informationstechnologie und das räumliche Denken / schlussfolgernde Denken sind vor dem Hintergrund zu sehen, dass es sich um eine extrem vorausgewählte und varianzeinge-schränkte Gruppe handelt: Die Personen waren aufgrund von Leistungen in entsprechenden Dimensionen mit Hilfe anderer Tests vor-ausgewählt worden. Alle Korrelationen (einseitig) nach Pearson * p≤.05, ** p≤.01 Werte in Klammern: Korrigiert gegen Unreliabilität in Prädiktor und Kriterium

56 WIT-2: Kriteriumsvalidität - 4
WIT-2: Kriteriumsvalidität - 4. Weitere Studien zur Kriteriumsvalidität des WIT-2 (6 von 7) 0,2 0,4 0,6 0,8 1 Kriteriumsvalidität: Hierarchische Regression der Dimensionen des WIT-2 auf das Kriterium Ausbildungserfolg N = 51 R = .60 Rechnerisches Denken R = .49 Schulabschluss Kreuzvalidierung Gr. 1 Gr. 2 R2 .61** .58** R2korr .31 .30 N  26 25 R2korr .33 Intercept 4.525 F(2,48) 13.168

57 WIT-2: Kriteriumsvalidität - 4
WIT-2: Kriteriumsvalidität - 4. Weitere Studien zur Kriteriumsvalidität des WIT-2 (7 von 7) Kriterium: Biographische Daten (Interesse / Erfahrung) Erfahrung / Interesse (Selbstbericht, vorab erhoben) WIT-2 Modul Informationstechnologie Wirtschaft WIT-2 Module Wissen .77**1 (.86) .31*2(.37) Alle Korrelationen (einseitig) nach Pearson * p≤.05, ** p≤.01 Module (Prädiktoren): 1 Modul Wissen IT, 2 Modul Wissen Wirtschaft Werte in Klammern: Korrigiert gegen Unreliabilität in beiden Tests α = .92 (14 Items) α = .81 (11 Items) Interne Konsistenz Beispielitems IT-Erfahrung Wie viel Zeit verbringen Sie durchschnittliche pro Woche am PC? Welche Programmiersprachen beherrschen Sie? Verfolgen Sie das aktuelle Geschehen auf d. F.-markt? Mit welchen Arten von Wertpapieren haben Sie Erfahrung? Beispielitems Wirtschaftserfahrung

58 Akzeptanzmessung mit dem Akzept!-L Beispielitems für die vier Skalen
Messqualität Mit dem Test kann man die hinsichtlich des getesteten Merkmals bestehenden Unterschiede zwischen Menschen präzise abbilden. [Akzept! - L] Augenscheinvalidität Die Testaufgaben spiegeln Anforderungen wider, die auch im Berufsleben gefordert sind. [Akzept! - L] Kontrollierbarkeit Die Testaufgaben waren klar und verständlich. [Akzept! - L] Belastungsfreiheit Bei der Testung fühlte ich mich überfordert. (-) [Akzept! - L] Kersting, M. (2003). Der Akzept! zur Messung der Akzeptanz diagnostischer Verfahren. Unveröffentlichtes Testmanual. Aachen: RWTH Aachen. Mehr Informationen unter:

59 Augenscheinvalidität
Akzeptanz WIT-2 hoch 5,5 Skala von 1 bis 6 5 BIS N=95 IST N=103 4,5 WIT-2 N=78 4 Anmerkung: Jedes Testverfahren (BIS, IST, WIT) wurde von jeweils einer anderen Gruppe bearbeitet, so dass ein direkter Vergleich nicht ohne weiteres möglich ist. 3,5 3 2,5 niedrig Messqualität Kontrollierbarkeit Augenscheinvalidität Belastungsfreiheit Gesamtbeurteilung Kersting, M. (2003). Der Akzept! zur Messung der Akzeptanz diagnostischer Verfahren. Unveröffentlichtes Testmanual. Aachen: RWTH Aachen. Mehr Informationen unter:

60 1 2 3 4 5 Agenda Ausgangssituation: Der „alte“ Wilde Test
Der „neue“ Wilde Test (WIT-2): Konzeption / Theorie 2 Qualitätsmerkmale des WIT-2 3 Empirische Bewährung 4 Desiderata 5

61 Desiderata Hinsichtlich der Entwicklung des MMPMA Modells ist der Ausbau des hier nur in wenigen Bereichen erschlossenen ersten Strata wünschenswert. Dies würde auf der Testebene die Entwicklung von weiteren Kenntnistests und Arbeitsproben implizieren. Damit wäre zugleich die Voraussetzung geschaffen, aus dem Wilde Test direkt Indikatoren für Konstrukte des dritten Strata (kristallisierte Intelligenz sowie working memory) abzuleiten. Darüber hinaus steht auf theoretischer Ebene eine differenziertere Einordnung des Konstrukts working memory und eine erste Einordnung des Konstrukts mental speed in das MMPMA Modell aus. Von eher praktischem Interesse ist die angestrebte Entwicklung von fremdsprachigen Testformen sowie der Ausbau der Normbasis. Für die Bestimmung der Retest-Reliabilität im Allgemeinen sowie für die Subtests Spiegelbilder und Merkfähigkeit und für die beiden Kenntnistests im Besonderen sollten die Daten umfangreicherer Gruppen gewonnen werden, wobei die Daten idealerweise bei allen Subtests, insbesondere aber bei der Aufgabe s Bearbeiten unter Bedingungen erhoben werden sollten, die eine hohe und über beide Messzeitpunkte hinweg stabile Testmotivation gewährleisten.

62 Kontakt: PD Dr. Martin Kersting Preisliste und Bestellung:
www: Aktuelle Informationen zum WIT-2 Preisliste und Bestellung: www: