Validierung der Analyse Schlussfolgernden und Kreativen Denkens (ASK) Benedikt Hell & Heinz Schuler (Universität Hohenheim) Überblick: In Deutschland.

Präsentation zum Thema: "Validierung der Analyse Schlussfolgernden und Kreativen Denkens (ASK) Benedikt Hell & Heinz Schuler (Universität Hohenheim) Überblick: In Deutschland."—  Präsentation transkript:

1 Validierung der Analyse Schlussfolgernden und Kreativen Denkens (ASK) Benedikt Hell & Heinz Schuler (Universität Hohenheim) Überblick: In Deutschland werden im Vergleich zu den europäischen Nachbarn und insbesondere auch im Vergleich zu den USA kognitive Leistungstests erheblich seltener zur Personal-auswahl eingesetzt. Die zurückhaltende Verwendung steht in einem Missverhältnis zur Effizienz und Validität dieser Verfahren für eignungsdiagnostische Fragestellungen und deutet auf einen Bedarf geeigneter Verfahren hin. Zentrales Anliegen der Neuentwicklung der Analyse Schlussfolgernden und Kreativen Denkens (ASK) ist die Operationalisierung eines auf Personen mit Bildungsvoraus-setzung Abitur zugeschnittenen Prädiktorbereichs: Mit dem Konstrukt Schlussfolgern-des Denken wird der zentrale Aspekt der Allgemeinen Intelligenz (Aufgabengruppen mit hohen g-Ladungen) fokussiert; zudem wird das für diese Population aussichtsreiche Konstrukt verbale Kreativität erfasst. Durch die Komplementarität der Konstrukte wird eine effiziente und gegenüber Tests mit rein konvergenten Aufgabenformaten inkrementell verbesserte Diagnostik ermög-licht. Eigenheiten vorhandener Verfahren, die einem Einsatz in der Praxis entgegenstehen, wurden identifiziert und bei der Konstruktion der ASK verbessert: Vorgabe langer Durchführungszeiten, aufwändige Auswertung, umständliche diagnostische Urteils-bildung, Umfang und Komplexität der Testmanuale, keine zielgruppengerechten Formulierungen von Items und Instruktionen sowie Verwendung elementaristisch-dekontextualisierter Itemformate. Dieser Beitrag liefert einen Überblick über die Ergebnisse der Konstrukt- und kriterien-bezogenen Validierung des Verfahrens. Tab. 1: Explorative FA Abb. 1: Konfirmatorische FA Anmerkungen: N=419; e1 bis e7 = unabhängige Fehlerkomponenten; die Koeffizienten oberhalb der manifesten Variablen geben den Anteil der durch die latente Variable aufgeklärten Varianz an; latente Variablen: KD=Kreatives Denken, SD=Schlussfolgerndes Denken; manifeste Variablen: KB=Kategorien bilden, BD=Bedingungsgefüge definieren, HG=Hypothesen generieren, SK=Sätze kombinieren, TM=Tatsache/Meinung, SZ=Schlussfolgerungen ziehen, II=Informationen interpretieren. Tab. 2: Fitindizes konfirmatorische FA Abb. 2: Verfahrensübergreifende konfirmatorische FA Anmerkungen: N=111; Latente Variablen: KD=Kreatives Denken, SD=Schlussfolgerndes Denken, BIS=Berliner Intelligenzstruktur-Test, VKT=Verbaler Kreativitätstest; manifeste Variablen: ASK-Variablen wie oben, M=Merkfähigkeit, B=Bearbeitungsgeschwindigkeit, K=Verarbeitungskapazität; manifeste Variablen des VKT wurden durch Parcelling-Strategie gebildet. Die in die manifesten Variablen einfließenden Fehler wurden bei dieser Abbildung der Übersichtlichkeit halber weggelassen; angegeben ist jeweils der Anteil der erklärten Varianz der manifesten Variablen (Werte oberhalb der manifesten Variablen). Tab. 3: Prognostische Validität für das Studienfach Wirtschaftswissenschaften Konstruktvalidierung des Verfahrens Zuverlässigkeit Die interne Konsistenz beträgt ,73 für die Facette Schlussfolgerndes Denken (3 Aufgabengruppen) bzw. ,71 für Kreatives Denken (4 Aufgabengruppen). Die Retest-reliabilität erreicht rtt=,78 (Schlussfolgerndes Denken), rtt=,77 (Kreatives Denken) und beim Kombinationswert rtt=,86 (Zeitraum 15 Monate). Verfahrensinterne Analysen Die Binnenanalysen mittels explorativer und konfirma-torischer Faktorenanalysen (Ergebnisse vgl. Tab. 1 u. 2 bzw. Abb. 1) des ASK bestätigen eindeutig die zweifakto-rielle Struktur des Verfahrens. Es werden zwei homogene und eindeutig voneinander abgrenzbare Merkmalsberei-che operationalisiert. Dabei sind die beiden Konstrukte so hoch miteinander korreliert, dass sie als Facetten eines übergeordneten Konstruktbereichs aufgefasst werden können. Bei dem Vergleich mehrerer miteinander konkur-rierender Modelle der konfirmatorischen Analysen erweist sich das Modell, das interkorrelierte Faktoren erster Ord-nung annimmt, als das Tauglichste (Abb.1 bzw. Tab. 2). Die der Testkonstruktion zugrunde liegende Idee, kom-plementäre, also einander ergänzende Konstrukte zu operationalisieren, konnte demnach verwirklicht werden. Nomologische Verortung Konvergenz und Diskordanz mit Verfahren zur Erfassung Allgemeiner Intelligenz: Zur Verortung im Bereich der All-gemeinen Intelligenz wurde der Berliner Intelligenz-struktur-Test (BIS; N=111) und der Wonderlic Personnel Test (WPT; N=406) eingesetzt. Erwartungsgemäß korre-liert das Schlussfolgernde Denken deutlich höher mit der mittels des WPT (korrigiert r=,68) und des BIS (korrigiert r=,79) gemessenen Allgemeinen Intelligenz als der Facettenwert des Kreativen Denkens (korrigiert r=,46 bzw. r=,58). Der Gesamtwert der ASK korreliert kaum geringer mit den Testverfahren zur Allgemeinen Intelli-genz als der Facettenwert SD. Ein mittels einer Faktorenanalyse aus den beiden Ver-fahren WPT und BIS extrahierter gemeinsamer General-faktor, der das Merkmal Allgemeine Intelligenz noch gründlicher abzubilden vermag als die beiden Einzel-verfahren WPT und BIS, hängt noch enger mit der ASK und ihren Facetten zusammen. Die Facette SD der ASK korreliert dabei so hoch mit dem Faktor wie die „zentrale“ Facette Verarbeitungskapazität des Berliner Intelligenz-truktur-Modells. Die Zielsetzung, mit dem Schlussfol-gernden Denken eine zentrale, „g-gesättigte“ Intelli-genzfacette zu operationalisieren, konnte demnach um-gesetzt werden. Konstruktvalidierung im Bereich des Divergenten Den-kens mittels des Verbalen Kreativitätstests (VKT): Die Korrelationsanalysen zeigen, dass die Facette KD deut-lich höher mit dem VKT korreliert (korrigiert r=,80) als die Facette SD (korrigiert r=,53). Für den Gesamtwert des ASK ergibt sich ein korrigierter Korrelationskoeffizient von r=,76. Simultane Validierung im Bereich des Konvergenten und Divergenten Denkens: Die Ergebnisse einer die beiden Konstruktbereiche Konvergentes und Divergentes Denken simultan analysierenden konfirmatorischen Fak-torenanalyse sind in Abbildung 2 wiedergegeben. Die beiden latenten Konstrukte SD und Allgemeine Intelligenz (BIS) korrelieren auf Konstruktebene zu ,93 miteinander, KD und verbale Kreativität (VKT) zu r=,91. Beide Koeffi-zienten erreichen die obere Grenze des möglichen Wertekorridors. Die bereichsüber-greifenden Ladungen – also die Korrelationen zwischen Konvergentem (SD, BIS) und Divergentem Denken (KD, VKT) – liegen deutlich unter diesem Niveau. Konstruktvalidierung über die Selbsteinschätzung kreati-vitätsrelevanter Persönlichkeitsmerkmale: Mit dem Ziel einer möglichst umfassenden Validierung wurde zusätz-lich zu den Vergleichen mit Leistungstests eine Adjektiv-skala zur Beschreibung kreativitätsrelevanter Persön-lichkeitsmerkmale als weiteres Kriterium herangezogen (N=49). Der Aspekt des Kreativen Denkens korreliert in zufriedenstellender Höhe mit der eingesetzten Creative Personality Scale (r=,29). Die ASK-Facette Schluss-folgerndes Denken kovariiert nicht überzufällig mit der CPS. Kriterienbezogene Validierung Kriterienbezogene Validierung über einen Biographischen Fragebogen zur Erfassung von Kreativität: Beide Fa-cetten der ASK korrelieren hoch mit dem aus dem Bio-graphischen Fragebogen gebildeten Biographieindex (SD r=,48; KD r=47; N=40); eine noch höhere Korrelation erreicht der Gesamtwert der ASK (r=,56). Dem Problem, dass keine differentielle Validität erzielt wird, kann durch eine „Schärfung“ des Biographieindexes begegnet wer-den. Für einen auf die für den Merkmalsbereich Kreativi-tät einschlägigsten Items reduzierten Index werden zwar in ihrer Höhe geringere Korrelationen berechnet, aber das Korrelationsmuster zeigt in diesem Fall eine differentielle Validität der Facetten der ASK. Kriterienbezogene Validierung über das Kriterium Schul-erfolg: Zur weiteren kriterienbezogenen Validierung der ASK wurden Abiturdurchschnittsnoten herangezogen (N=311). Schlussfolgerndes Denken korreliert jeweils höher mit den Noten (korrigiert r=,43) als die Facette Kreatives Denken (korrigiert r=,38). Eine Kombination der beiden Werte zu einem Gesamtwert steigert die Validität der Einzelwerte auf r=,49 (korrigiert). Kriterienbezogene Validierung über das Kriterium Stu-dienerfolg: Als weiteres Außenkriterium wurde der Stu-dienerfolg im Fach Wirtschaftswissenschaften herange-zogen (N=311). Anders als angenommen korreliert die Facette Kreatives Denken der ASK höher (korrigiert r=,42) mit der aus den Studiennoten gebildeten Durch-schnittsnote als die Facette Schlussfolgerndes Denken (korrigiert r=,38). Für den ASK-Gesamtwert steigt die Validität noch einmal auf r=,49 (korrigiert) an. Ein Vergleich mit dem Prädiktor Abiturnote zeigt, dass beide ASK Facetten inkrementelle Validität hinsichtlich des Kriteriums Studienerfolg beitragen (vgl. Tab. 3). Anwenderperspektive Empfohlener Einsatzbereich Die ASK wurde speziell für die Zielgruppe erwachsener Probanden mit Bildungsvoraussetzung Abitur konstruiert. Das Verfahren kann zu vielfältigen Zwecken eingesetzt werden. So können angewandte diagnostische Fragestel-lungen im Bereich der Berufs-, Bildungs- und Laufbahn-beratung, innerhalb der klinischen Diagnostik und bei Problemstellungen der Personalauswahl und Personal-platzierung untersucht werden. Bearbeitungsdauer Die Bearbeitungsdauer für den Gesamttest beträgt ca. 70 Minuten (ca. 30 Minuten für das Modul „Schlussfolgerndes Denken“ und ca. 40 Minuten für das Modul „Kreatives Denken“). Literatur Schuler, H. & Hell, B. (2004). Analyse Schlussfolgernden und Kreativen Denkens – ASK. Huber: Bern. Kontakt Benedikt Hell: Tel ; Heinz Schuler: Tel ; ,40 II e 1 ,63 ,53 SZ ,73 e 2 SD ,67 ,45 TM e 3 ,26 Modell 2 SK ,50 e 4 ,51 ,31 HG e 5 ,56 KD ,41 ,64 BD e 6 ,70 ,49 KB e 7 Modell 1 Modell 3 ,93 ,93 ,47 ,47 ,34 ,34 II II M M ,68 ,68 ,58 ,51 ,51 ,48 ,48 ,72 ,72 BIS ,59 ,59 SZ SD SZ SD BIS B B ,78 ,78 ,90 ,90 ,60 ,60 ,82 ,82 TM TM K K ,76 ,76 ,60 ,60 ,42 ,42 ,57 ,57 ,71 ,71 SK SK ,79 ,79 ,65 ,65 R14 R14 ,42 ,42 ,89 HG HG ,65 ,65 ,69 ,69 ,83 ,83 KD VKT R25 R25 ,31 ,31 KD VKT ,56 ,56 BD BD ,87 ,87 ,76 ,76 ,60 R36 R36 ,36 ,36 KB KB ,91 ,91