Computergestützte diagnostische Verfahren Was ist neu an pro facts ?

Agenda Was sind computergestützte Verfahren? Arten der computergestützten Diagnostik Exkurs Planspiele Was ist neu an pro facts? Konzeption von pro facts Verwendete Testarten Reliabilität, Validität, Normierung Vorteile von pro facts Nachteile von pro facts

Computergestützte Verfahren Wenn die Anwendung von Computern als diagnostisches Instrument mit direktem Probandenkontakt erfolgt, spricht man nach Schuler von computergestützter Diagnostik. Kubinger unterscheidet weiter zwischen originären Computertests – d.h. solchen Tests, die spezifisch für den (Personal-)Computer entwickelt wurden - und der lediglich mediumsgerechten Nutzung von EDV (statt Papier und Bleistift)

Bisherige computergestützte Verfahren Hauptsächlich computergestützte Testverfahren (BKT, FAKT) und Planspiele: Dabei geht es z.B. um die Lösung von komplexen,vernetzten, intransparenten und eigendynamischen Aufgaben eines virtuellen Unternehmens.

Exkurs:Planspiele Bei Planspielen geht es hauptsächlich um strategisches Denken in vernetzten Systemen. D. Dörner hat mit „Tanaland“ ein wegweisendes virtuelles Spiel konstruiert, an dem sich dessen Nachfolger orientierten. „Tanaland“ wurde als Entwicklungshilfeprojekt in Afrika angelegt. Die VP‘s konnten in ihrer Funktion als Entwicklungshelfer sechs Mal eingreifen, um die Situation in virtuellen 10 Jahren zu verbessern.

Wichtige Komponente sind die sog. verdeckten Variablen des Planspiels: sind die sog. verdeckten Variablen des Spiels: Viehbestand Jagd auf Kleinsäuger - - Leoparden - Kleinsäuger + + Insekten Ernteertrag -

Vor- und Nachteile von Planspielen Vorteile Ökonomische Durchführung Standardisierte Vorgabe Prozessorientierte Auswertung (Strategie des Vorgehens wird transparent) Erfassung neuer Anforderungen (Reaktion auf Eigendynamik) durch Zeitraffereffekt Aktivierung von Lernprozessen Akzeptanz bei den Teilnehmern Gegengewicht zu kommunikativ gesteuerten Fertigkeiten (AC‘s) Nachteile Meist in AC‘s eingesetzt – daher nur Gruppenleistung Validierung unsicher Reliabilität nur schwer messbar Durch dynamische Gestaltung haben die Bewerber unterschiedliche Schwierigkeitsgrade Steuerungsleistung durch Vorerfahrung mit PC bestimmt Leistung der Person ist auch abhängig von der Passung des Eingreifens zu unbekannten Systemparametern

Forschungslinien komplexen Problemlösens National: Bamberger Gruppe (D.Dörner) – Analyse der Schwierigkeiten von Individuen im Umgang mit komplexen Systemen Bayreuther Gruppe (Putz / Osterloh) – Unterschiede der interindividuellen Testintelligenz und Unterschiede des bereichsspezifischen und –unspezifischen Wissens Bonner Gruppe (J. Funke) – experimentelle Untersuchungen, die zu einer Systematisierung dynamischer Systeme führen und bestimmten Kriterien genügen müssen Hamburger Gruppe (Kluwe) – Untersuchungen zu mentalen Modellen der VP und zu Lernprozessen International Oxforder Gruppe (Broadbent) Brüsseler Gruppe (Karnas) Arbeitsgruppe am MIT (Massachusetts Institute of Technology)

Was ist pro facts? Pro facts (professionelles Assessment by Computer for training and selection) wurde im Rahmen der Dissertation von S. Etzel entwickelt.

Was ist neu an pro facts ? Die Vorteile von verschiedenen diagnostischen Methoden sollen vereint werden Soll durch die multimediale Form der Darbietung das Involvement der Probanden erhöhen (sozial erwünschte Antworten vermindern) Soll eine ökonomische Datenauswertung ermöglichen Kann weitere Daten wie Bearbeitungsgeschwindigkeit von einzelnen Fragen und des Gesamtscores ermitteln

Vergleich der verschiedenen diagnostischen Verfahren Objektivität Reliabilität Konstruktvalidität soziale Validität ökolog. Validität Ökonomie Test-verfahren + - Interview ? AC

Konzeption von pro facts Die Testpersonen werden einzeln und ohne weitere Hilfsmittel am PC getestet. Die Testdurchführung hat Spielcharakter. In der Ursprungsform wurden zwei Dimensionen mit einem sich überschneidenden Pool von Merkmalen (Module) konstruiert: Sales and Communication sowie Business and Decisions

Die Testarten Es wurden verschiedene Tests zur Erfassung der verschiedenen Konstrukte verwendet, teilweise auch nur Subskalen von bekannten Tests. Andere Tests wurden modifiziert.

Die Tests im einzelnen Leistungstests (Planungskompetenz, Auffassungsgabe, Problemlösen) Objektive Persönlichkeitstests = modifiziert (Anspruchsniveau) Persönlichkeitstests (z.B. Aufgeschlossenheit) – fünfter Faktor des NEO - FFI Projektive Testverfahren: Situationsfragebögen (situative Verhaltensaufgaben) Rollenspiel Elemente aus Planspielen (Eigendynamik, komplexes Regelerkennen)

Steuerung der Bearbeitungsgeschwindigkeit Leistungstests werden mit einer Zeitvorgabe, die der Testperson vorgegeben wird, bearbeitet. Allen anderen Aufgaben soll sich der Proband so intensiv wie möglich widmen, weil ein Bearbeitungsabbruch ein fehlendes Item zur Folge hätte. Deshalb macht ein Feedbacksystem (Uhr) die Testperson auf deutliche Abweichungen von der durchschnittlichen Bearbeitungszeit aufmerksam. Zu kurze Bearbeitungszeiten werden mit Flüchtigkeit oder mangelnder Motivation interpretiert.

Stichprobe 204 männliche Teilnehmer des Forschungsgebers, 24 – 60 Jahre alt (MW = 39) Zugehörigkeitsdauer zum Unternehmen (N = 156): 68 Personen < 3 Jahre (=44%), 88 Personen > 3 Jahre (= 56%) 11,4% der Stichprobe waren Verkäufer, bevor sie für den Forschungsgeber tätig wurden Die Untersuchten teilten sich auf 56 Generalagenturen in der Schweiz auf. Das Untersuchungsinstrument wurde in drei Blöcke aufgeteilt: S&C1 S&C2, (n = 30); B&D1 S&C1, (n = 81) B&D2 S&C2, (n = 93); und größeren regionale Einheiten der Agenturen zugeordnet S&C1 S&C2

Reliabilität Interne Konsistenz: Zwischen r = .64 und r = .91 Batteriereliabilität je nach Zusammenstellung: Zwischen r = .70 und r = .80 Die Items wurden mit LCA auf stichprobenunabhängige Schwierigkeit geprüft – so kann adaptiv getestet werden

Validität Von 189 der 204 getesteten Personen des Forschungsgebers wurden mittels Fragebogen Vorgesetztenurteile erhoben. Nach Ausschluss von Teilpopulationen reduzierte sich die Stichprobe auf n = 65 Mitarbeiter. Der Zusammenhang zwischen den Vorgesetztenurteilen und der vorhergesagten Leistung des Mitarbeiters liegt zwischen r = .73 und r = .81

Validität: Korrelation der Kriterien Für alle betrachteten Mitarbeiter beträgt der Zusammenhang zwischen den Umsatzkennzahlen und den Vorgesetztenurteilen r = .28, für Mitarbeiter, die länger als 3 Jahre im Unternehmen beschäftigt sind, r = .65 n = 83 Vorhersage des Berufserfolgs anhand „monetärer Erfolgskennwerte“: r = .64, n = 83

Vorteile von pro facts Hohe Durchführungs- und Auswertungsobjektivität Einheitlichere Vorgabe von situationsbezogenen Aufgaben als beim Planspiel Module theoriegeleitet und anhand von CI erstellt

Vorteile von pro facts Modulartiger Aufbau ermöglicht individuelle Zusammenstellung relevanter Kompetenzen Adaptives Testen möglich Sofort verfügbare Ergebnisse durch automatische Auswertung Erstellung von Soll- Profilen möglich Auswahl der Normstichprobe möglich Aktualisierte Normstichproben per Internet

Normierung Prozentrangnormen für: Studierende N = 1500 Versicherungsgesellschaften: Schweiz N = 500 Venezuela N = 120 Bankenbereich N = 150 Einzelhandel N = 100 Chemiebranche/ Telekommunikation: N = 50

Nachteile von pro facts Sozial erwünschte Antworten werden teilweise durch dichotome Alternativen nahegelegt Der multimedia - Effekt beschränkt sich meist auf Bild und Text. Personen mit wenig Erfahrung im Umgang mit Computern haben Nachteile gegenüber Personen mit häufigem PC-Umgang

Literatur S. Etzel (1999): Multimediale, computergestützte diagnostische Verfahren: Neue Perspektiven für die Managementdiagnostik; Shaker Verlag, Aachen B. Strauß & M. Kleinmann (Hrsg.) (1995): Computersimulierte Szenarien in der Personalarbeit; Verlag für Angewandte Psychologie, Göttingen D. Dörner (1992): Die Logik des Mißlingens. Strategisches Denken in komplexen Situationen; Rowohlt Verlag, Reinbeck Referat:Computergestütze Diagnostik, 3.2.2003, S.Freund,Dozent: F. Spinath