Computergestützte diagnostische Verfahren

Präsentation zum Thema: "Computergestützte diagnostische Verfahren"—  Präsentation transkript:

1 Computergestützte diagnostische Verfahren
Was ist neu an pro facts ?

2 Agenda Was sind computergestützte Verfahren?
Arten der computergestützten Diagnostik Exkurs Planspiele Was ist neu an pro facts? Konzeption von pro facts Verwendete Testarten Reliabilität, Validität, Normierung Vorteile von pro facts Nachteile von pro facts

3 Computergestützte Verfahren
Wenn die Anwendung von Computern als diagnostisches Instrument mit direktem Probandenkontakt erfolgt, spricht man nach Schuler von computergestützter Diagnostik. Kubinger unterscheidet weiter zwischen originären Computertests – d.h. solchen Tests, die spezifisch für den (Personal-)Computer entwickelt wurden - und der lediglich mediumsgerechten Nutzung von EDV (statt Papier und Bleistift)

4 Bisherige computergestützte Verfahren
Hauptsächlich computergestützte Testverfahren (BKT, FAKT) und Planspiele: Dabei geht es z.B. um die Lösung von komplexen,vernetzten, intransparenten und eigendynamischen Aufgaben eines virtuellen Unternehmens.

5 Exkurs:Planspiele Bei Planspielen geht es hauptsächlich um strategisches Denken in vernetzten Systemen. D. Dörner hat mit „Tanaland“ ein wegweisendes virtuelles Spiel konstruiert, an dem sich dessen Nachfolger orientierten. „Tanaland“ wurde als Entwicklungshilfeprojekt in Afrika angelegt. Die VP‘s konnten in ihrer Funktion als Entwicklungshelfer sechs Mal eingreifen, um die Situation in virtuellen 10 Jahren zu verbessern.

6 Wichtige Komponente sind die sog. verdeckten Variablen des Planspiels:
sind die sog. verdeckten Variablen des Spiels: Viehbestand Jagd auf Kleinsäuger - - Leoparden - Kleinsäuger + + Insekten Ernteertrag -

7 Vor- und Nachteile von Planspielen
Vorteile Ökonomische Durchführung Standardisierte Vorgabe Prozessorientierte Auswertung (Strategie des Vorgehens wird transparent) Erfassung neuer Anforderungen (Reaktion auf Eigendynamik) durch Zeitraffereffekt Aktivierung von Lernprozessen Akzeptanz bei den Teilnehmern Gegengewicht zu kommunikativ gesteuerten Fertigkeiten (AC‘s) Nachteile Meist in AC‘s eingesetzt – daher nur Gruppenleistung Validierung unsicher Reliabilität nur schwer messbar Durch dynamische Gestaltung haben die Bewerber unterschiedliche Schwierigkeitsgrade Steuerungsleistung durch Vorerfahrung mit PC bestimmt Leistung der Person ist auch abhängig von der Passung des Eingreifens zu unbekannten Systemparametern

8 Forschungslinien komplexen Problemlösens
National: Bamberger Gruppe (D.Dörner) – Analyse der Schwierigkeiten von Individuen im Umgang mit komplexen Systemen Bayreuther Gruppe (Putz / Osterloh) – Unterschiede der interindividuellen Testintelligenz und Unterschiede des bereichsspezifischen und –unspezifischen Wissens Bonner Gruppe (J. Funke) – experimentelle Untersuchungen, die zu einer Systematisierung dynamischer Systeme führen und bestimmten Kriterien genügen müssen Hamburger Gruppe (Kluwe) – Untersuchungen zu mentalen Modellen der VP und zu Lernprozessen International Oxforder Gruppe (Broadbent) Brüsseler Gruppe (Karnas) Arbeitsgruppe am MIT (Massachusetts Institute of Technology)

9 Was ist pro facts? Pro facts (professionelles Assessment by Computer for training and selection) wurde im Rahmen der Dissertation von S. Etzel entwickelt.

10 Was ist neu an pro facts ? Die Vorteile von verschiedenen diagnostischen Methoden sollen vereint werden Soll durch die multimediale Form der Darbietung das Involvement der Probanden erhöhen (sozial erwünschte Antworten vermindern) Soll eine ökonomische Datenauswertung ermöglichen Kann weitere Daten wie Bearbeitungsgeschwindigkeit von einzelnen Fragen und des Gesamtscores ermitteln

11 Vergleich der verschiedenen diagnostischen Verfahren
Objektivität Reliabilität Konstruktvalidität soziale Validität ökolog. Validität Ökonomie Test-verfahren + - Interview ? AC

12 Konzeption von pro facts
Die Testpersonen werden einzeln und ohne weitere Hilfsmittel am PC getestet. Die Testdurchführung hat Spielcharakter. In der Ursprungsform wurden zwei Dimensionen mit einem sich überschneidenden Pool von Merkmalen (Module) konstruiert: Sales and Communication sowie Business and Decisions

13

14 Die Testarten Es wurden verschiedene Tests zur Erfassung der verschiedenen Konstrukte verwendet, teilweise auch nur Subskalen von bekannten Tests. Andere Tests wurden modifiziert.

15 Die Tests im einzelnen Leistungstests (Planungskompetenz, Auffassungsgabe, Problemlösen) Objektive Persönlichkeitstests = modifiziert (Anspruchsniveau) Persönlichkeitstests (z.B. Aufgeschlossenheit) – fünfter Faktor des NEO - FFI Projektive Testverfahren: Situationsfragebögen (situative Verhaltensaufgaben) Rollenspiel Elemente aus Planspielen (Eigendynamik, komplexes Regelerkennen)

16 Steuerung der Bearbeitungsgeschwindigkeit
Leistungstests werden mit einer Zeitvorgabe, die der Testperson vorgegeben wird, bearbeitet. Allen anderen Aufgaben soll sich der Proband so intensiv wie möglich widmen, weil ein Bearbeitungsabbruch ein fehlendes Item zur Folge hätte. Deshalb macht ein Feedbacksystem (Uhr) die Testperson auf deutliche Abweichungen von der durchschnittlichen Bearbeitungszeit aufmerksam. Zu kurze Bearbeitungszeiten werden mit Flüchtigkeit oder mangelnder Motivation interpretiert.

17 Stichprobe 204 männliche Teilnehmer des Forschungsgebers,
24 – 60 Jahre alt (MW = 39) Zugehörigkeitsdauer zum Unternehmen (N = 156): 68 Personen < 3 Jahre (=44%), 88 Personen > 3 Jahre (= 56%) 11,4% der Stichprobe waren Verkäufer, bevor sie für den Forschungsgeber tätig wurden Die Untersuchten teilten sich auf 56 Generalagenturen in der Schweiz auf. Das Untersuchungsinstrument wurde in drei Blöcke aufgeteilt: S&C1 S&C2, (n = 30); B&D1 S&C1, (n = 81) B&D2 S&C2, (n = 93); und größeren regionale Einheiten der Agenturen zugeordnet S&C1 S&C2

18 Reliabilität Interne Konsistenz: Zwischen r = .64 und r = .91
Batteriereliabilität je nach Zusammenstellung: Zwischen r = .70 und r = .80 Die Items wurden mit LCA auf stichprobenunabhängige Schwierigkeit geprüft – so kann adaptiv getestet werden

19 Validität Von 189 der 204 getesteten Personen des Forschungsgebers wurden mittels Fragebogen Vorgesetztenurteile erhoben. Nach Ausschluss von Teilpopulationen reduzierte sich die Stichprobe auf n = 65 Mitarbeiter. Der Zusammenhang zwischen den Vorgesetztenurteilen und der vorhergesagten Leistung des Mitarbeiters liegt zwischen r = .73 und r = .81

20 Validität: Korrelation der Kriterien
Für alle betrachteten Mitarbeiter beträgt der Zusammenhang zwischen den Umsatzkennzahlen und den Vorgesetztenurteilen r = .28, für Mitarbeiter, die länger als 3 Jahre im Unternehmen beschäftigt sind, r = .65 n = 83 Vorhersage des Berufserfolgs anhand „monetärer Erfolgskennwerte“: r = .64, n = 83

21 Vorteile von pro facts Hohe Durchführungs- und Auswertungsobjektivität
Einheitlichere Vorgabe von situationsbezogenen Aufgaben als beim Planspiel Module theoriegeleitet und anhand von CI erstellt

22 Vorteile von pro facts Modulartiger Aufbau ermöglicht individuelle Zusammenstellung relevanter Kompetenzen Adaptives Testen möglich Sofort verfügbare Ergebnisse durch automatische Auswertung Erstellung von Soll- Profilen möglich Auswahl der Normstichprobe möglich Aktualisierte Normstichproben per Internet

23 Normierung Prozentrangnormen für: Studierende N = 1500
Versicherungsgesellschaften: Schweiz N = 500 Venezuela N = 120 Bankenbereich N = 150 Einzelhandel N = 100 Chemiebranche/ Telekommunikation: N = 50

24 Nachteile von pro facts
Sozial erwünschte Antworten werden teilweise durch dichotome Alternativen nahegelegt Der multimedia - Effekt beschränkt sich meist auf Bild und Text. Personen mit wenig Erfahrung im Umgang mit Computern haben Nachteile gegenüber Personen mit häufigem PC-Umgang

25 Literatur S. Etzel (1999): Multimediale, computergestützte diagnostische Verfahren: Neue Perspektiven für die Managementdiagnostik; Shaker Verlag, Aachen B. Strauß & M. Kleinmann (Hrsg.) (1995): Computersimulierte Szenarien in der Personalarbeit; Verlag für Angewandte Psychologie, Göttingen D. Dörner (1992): Die Logik des Mißlingens. Strategisches Denken in komplexen Situationen; Rowohlt Verlag, Reinbeck Referat:Computergestütze Diagnostik, , S.Freund,Dozent: F. Spinath