Computergestützte Diagnostik Seminar: „Medienunterstützung in der klinisch- psychologischen Intervention“ Leitung: Dipl.-Psych. C. Eichenberg Referentin: Kathrin Heinz Datum: 17.06.2005

Computergestützte Diagnostik 17.06.2005 Übersicht Einleitung - Computer in der Diagnostik Anwendungsbereiche Exkurs: Adaptives Testen Einsatzmöglichkeiten in der Psychologie Das Hogrefe Testsystem Äquivalenz Gütekriteren Probleme und Möglichkeiten Computergestützte Diagnostik Kathrin Heinz

Computer in der Diagnostik 17.06.2005 Computer in der Diagnostik Definition: Computerdiagnostik wird als eine strategische Variante innerhalb der Diagnostik verstanden, um psychologisch relevante Variablen zu erfassen, deren Auswahl zu steuern, die erhaltenen Informationen zu einem Urteil zu verdichten und gegebenenfalls schriftlich und/oder bildlich darzustellen. Computergestützte Diagnostik Kathrin Heinz

Computer in der Diagnostik 17.06.2005 Computer in der Diagnostik Computer könnten in der Diagnostik eine große Hilfe sein, werden aber nur selten eingesetzt. Kritiker sagen dazu: Verarmung der Diagnostik fehlende Vertrautheit mit dieser Technik dass sie Angst haben, der Diagnostiker würde ersetzt Verfechter dagegen: Unterstützung in der Diagnostik Ökonomie Interpretation vielschichtiger Variablen ist möglich Computergestützte Diagnostik Kathrin Heinz

Anwendungsmöglichkeiten des PCs in der Diagnostik 17.06.2005 Anwendungsmöglichkeiten des PCs in der Diagnostik Diagnostikprozess Computermöglichkeiten Datenerhebung Steuerung der Dateneingabe Barcode Reduzierte Tastaturen Lichtgriffel & Touchpad Headset Computergestützte Diagnostik Kathrin Heinz Dateneingabe Testvorgabe Palms Statistik-Pakete Datenauswertung Auswertungs-Algorithmen numerisch Datendarstellung verbal graphisch

Anwendungsmöglichkeiten des PCs in der Diagnostik 17.06.2005 Anwendungsmöglichkeiten des PCs in der Diagnostik Datenerhebung Testvorgabe Diagnostikprozess Computermöglichkeiten Computerunterstützte Tests PaperPencil-Tests Orginäre Computertests - Computer-Simulationen - z.B. Postkorb-Simulationen - Mediumsgerechte Nutzung des PCs - z.B. Adaptives Testen (CAT) Computergestützte Diagnostik Kathrin Heinz

Exkurs: Adaptives Testen 17.06.2005 Exkurs: Adaptives Testen = CAT (=Computergestütztes adaptives Testen) ermöglicht die individuelle Anpassung der Itemdarbietung an die Merkmalsausprägung einer Person. nur die Items zur Beantwortung werden dargeboten, welche dem individuellen Ausprägungsniveau einer Person optimal entsprechen  adaptives (=angepasstes) Testen nur die jeweils „passendsten“ Items werden vorgelegt  deutliche Itemreduktion bei einem gleichzeitig konstant hohen Messpräzisionsniveau Computergestützte Diagnostik Kathrin Heinz

Exkurs: Adaptives Testen 17.06.2005 Exkurs: Adaptives Testen Ziel und Vorteile: Aufgaben sollen dem Leistungsniveau des Probanden angemessen sein Maximale Präzisierung der Schätzung des Personenparameters Bessere Zumutbarkeit Nachteile und Probleme: Die Konstruktion, Erprobung, Kalibrierung der erforderlichen Itemmengen ist mit sehr großem Aufwand verbunden Grundsätzlich steht Adaptivität im Konkurrenz zu Standardisierung Computergestützte Diagnostik Kathrin Heinz

Einsatzmöglichkeiten 17.06.2005 Einsatzmöglichkeiten In der ABO In Klinischer In Verkehrspsychologie Testsysteme Schulpsychologie Computergestützte Diagnostik Kathrin Heinz

Beispiel Das Hogrefe-Testsystem 17.06.2005 Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Äquivalenz Item- und Testkennwerte, die bei der Entwicklung von Papier-Bleistift-Tests entstanden sind, dürfen nur auf die PC-Version übertragen werden, wenn sie äquivalent sind. Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Äquivalenz Arten/Aspekte von Äquivalenz Psychometrische Äquivalenz, bezieht sich auf: Mittelwertsunterschiede Metrische Veränderungen Itemspezifische Unterschiede Veränderungen der Rangfolge der Personen Erfahrungsbezogene Äquivalenz Bezieht sich auf subjektive Komponente Populationsspezifische/individuumsspezifische Äquivalenz Abhängigkeit der Testergebnisse von individuellen und populationsspezifischen Unterschieden und damit auch der Testfairness Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Äquivalenz Befunde Zur Äquivalenz von Leistungstests: fallen sehr unterschiedlich aus Zur Wahrnehmung von Leistungstests: zeigt sich eine Veränderung über die Zeit, dementsprechend, dass die Angstwerte bei der Wahrnehmung der PC-Tests niedriger werden, von Fragebögen: zeigt der größte Teil der Untersuchungen, dass PC-Bearbeitung positive Resonanz hervorruft, erlebte Angst ist in den meisten Fällen NICHT größer Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Äquivalenz Befunde zu differentiellen Effekten: heterogene Befundlage bei der Untersuchung der Effekte von Computervorerfahrung und Einstellung zu Computern Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Äquivalenz Befunde zu populationsspezifischen Effekten: beim Geschlecht: Frauen zeigen mehr Computerängstlichkeit und negative Einstellungen gegenüber Computern, dennoch konnten einige Studien keinen Zusammenhang zwischen Geschlecht und Computerverhalten finden beim Alter: manche Untersuchungen zeigen Alterseffekt, so dass ältere Personen die „ungünstigeren“ Einstellungen zu Computern aufweisen, der Effekt ist aber nicht durchgängig zu finden Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Gütekriterien Objektivität Definition: = das Maß des Gelingens einer Standardisierung des gesamten Testvorgangs Testleiterunabhängigkeit = Durchführungsobjektivität Verrechnungssicherheit = Auswertungsobjektivität Interpretationseindeutigkeit = Interpretationsobjektivität Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Gütekriterien Objektivität + Testleiterunabhängigkeit + Verrechnungssicherheit bei PC-Auswertung IMMER gegeben – Verhaltensbeobachtung nicht möglich – Testleiter-Effekte bei Einführung schon möglich Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Gütekriterien Reliabilität Definition: = Grad der Messgenauigkeit (Präzision) eines Tests, Zuverlässigkeit des Ergebnisses Validität = Test misst, was er messen soll (Inhaltsvalidität, kriterienbezogene Validität, Konstruktvalidität) Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Gütekriterien Normierung Definition: = Berechnen einer Kennzahl, die das Verhältnis des einzelnen Testwertes zu den Ergebnissen einer Stichprobe zum Ausdruck bringt Qualität eines Tests wird daran gemessen, wonach die Normen erstellt worden sind Normierung darf auf keinen Fall einfach übernommen werden Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Gütekriterien Nützlichkeit Definition: = Wenn Test ein Persönlichkeitsmerkmal misst, für dessen Untersuchung ein praktisches Bedürfnis besteht. wenn er durch keinen anderen ersetzt werden kann testtheoretischer Hauptaspekt !!  Computersimulation ist durch keinen anderen zu ersetzen  alle Tests, die mediumsgerecht entwickelt werden, sind äußerst nützlich!! Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Gütekriterien Ökonomie = kurze Bearbeitungszeit, wenig Material, einfache Handhabung, auch für die Gruppe, schnelle Auswertung Zumutbarkeit = zeitliche, psychische und körperliche Beanspruchung der Tp Verfälschbarkeit = Undurchschaubarkeit des Messprinzips Fairness = systematische Benachteiligung bestimmter Testpersonen Skalierung probabilistisches Kriterium Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Gütekriterien Nützlichkeit Testleiterunabhängigkeit Verrechnungssicherheit Adaptives Testen Normierung Skalierung Finanzieller Aufwand Mangelnde Fairness Erfahrungsunabhängigkeit Zumutbarkeit Validität Reliabilität Interpretationseindeutigkeit Verfälschbarkeit Vorteile Nachteile gleichbleibend Computergestützte Diagnostik Kathrin Heinz

Probleme und Möglichkeiten 17.06.2005 Probleme und Möglichkeiten Juristische Probleme Datenschutz Bewertungs- und Anwendungsvalidität Besonders wichtig beim Adaptiven Testen Anwenderschnittstelle Anwenderschnittstellendesign (=ASD) beinhaltet Effektive Präsentationsergonomie (Farbe, …) Muss an Tp in Testsituation angepasst sein Muss psychometrische Ziele verstehen und respektieren  führt zu folgenden Testsituationsergebnissen: Testfragen müssen schnell zu beantworten sein Eingabefehler müssen eliminiert/reduziert werden Subjektive Zufriedenheit muss hoch sein Pb soll vertraut werden mit der Technologie Datenverarbeitung hilft Diagnostiker enorm, wenn er sie effektiv und verantwortlich einsetzt Computergestützte Diagnostik Kathrin Heinz

Computergestützte Diagnostik 17.06.2005 Literaturangabe Becker, J. (2004). Computergestütztes Adaptives Testen (CAT) von Angst entwickelt auf der Grundlage der Item Response Theorie (IRT). Verfügbar unter: www.diss.fu-berlin.de/2004/209/becker.pdf [07.06.2005]. Booth, J. (1992). Computerdiagnostik. In R.S. Jäger. & F. Petermann (Hrsg.), Psychologische Diagnostik (S. 186-197). Weinheim: Beltz. Fisseni, H.-J. (2004). Lehrbuch der psychologischen Diagnostik. Göttingen: Hogrefe. Hageböck, J. (1994). Computerunterstützte Diagnostik in der Psychologie (S. 1-54). Göttingen: Hogrefe. Hänsgen, K.D. (1998). Computerbasierte Psychodiagnostik heute und morgen. In D. Imoberdorf (Hrsg.), Psychodiagnostik von Individuen, Gruppen und Organisationen (S. 25-45). Stuttgart: Hitzel. Klinck, D. (2002). Computergestützte Diagnostik (S. 11-37). Göttingen: Hogrefe. Kubinger, K.D. (1993). Testtheoretische Probleme der Computerdiagnostik. Zeitschrift für Arbeits- und Organisationspsychologie, 37 (3), 130-137. Kubinger, K.D. (1993). Vor- und Nachteile der Computerdiagnostik. Psychologie in Östereich, 1-2, 25-29. Lienert, G. & Raatz, U. (1994). Testaufbau und Testanalyse. Weinheim: Beltz. Computergestützte Diagnostik Kathrin Heinz