Theorie psychometrischer Tests, I U. Mortensen Mainz, 2009

Experten versus Tests Diagnose ExpertenPsychometr. Tests Professoren, Lehrer, Psychiater, Psychologen etc Intelligenztests Zulassungstest (Medizin, Management, etc) Persönlichkeitstests, etc Urteile: Wissen, Erfahrung Empirisch getestete Gültigkeit und Zuverlässigkeit (Lundberg, 1941)(Sarbin, 1943)

Experten versus Tests Experten – „Kliniker‘‘ SelbstbildFremdbild (Psychometriker) bedeutungsvoll, holistisch, subtil, konfigural, einfühlsam, tief, echt, dynamisch, global, lebensnah, mystisch, transzendent metaphysisch unzuverlässig, grob unverifizierbar vorwissenschaftlich unkontrolliert wirrköpfig Meehl, 1954

Experten versus Tests Meehl, 1954 Psychometriker- „Mechaniker“ SelbstbildFremdbild (Klinker) operational kommunizierbar, objektiv verifizierbar präzise, zuverlässig wissenschaftlich mechanisch atomistisch, additiv künstlich fraktioniert, trivial übersimplifiziert pseudowissenschaftlich pedantisch

Experten versus Tests Empirische Befunde Meehl (1986): Alle Studien sprechen für den psychometrischen, nicht für den „verstehenden Ansatz“ der Experten (Experten: zwischen 50% und 65% korrekt, Psychometriker: 75% bis über 90% korrekt) Dawes (1996): Weitere Studien mit gleichem Befund; Rolle insbesondere psychoanalytisch orientierter Therapeuten, medizinische Prognosen, etc Beispiel: Texas Medical School

Experten versus Tests Gründe für Expertenversagen : Situative Faktoren (Müdigkeit, Veränderung der Konzeptualisierung = Reduktion der Zuverlässigkeit) Mangelnde Validität aufgrund mangelnder Rückkopplung, dh es findet kein Lernen statt Konfirmatorischer Bias (widersprechende Informationen werden nicht zur Kenntnis genommen) Sich selbst erfüllende Prophezeiungen: Gewalttäter - Todesstrafe – tobt in der Zelle

Experten versus Tests Gründe für Expertenversagen: Repräsentativität: (Kahnemann & Tversky, 1974) Mann sei scheu, zurückgezogen, Neigung zu Ordnung und Detail: Ist er Bauer, Handelsvertreter, Pilot, Bibliothekar, Arzt? Häufigste Antwort: Bibliothekar.

Experten versus Tests Gründe für Expertenversagen: Verhalten erscheint vorhersagbar, nachdem es eingetreten ist, - aber nicht vorher! Daher subjektive (Pseudo-)Konsistenz der eigenen Urteile, - Erfahrung wird nicht vermehrt! Experten und mangelnde Repräsentativität der Population, aus der Erfahrung gewonnen wird: Jugendliche Delinquenten und „abweichende EEG-Muster“ – also abweichendes EEG-Muster impliziert Neigung zur Delinquenz. Aber: nicht-delinquente Jugendliche haben ebenso häufig abweichene EEG-Muster!

Experten versus Tests Gründe für Expertenversagen: Grundquotentäuschung (base rate fallacy): Grundquoten (base rates)

Experten versus Tests Gründe für Expertenversagen: Verfügbarkeit (Avaliability) Wahrscheinlichkeit, mit der eine Person ein Merkmal hat, wird nach Maßgabe der Personen mit diesem Merkmal, die man im Gedächtnis hat, abgeschätzt. Merkmale mit großer Salienz (Herzinfarkte) werden besser erinnert als Merkmale mit geringer Salienz.

Aufgabentypen 1.Frage 2.Feststellung 3.Bild Antwortformat: 1.Offen 2.Dichotom/polynom 3.Schätz-(Rating-)Skala 4.Multiple choice Ziel: möglichst 1-deutige Rückschlüsse auf Merkmal ermöglichen!

Grundbegriffe der Testtheorie Objektivität : verschiedene Testleiter kommen zur gleichen Bewertung; hohe Korrelation zwischen verschiedenen Testleitern. Reliabilität : Zuverlässigkeit – die Genauigkeit, mit der ein Merkmal gemessen wird. Validität : Gültigkeit – der Test erfasst das Merkmal, das er erfassen soll. Trennschärfe : der Test differenziert zwischen Personen, die sich durch die Merkmalsausprägung unterscheiden.

Grundbegriffe der Testtheorie Schwierigkeit : Ein Test oder Item ist schwierig bzw leicht, wenn die Beantwortung eine hohe oder geringe Merkmalsausprägung voraussetzt. Homogenität/Heterogenität : Die Items eines Tests sind homogen, wenn sie alle nur ein Merkmal erfassen, andernfalls sind sie heterogen.

Psychometrische Tests Testtheorien Klassische Testtheorie Probabilistische Testtheorie Score wahrer Wert Fehler Item- characteristic- function SchwierigkeitFähigkeit

Klassische Testtheorie (Messfehlertheorie) Wahrer Wert Gewichte Fehler

Klassische Testtheorie (KTT) Beispiele:

Klassische Testtheorie (KTT) Schwierigkeit einer Aufgabe: Anteil bzw. Prozentsatz der Probanden, die die Aufgabe lösen bzw. beantworten. Problem: die Schwierigkeit ist abhängig von der Population, bei der der Test administriert wird, d.h. Der Vergleich von Probanden aus verschiedenen Populationen ist schwierig, wenn nicht unmöglich.

Probabilistische Testtheorie (Item-Response-Theorie, IRT) Ziel: Personenparameter und Itemparameter (= Schwierigkeit) sollen unabhängig voneinander bestimmt werden. Die Schwierigkeit ist ein Merkmal eines Items, unabhängig von den getesteten Personen, der Personenparameter ist unabhängig von den im Test verwendeten Items. Die Bezeichnung ‚Probabilistische Testtheorie‘ ist insofern irreführend, als auch die KTT probabilistisch ist, - der Score ist ja mit einem zufälligen Fehler behaftet.

Spezialfall: deterministisches Antwortverhalten (Guttman-Skalen) Allgemeiner Fall: Probabilistisches Anwortverhalten Monotone Itemfunktionen