Einführung in die Psychologische Diagnostik Prof. Dr Einführung in die Psychologische Diagnostik Prof. Dr. Lothar Schmidt-Atzert Fachbereich Psychologie, Philipps-Universität Marburg

Überblick Die Gütekriterien diagnostischer Verfahren Kombination von Verfahren Zielsetzung (Vortrag): einzelne Auswahlverfahren beurteilen können gesamte Auswahlprozedur bewerten können (bei Kombination von Verfahren)

Gütekriterien: Ausgangslage Zur Auswahl von Studierenden stehen unterschiedliche Verfahren zur Verfügung Gesamtnote Abitur (gewichtete) Einzelnoten spezifische Studierfähigkeitstests Auswahlgespräche alle können nach einheitlichen Maßstäben (Gütekriterien) beurteilt und sind damit vergleichbar!

Gütekriterien: Übersicht Objektivität Reliabilität (Messgenauigkeit) Validität (Gültigkeit der Messung) Nebengütekriterien (Ökonomie etc.)

Objektivität „Wenn ich mein Abitur an einer anderen Schule gemacht hätte, wären meine Noten bestimmt besser gewesen“ „Ich hatte Pech mit dem Prof., der mich interviewt hat“  Aussage: das Ergebnis hängt von den Umständen ab, unter denen es gewonnen wird

Definition Objektivität Grad, in dem die Ergebnisse eines diagostischen Verfahrens unabhängig vom Untersucher sind drei Teilaspekte: Durchführung der Messung Auswertung der „Antworten“ Interpretation der Ergebnisse

Durchführung: Fehlerquellen unterschiedliche Aufgaben stellen (Schule A – Schule B) die Personen unterschiedlich freundlich behandeln im Interview unterschiedliche Fragen stellen Testaufgaben in unterschiedlicher Reihenfolge vorgeben unterschiedlich viel Bearbeitungszeit gewähren

Auswertung: Fehlerquellen zwei Interviewer bewerten die gleiche Antwort unterschiedlich zwei Schulen geben unterschiedlich viele Punkte für eine richtige Lösung Hilfskraft macht Fehler beim Addieren der richtigen Lösungen

Interpretation: Fehlerquellen trotz gleicher Anzahl richtiger Lösungen unterschiedliche Noten geben (an zwei Schulen)

Maßnahmen zur Sicherung der Objektivität Standardisierung der Durchführung (z.B. schriftliche Instruktion, Aufgaben/Fragen immer die gleichen …) der Auswertung (Schablonen, Liste mit richten und falschen Antworten, … der Interpretation (feste Bewertungsregel, …)

Wie erkennt man die Objektivität? an den Maßnahmen zur Standardisierung bei nicht ganz eindeutigen Auswertungsregeln (insbes. Interview) an der Übereinstimmung der Beurteiler

Kontrollfragen zur Objektivität bei welchem Auswahlverfahren ist es schwierig, die Durchführung zu standardisieren? bei welchem ist es schwierig, die Auswertung zu standardisieren?

Bedeutung der Objektivität  Wenn das Auswahlverfahren unterschiedlich abläuft, fühlen sich Bewerber unfair (ungleich) behandelt.  Mängel in der Objektivität wirken sich negativ auf die Reliabität und Prognosegüte des Auswahlverfahrens aus.

Reliabilität (Messgenauigkeit) „Ich hatte Glück. Bei vielen Fragen habe ich einfach richtig geraten.“ „Im Rechentest kamen Aufgaben vor, die mit den anderen Aufgaben kaum etwas zu tun hatten.“

Reliabilität (Messgenauigkeit) Eine Wiederholung der Messung führt zum gleichen Ergebnis (stabiles Merkmal vorausgesetzt, keine Übungseffekte). Bei Verwendung vieler Aufgaben/Fragen erfassen alle Aufgaben/Fragen das gleiche Merkmal – die Leistung in der einen Aufgabe hängt mit der in der anderen zusammen.

Definition Reliabilität Grad der Genauigkeit, mit der ein diagnostisches Verfahren ein Merkmal misst

Reliabilität: Fehlerquellen schlechte Konstruktion des Verfahrens ungünstige Aufgaben/Fragen zu wenige Aufgaben/Fragen

Maßnahmen zur Sicherung der Reliabilität (Konstrukteur) statistische Analyse der Aufgaben/Fragen Verwerfung ungünstiger Aufgaben/Fragen (erkennbar an Kennwerten) hinreichend viele Aufgaben/Fragen verwenden

Wie erkennt man die Reliabilität? empirisch ermittelte Kennwerte (insbes. Cronbach´s Alpha, Retestreliabilität) Werte liegen zwischen 0 und 1 liegen bei guten Leistungstests über .90

Kontrollfrage zur Reliabilität Ein Auswahlverfahren soll aus ökonomischen Gründen möglichst kurz sein. Welches Problem kann man sich damit einkaufen?

Bedeutung der Reliabilität  Ein hohe Reliabilität bedeutet, dass das Messergebnis kein Zufallsergebnis ist, sondern im Prinzip immer wieder so replizierbar wäre. Eine hohe Reliabität ist leider keine Garantie für eine hohe Validität (siehe unten).

Validität (Gültigkeit) „Mein schlechtes Abiturzeugnis sagt doch nichts darüber aus, ob ich das Studium schaffe.“ „Mit diesen Testaufgaben wollen die feststellen, ob ich für das Studium geeignet bin – das kann doch nicht funktionieren!“

Definition Validität Grad, in dem das diagnostische Verfahren das misst, was es messen soll drei Teilaspekte: Inhaltsvalidität (die Aufgaben repräsentieren den Messgegenstand) Kriteriumsvalidität (z.B. Vorhersage von Studienerfolg) Konstruktvalidität (misst der Test vielleicht nur die Intelligenz?)

Validität: Fehlerquellen bei Konstruktion Test- oder Interviewkonstruktion nicht auf begründeten Anforderungen basiert vorliegende wissenschaftliche Befunde nicht genutzt

Validität: Fehlerquellen bei der Auswahl eines Verfahrens vorgelegte Befunde falsch interpretiert - ungeeignetes Kriterium - Durchführungsbedingung inadäquat - Stichprobe zu klein - inadäquate Stichprobe - Korrektur nicht beachtet bessere Alternativen nicht beachtet

Maßnahmen zur Sicherung der Validität (Konstrukteur) anforderdungsbezogen vorgehen vorhandene wissenschaftliche Erkenntnisse nutzen Objektivität und Reliabilität sicherstellen Verfahren evaluieren und verbessern

Wie erkennt man die Validität? empirisch ermittelter Zusammenhang zwischen Prädiktor und Kriterium (meist Korrelationen) Werte liegen zwischen 0 und 1. Hohe Kriteriumsvaliditäten liegen bei guten Leistungstests um .50. Kriterium beachten!

Kontrollfrage zur Validität Ein Studierfähigkeitstest korreliert .40 mit den Noten im Diplom. Die Abiturnote korreliert .45 mit der Klausur im Fach Methodenlehre. Welches Verfahren ist der beste Prädiktor für Studienerfolg?

Bedeutung der Validität Bei Auswahlverfahren ist die Kriteriums- validität der wichtigste Kennwert. Beachten: welches Kriterium? welche Stichprobe? korrigierte Koeffizienten angegeben? (fallen meist höher aus als unkorrigierte)

Bedeutung der Validität Hat ein Auswahlverfahren eine hohe Kriteriumsvalidität, werden die danach ausgewählten Bewerber später hohe Kriteriumswerte (Studienerfolg) aufweisen! Jeder Abstrich bei der Kriteriumsvalidität wird mit niedrigeren Kriteriumswerte bezahlt (schlechterer Studienerfolg).

Rechenbeispiel jedes Jahr 300 Bewerber, 100 Studienplätze 80 Prozent der Bewerber sind geeignet Kriterium = schließt Studium erfolgreich ab Validität Erfolgreiche Verfahren 1: r = .30  89.1 % Verfahren 2: r = .50  94.3 %  bei Verfahren 2 jedes Jahr 5 Erfolgreiche mehr!

weiteres Rechenbeispiel jedes Jahr 500 Bewerber, 100 Studienplätze 70 Prozent der Bewerber sind geeignet Kriterium = schließt Studium erfolgreich ab Validität Erfolgreiche Verfahren 1: r = .30  83.6 % Verfahren 2: r = .50  91.4 %  bei Verfahren 2 jedes Jahr 8 Erfolgreiche mehr!

Vorsicht bei zu wenig Bewerbern! jedes Jahr 120 Bewerber, 100 Studienplätze 80 Prozent der Bewerber sind geeignet Kriterium = schließt Studium erfolgreich ab Validität Erfolgreiche Verfahren 1: r = .30  82.9 % gegenüber Zufallsauswahl jedes Jahr nur 3 Erfolgreiche mehr Quelle: Berechnungen nach Taylor-Russell Modell unter http://www.hr-guide.com/data/G906.htm

einige „Nebengütekriterien“ Ökonomie (Preis, Zeitaufwand) Akzeptanz (bei Bewerbern, in der Öffentlichkeit) Fairness (keine Benachteiligung bestimmter Gruppen) Verfälschbarkeit (Ergebnis allein Ausdruck der Eignung)

Kombination diagnostischer Informationen unterschiedliche Urteilsmodelle Auswahl nach einem Verfahren Auswahl nach zwei oder mehr Verfahren Gesamtwert mit Gewichtung Schwellen bei jedem Verfahren

Auswahl nach einem Verfahren Wenn keine Probleme bei der Objektivität und den Nebengütekriterien bestehen, das Verfahren mit der höchsten prognostischen Validität wählen. Die Reliabilität kann weitgehend vernachlässigt werden.

Auswahl nach mehreren Verfahren (z.B. Abitur und Test) Bei Kombination mehrerer Prädiktoren kann die Validität nur gleich bleiben oder zunehmen. die inkrementelle Validität (Zunahme an Validität) beachten Beispiel: Abiturnote: r =.40 r2= 16.0% Verfahren x: r =.41 r2= 16.8% Abi. + Verfahren x : R = .42 R2= 17.6% (+1.6%) inkrementelle Validität gering, wenn die Prädiktoren hoch korrelieren (ähnliches messen) Anstieg der Validität u. U. so gering, dass sich der erhöhte Aufwand nicht lohnt

Auswahl nach mehreren Verfahren (z.B. Abitur und Test) Beide Verfahren können simultan verwertet werden (Kombination). Alternative: sukzessiv mit Mindestwerten im ersten Verfahren

Beispiel erst nach Abiturnote auswählen – mind. Note 1.8 die vorausgelesenen Personen nach Testwert auswählen (z.B. die besten 100 nehmen) fiktives Zahlenbeispiel: 500 Bewerber 150 mit Note 1.8 oder besser testen 100 annehmen, 50 ablehnen

Fazit die Gütekriterien machen Verfahren beurteilbar und untereinander vergleichbar zentral ist die Kriteriumsvalidität diese ist nicht ganz einfach zu beurteilen (Kriterium, Stichprobe, Korrekturen, …) Objektivität und Nebengütekriterien auch beachten