Das Multifacetten-Korrekturverfahren beim DSD

Fehleranfälligkeit bei Leistungsbeurteilungen

Fehleranfälligkeit Metaanalyse von 79 Einzelstudien (Hoyt & Kerns, 1999) 37% der Urteilsvarianz gingen auf Urteilsfehler zurück Bei nicht direkt beobachtbaren Merkmalen (z.B. Fähigkeiten) waren es gar 49% Zeitlich ausgedehnte Beurteilertrainings hatten nicht den angestrebten Effekt

Fehleranfälligkeit

Vorbedingungen 1. Es gibt 4 Kriterien zur Bewertung von SK beim DSD. 2. Die Bewertungs-Skala umfasst 0 bis 6 Punkte. 3. Es existieren drei Aspekte der Beurteilungssituation, die die Bewertung beeinflussen (Facetten): - die Fähigkeit des Kandidaten - die Strenge bzw. Milde des Bewerters - die Schwierigkeit eines einzelnen Kriteriums Ziel ist es, die Fähigkeit des Kandidaten zu isolieren und hierzu die Einflüsse der anderen beiden Facetten zu Eliminieren.

Das Ziel Das Verfahren besteht aus mehreren Schritten. Am Ende steht im Ergebnis eine Bewertung, die ein idealer, durchschnittlich strenger Beurteiler, auf mittelschweren Kriterien abgegeben hätte.

Der Weg – Schritt 1 Alle Elemente jeweils einer Facette werden auf einer Skala angeordnet. Hierfür ist für jede Facette ein gemeinsames Bindeglied notwendig. –Teilnehmerfacette: Anordnung aller Teilnehmer auf einer Skala anhand der mittleren Bewertung (Mittelwert) in den vier Kriterien (Bindeglied: Jeder Teilnehmer ist in den gleichen vier Kriterien bewertet worden) –Kriterienfacette: Anordnung der vier Kriterien auf einer Skala anhand der mittleren Ergebnisse (Mittelwert) aller Teilnehmer in jedem der Kriterien (Bindeglied: Jedes Kriterium hat eine Bewertung von jedem Teilnehmer bekommen) –Beurteilerfacette: Problem – Hier fehlt ein gemeinsames Bindeglied, da jeder Beurteiler andere Teilnehmer beurteilt hat

Schritt 1: Beurteiler Um Beurteiler in Hinblick auf ihre Teilnehmerbewertungen vergleichbar zu machen, muss ein Bindeglied geschaffen werden. Hierfür werden Vergleichsbewertungen eingeführt. Aus dem Testlauf werden 7 Leistungen von Teilnehmern ausgewählt, die exemplarisch das ganze Leistungsspektrum abdecken. Diese 7 Leistungen bekommt jeder der Bewerter zur Beurteilung vorgelegt. Sie bilden den Vergleichsmaßstab für die Anordnung der Beurteiler auf einer Skala von mild nach streng.

Schritt 2 Die 3 Facetten werden auf eine gemeinsame Skala gebracht, um sie miteinander verrechnen zu können. Die 7stufige Skala (Werte 0-6) der Kriterien ist aber in der Realität nicht linear und daher für Rechnungen ungeeignet. Daher werden die Werte in die Logit-Skala transformiert. Dies stellt eine komplizierte Rechnung dar, die im Detail hier nicht erläutert wird. Mit dieser Logit-Skala können jetzt alle Facetten in einem gemeinsamen Raum angeordnet werden (Facettenraum).

Schritt 2: der Facettenraum |Logit|Teilnehmer |Bewerter |Kriterium |Skala| | | | 8 + *** (6) | | |. | | | | | | | |. | | | | | | | |. | | | | | 5 + * | | | *. | | | --- | | 4 + * | | | ***. | | | 5 | | 3 + **** | | | ***. | | | --- | | 2 + ***** | | | ******. | * | | 4 | | 1 + ********. + *** + Korrektheit + | | | *********. | ** | | --- | * 0 * *********. * ******. * SprachMitt * 3 * | | ********. | ****. | Inhalt | | | -1 + *********. + *. + Textaufbau | | | ******. |. | | 2 | | -2 + ****** | | | *****. | | | --- | | -3 + *** | | | **. | | | 1 | | -4 + * | | | *. | | | | | | | |. | | | | | | | |. | | | | | -7 + * (0) | | | |Measr| * = 18 | * = 2 |-Criterion |Scale| Ein * steht für 18 Teilnehmer oder 2 Bewerter Je höher der Logit desto: - besser der Teilnehmer - strenger der Bewerter - schwerer das Kriterium

Schritt 3 die Berechnung Jede einzelne Bewertung jedes Bewerters für jeden Teilnehmer in jedem der Kriterien wird jetzt wie folgt verrechnet: Korrigierter Logit = L(T) + L(B) + L(K) –L(T) Logit des Teilnehmers in dem Kriterium K –L(B) Logit des Beurteilers (Strenge) –L(K) Logit des Kriteriums (Schwierigkeit) Der so ermittelte korrigierte Logit wird dann wieder in die ursprüngliche 7stufige Skala zurück transformiert und ergibt die faire Bewertung des Teilnehmers.

Schritt 3 Veranschaulichung Skala Wir haben unsere 7stufige (0-6) Skala, auf der die Bewerter jedes der Kriterien beurteilen

TeilnehmerBeurteilerKriteriumSkala Teilnehmer, Beurteiler und Kriterien werden auf dieser Skala angeordnet Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala Die Kriterienskala wird in die Logit-Skala umgerechnet um weitere Berechnungen vornehmen zu können Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala Beispiel: Ein Teilnehmer hat in Kriterium X eine Bewertung von 4 Punkten erhalten was einem Logit von ca. 1,3 entspricht Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala Dieser Teilnehmer wurde von einem eher strengen Beurteiler bewertet der einen Logit von 1,0 hat Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala Das Kriterium, in dem der Teilnehmer bewertet wurde, ist ebenfalls ein eher schweres Kriterium mit einem Logit von 1,0 Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala Der Kriteriumslogit wird zum Teilnehmerlogit hinzuaddiert Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala Der Krieriumslogit wird zum Teilnehmerlogit und Bewerterlogit hinzuaddiert Schritt 3 Veranschaulichung

LogitTeilnehmerBeurteilerKriteriumSkala In der Summe entsteht der neue korrigierte Teilnehmerlogit mit einem Wert von 3,2 der umgerechnet in die 7stufige Kriterienskala einem fairen Punktwert von 5 entspricht. Schritt 3 Veranschaulichung

Schritt 3 Genauso wird verfahren wenn die Beurteiler eher milde bzw. die Kriterien eher leicht sind. Nur wird dann der Teilnehmerlogit nach unten statt nach oben verschoben, um eine faire Bewertung zu erhalten Dieses Prozedere wird für jede einzelne Bewertung jedes Beurteilers in jedem Kriterium durchgeführt und aus den dann ermittelten neuen Einstufungen die Gesamtbewertung des Teilnehmers gebildet.