Präsentation herunterladen
Die Präsentation wird geladen. Bitte warten
Veröffentlicht von:Waldo Ames Geändert vor über 10 Jahren
1
Das Multifacetten-Korrekturverfahren beim DSD
2
Fehleranfälligkeit bei Leistungsbeurteilungen
3
Fehleranfälligkeit Metaanalyse von 79 Einzelstudien (Hoyt & Kerns, 1999) 37% der Urteilsvarianz gingen auf Urteilsfehler zurück Bei nicht direkt beobachtbaren Merkmalen (z.B. Fähigkeiten) waren es gar 49% Zeitlich ausgedehnte Beurteilertrainings hatten nicht den angestrebten Effekt
4
Fehleranfälligkeit
6
Vorbedingungen 1. Es gibt 4 Kriterien zur Bewertung von SK beim DSD. 2. Die Bewertungs-Skala umfasst 0 bis 6 Punkte. 3. Es existieren drei Aspekte der Beurteilungssituation, die die Bewertung beeinflussen (Facetten): - die Fähigkeit des Kandidaten - die Strenge bzw. Milde des Bewerters - die Schwierigkeit eines einzelnen Kriteriums Ziel ist es, die Fähigkeit des Kandidaten zu isolieren und hierzu die Einflüsse der anderen beiden Facetten zu Eliminieren.
7
Das Ziel Das Verfahren besteht aus mehreren Schritten. Am Ende steht im Ergebnis eine Bewertung, die ein idealer, durchschnittlich strenger Beurteiler, auf mittelschweren Kriterien abgegeben hätte.
8
Der Weg – Schritt 1 Alle Elemente jeweils einer Facette werden auf einer Skala angeordnet. Hierfür ist für jede Facette ein gemeinsames Bindeglied notwendig. –Teilnehmerfacette: Anordnung aller Teilnehmer auf einer Skala anhand der mittleren Bewertung (Mittelwert) in den vier Kriterien (Bindeglied: Jeder Teilnehmer ist in den gleichen vier Kriterien bewertet worden) –Kriterienfacette: Anordnung der vier Kriterien auf einer Skala anhand der mittleren Ergebnisse (Mittelwert) aller Teilnehmer in jedem der Kriterien (Bindeglied: Jedes Kriterium hat eine Bewertung von jedem Teilnehmer bekommen) –Beurteilerfacette: Problem – Hier fehlt ein gemeinsames Bindeglied, da jeder Beurteiler andere Teilnehmer beurteilt hat
9
Schritt 1: Beurteiler Um Beurteiler in Hinblick auf ihre Teilnehmerbewertungen vergleichbar zu machen, muss ein Bindeglied geschaffen werden. Hierfür werden Vergleichsbewertungen eingeführt. Aus dem Testlauf werden 7 Leistungen von Teilnehmern ausgewählt, die exemplarisch das ganze Leistungsspektrum abdecken. Diese 7 Leistungen bekommt jeder der Bewerter zur Beurteilung vorgelegt. Sie bilden den Vergleichsmaßstab für die Anordnung der Beurteiler auf einer Skala von mild nach streng.
10
Schritt 2 Die 3 Facetten werden auf eine gemeinsame Skala gebracht, um sie miteinander verrechnen zu können. Die 7stufige Skala (Werte 0-6) der Kriterien ist aber in der Realität nicht linear und daher für Rechnungen ungeeignet. Daher werden die Werte in die Logit-Skala transformiert. Dies stellt eine komplizierte Rechnung dar, die im Detail hier nicht erläutert wird. Mit dieser Logit-Skala können jetzt alle Facetten in einem gemeinsamen Raum angeordnet werden (Facettenraum).
11
Schritt 2: der Facettenraum +------------------------------------------------+ |Logit|Teilnehmer |Bewerter |Kriterium |Skala| |-----+------------+---------+-------------+-----| | 8 + ***. + + + (6) | | |. | | | | | 7 +. + + + | | |. | | | | | 6 +. + + + | | |. | | | | | 5 + *. + + + | | | *. | | | --- | | 4 + *. + + + | | | ***. | | | 5 | | 3 + ****. + + + | | | ***. | | | --- | | 2 + *****. +. + + | | | ******. | * | | 4 | | 1 + ********. + *** + Korrektheit + | | | *********. | ** | | --- | * 0 * *********. * ******. * SprachMitt * 3 * | | ********. | ****. | Inhalt | | | -1 + *********. + *. + Textaufbau + --- | | | ******. |. | | 2 | | -2 + ******. +. + + | | | *****. | | | --- | | -3 + ***. + + + | | | **. | | | 1 | | -4 + *. + + + | | | *. | | | | | -5 +. + + + | | |. | | | | | -6 +. + + + | | |. | | | | | -7 + *. + + + (0) | |-----+------------+---------+-------------+-----| |Measr| * = 18 | * = 2 |-Criterion |Scale| +------------------------------------------------+ Ein * steht für 18 Teilnehmer oder 2 Bewerter Je höher der Logit desto: - besser der Teilnehmer - strenger der Bewerter - schwerer das Kriterium
12
Schritt 3 die Berechnung Jede einzelne Bewertung jedes Bewerters für jeden Teilnehmer in jedem der Kriterien wird jetzt wie folgt verrechnet: Korrigierter Logit = L(T) + L(B) + L(K) –L(T) Logit des Teilnehmers in dem Kriterium K –L(B) Logit des Beurteilers (Strenge) –L(K) Logit des Kriteriums (Schwierigkeit) Der so ermittelte korrigierte Logit wird dann wieder in die ursprüngliche 7stufige Skala zurück transformiert und ergibt die faire Bewertung des Teilnehmers.
13
Schritt 3 Veranschaulichung Skala 6 5 4 3 2 1 0 Wir haben unsere 7stufige (0-6) Skala, auf der die Bewerter jedes der Kriterien beurteilen
14
TeilnehmerBeurteilerKriteriumSkala 6 5 4 3 2 1 0 Teilnehmer, Beurteiler und Kriterien werden auf dieser Skala angeordnet Schritt 3 Veranschaulichung
15
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 Die Kriterienskala wird in die Logit-Skala umgerechnet um weitere Berechnungen vornehmen zu können Schritt 3 Veranschaulichung
16
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 Beispiel: Ein Teilnehmer hat in Kriterium X eine Bewertung von 4 Punkten erhalten was einem Logit von ca. 1,3 entspricht Schritt 3 Veranschaulichung
17
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 Dieser Teilnehmer wurde von einem eher strengen Beurteiler bewertet der einen Logit von 1,0 hat Schritt 3 Veranschaulichung
18
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert Schritt 3 Veranschaulichung
19
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert Schritt 3 Veranschaulichung
20
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 Das Kriterium, in dem der Teilnehmer bewertet wurde, ist ebenfalls ein eher schweres Kriterium mit einem Logit von 1,0 Schritt 3 Veranschaulichung
21
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 Der Kriteriumslogit wird zum Teilnehmerlogit hinzuaddiert Schritt 3 Veranschaulichung
22
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 Der Krieriumslogit wird zum Teilnehmerlogit und Bewerterlogit hinzuaddiert Schritt 3 Veranschaulichung
23
LogitTeilnehmerBeurteilerKriteriumSkala 8 7 6 5 4 3 2 1 0 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0 In der Summe entsteht der neue korrigierte Teilnehmerlogit mit einem Wert von 3,2 der umgerechnet in die 7stufige Kriterienskala einem fairen Punktwert von 5 entspricht. Schritt 3 Veranschaulichung
24
Schritt 3 Genauso wird verfahren wenn die Beurteiler eher milde bzw. die Kriterien eher leicht sind. Nur wird dann der Teilnehmerlogit nach unten statt nach oben verschoben, um eine faire Bewertung zu erhalten Dieses Prozedere wird für jede einzelne Bewertung jedes Beurteilers in jedem Kriterium durchgeführt und aus den dann ermittelten neuen Einstufungen die Gesamtbewertung des Teilnehmers gebildet.
Ähnliche Präsentationen
© 2024 SlidePlayer.org Inc.
All rights reserved.