Reliabilität von Ratings

Präsentation zum Thema: "Reliabilität von Ratings"—  Präsentation transkript:

1 Reliabilität von Ratings
Logik der 2-Weg-Varianzanalyse für die Berechnung von Intraklassenkorrelationen

2 Reliabilität von Ratings – ein Beispiel

3 Reliabilität von Ratings
Reliabilität von Ratings – ein Beispiel Ebel- und Horst-Koeffizient und Reliabilität eines typischen Raters WS01-02 Reliabilität von Ratings

4 Reliabilität von Ratings
1. Ebel-Koeffizient (Frage nach Abstands- und Relationsgleichheit) N Proben (oder Personen) k Rater WS01-02 Reliabilität von Ratings

5 N Proben (oder Personen)
1. Ebel-Koeffizient (Frage nach Abstands- und Relationsgleichheit) N Proben (oder Personen) k Rater N Proben (oder Personen) k Rater Wenn gleiches Urteil der Rater bezügl. Abstand u. Relation dann: 1 2 3 für eine Probe P Xp1 Xp2 Xp3 für jede Probe Abstände jeweils 6 und 2, Relation jeweils 2 Beispiel für P 2 4 6 4 = 12 / 3 3 * 4 8 10 12 3 * 10 14 eine mittlere Probe für eine mittlere Probe für die Varianz aller Proben Quadratsumme Vp = QSp / N-1 = QS / df Varianz Beurteilen Rater nicht vergleichbar, dann ergibt sich Fehlervarianz. Diese ist hier die gesamte Restvarianz (Ve = Vtotal-Vp-Vr). Reliabilitätsdefinition: rkk(E) zeigt den %-Satz, zu dem die Ratings hinsichtlich Abstände und Relationen austauschbar sind, d.h. inwiefern die Proportionen übereinstimmen (Proportionalitätsindex), nicht aber, in wiefern die Niveaus der Rater übereinstimmen.

6 Reliabilität von Ratings
2. HORST-Koeffizient (für Frage nach Niveaugleichheit) N Proben (oder Personen) k Rater WS01-02 Reliabilität von Ratings

7 Reliabilität von Ratings
3. Reliabilität eines typischen Raters N Proben (oder Personen) k Rater WS01-02 Reliabilität von Ratings

8 Reliabilität von Ratings
Anhang: Herleitung der Rechenformeln in 2-Weg-Varianzanalyse Noch zu beweisen ist: WS01-02 Reliabilität von Ratings

9 Reliabilität von Ratings
Anhang: Herleitung der Rechenformeln in 2-Weg-Varianzanalyse WS01-02 Reliabilität von Ratings

10 Reliabilität von Ratings
Anhang: Herleitung der Rechenformeln in 2-Weg-Varianzanalyse WS01-02 Reliabilität von Ratings