 Gegenstandsbereich der Testtheorie: Analyse der Charakteristika von Tests:  Güte von Tests.  Struktur von Tests.  Schwierigkeit von Tests.  Gruppenunterschiede. Kapitel 2: Testtheorie / Testmodelle

 Moderne Testtheorie: Vorgehensweise:  Erstellen eines Testmodells.  Testung der Gültigkeit des Modells.  Prüfung der Testcharakteristika auf der Basis des spezifizierten (und geprüften) Modells. Kapitel 2: Testtheorie / Testmodelle

 Bemerkungen zur Spezifikation bzw. Charakterisierung von Testmodellen:  Mentale Konstrukte beeinflussen Tests, sonst ist der Test wertlos. Bemerkung: Gilt für jede Art von Messung. Kann als definitorisches Merkmal gelten.  Für die Messung ist auch die Beziehung zwischen den Komponenten des Konstrukts von Bedeutung (z.B. lassen sich diese überhaupt getrennt messen?). Kapitel 2: Testtheorie / Testmodelle

 Bemerkungen zur Spezifikation bzw. Charakterisierung von Testmodellen:  Messfehler umfasst alle ungemessenen Einflüsse.  Problem: Messfehler und homomorphe Abbildung.  Problem: Ignorierung und Minimierung von Messfehler. Kapitel 2: Testtheorie / Testmodelle

 Bemerkungen zur Spezifikation bzw. Charakterisierung von Testmodellen:  Damit das Messmodell als Grundlage für die Beurteilung eines Tests dienen kann, muss geprüft werden, ob es approximativ korrekt ist, d.h. die Messsituation ungefähr korrekt beschreibt.  Falls das Modell nicht approximativ korrekt ist, so ist es wertlos. Kapitel 2: Testtheorie / Testmodelle

 Unterscheidung: Ältere und moderne Testtheorie:  Unterschiedliche Komplexität der Test- modelle.  Prüfung der Gültigkeit von Testmodellen.  Unterschiede in der Praxis: Moderne Testtheorie modelliert, ältere Testtheorie beruht im Wesentlichen auf der Berechnung von Koeffizienten (ohne Prüfung der Gültigkeit der Bedingungen). Kapitel 2: Testtheorie / Testmodelle

 Vorteile der modernen Testtheorie gegenüber der älteren:  Testmodell enthält alle Annahmen  transparent und kritisierbar.  Die Zusammenfassung aller Annahmen im Testmodell erleichtert das Verständnis verschiedener Konzepte:  Axiome der klassischen Testtheorie.  Gütekriterien und Koeffizienten. Kapitel 2: Testtheorie / Testmodelle

 Vorteile der modernen Testtheorie gegenüber der älteren:  Voraussetzungen der Anwendung von Koeffizienten kann geprüft werden.  Es existieren effiziente Schätzverfahren für die Modelle (durch die Arbeiten von Karl Jöreskog). Damit können auch komplexe Testmodelle geschätzt werden. Kapitel 2: Testtheorie / Testmodelle

 Messmodelle / Testmodelle: Bsp.1: Randomisierte Response-Technik:

Kapitel 2: Testtheorie / Testmodelle  Messmodelle / Testmodelle: Bsp.2: Ratekorrektur bei multiple-choice Tests:

Kapitel 2: Testtheorie / Testmodelle  Wichtige Konzepte:  Variable / Parameter / Konstante  Populationsparameter vs. (Stichproben-) Kennwert (=Statistik)  Notationskonvention:  Parameter: , , , ,   Stichprobenkennwerte:  Schätzer:  Schätzer sind auch Stichprobenkennwerte

Kapitel 2: Testtheorie / Testmodelle  Beispiele für Stichprobenkennwerte:  Mittelwert:  Streuung:  Korrelationskoeffizient:

Kapitel 2: Testtheorie / Testmodelle  Stichprobenkennwerte als Schätzer der Populationsparameter:  Gütekriterien für Schätzer: z.B. «erwartungstreuer Schätzer»  Bsp.: Stichprobenmittelwert ist ein erwartungstreuer Schätzer des Populationsmittelwerts (Beweis!)

Kapitel 2: Testtheorie / Testmodelle  Modelle sind Gleichungssysteme, in Symbolen:  Die  i (theta) sind hierbei Parameter einer Verteilung und die  i (xsi) sind die Modellparameter. Die f i sind nicht näher spezifizierte Funktionen.

Kapitel 2: Testtheorie / Testmodelle Prinzip der statistischen Modellierung: Es werden Parameter einer Verteilung modelliert, nicht die Beobachtungen direkt.

Kapitel 2: Testtheorie / Testmodelle Fragen: 1.Warum werden mit Hilfe eines Messmodells nicht die Messungen direkt modelliert? 2.Welchen Sinn macht es, die Parameter der Verteil­ungen mittels Modellen, die selbst wieder Parame­ter besitzen zu modellieren? 3.Warum darf die Anzahl der Parameter m im Modell nicht grösser sein als die Anzahl p der Verteilungs­parameter?

Kapitel 2: Testtheorie / Testmodelle Antworten: 1.Die Beobachtungen (Messungen) sind zufällig. Es kann nur der Zufallsprozess modelliert werden. Dies erfolgt mittels Verteilungen. 2.Das Ziel der Modellierung besteht in der Vereinfachung der Ausgangsverteilung (vereinfachte Repräsentation des Zufallspro- zesses. 3.Um eine Vereinfachung zu erzielen, muss die Zahl der Modellparameter geringer sein als jene der Ausgangsverteilung.

Kapitel 2: Testtheorie / Testmodelle Beispiel: Regressionsmodell:  Beobachtungen: Paare von Beobachtungen:  Modellgleichungen:

Kapitel 2: Testtheorie / Testmodelle Beispiel: Regressionsmodell:  Schätzung der Parameter mit Hilfe der Methode der kleinsten Quadrate: Suche jene Werte der Parameter  und , sodass, die Summe der quadrierten Residuen minimal wird:

Kapitel 2: Testtheorie / Testmodelle Beispiel: Regressionsmodell:  Problem des Ansatzes: Hierbei handelt es sich nicht um eine statistische Modellierung, sondern um ein ad-hoc Verfahren.  Statistische Modellierung: 1.Verteilung der Beobachtungen:  [unabhängig] 2.Modellierung:

Kapitel 2: Testtheorie / Testmodelle Beispiel: Regressionsmodell:  Statistische Modellierung: 1.Verteilung der Beobachtungen:  [unabhängig] 2.Modellierung: