Auswahl von Aufgabenformaten und Formulierung von Items Seminar: Testtheorie und Testkonstruktion Referenten: Annekathrein Frenkel, Sara Dürr 10.05.06

Gliederung Einführung Hauptteil Schlussteil Definition: Aufgabenformate (auch: Aufgabentypen) Hauptteil Darstellung der verschiedenen Aufgabenformate Vor- und Nachteile der jew. Aufgabenformate Leitfaden Formatauswahl Leitfaden Itemkonstruktion Mögliche Biases Schlussteil Fragen???

Lernziele Was sind die Vor- und Nachteile der verschiedenen Aufgabenformate? Was ist bei der Konstruktion von Testitems zu beachten? Mit welchen biases (wie z.B. der Antwort-tendenz) muss man u. U. rechnen?

Was ist ein Aufgabenformat? Die Art und Weise, in der die Beantwortung einer Testaufgabe erfolgt

Man unterscheidet… Gebundene Aufgabenformate Freie Aufgabenformate = es sind festgelegte Antwortkategorien vorgegeben Freie Aufgabenformate = die Aufgabenbeantwortung erfolgt frei oder teilstrukturiert (Teile der Lösung sind vorgegeben)

Gebundene Aufgabenformate 1. Richtig-Falsch-Aufgaben (RF-Aufg.) 2. Mehrfach-Wahl-Aufgaben (MF-Aufg.) 3. Zuordnungsaufgaben (ZO-Aufg.) 4. Umordnungsaufgaben (UO-Aufg.)

1. Richtig-Falsch-Aufgaben Bestehend aus nur zwei Antwortmöglich-keiten (Richtig-Falsch, Ja-Nein etc.) Oft verwendet z.B. in Leistungs- oder Persön-lichkeitstests Beispiel: Ich gehe abends gerne aus stimme zu – stimme nicht zu

Vorteile – Nachteile Bearbeitungs-, Auswertungs- und Lösungszeit meist kurz i.d.R. leichtes Verständnis der Testinstruktionen Formulierungsschwierig-keiten (Notwendigkeit eindeutiger Beantwortung) Hoher Prozentsatz an Zufallslösungen mögl. (bis 50%) Wenig differenzierte Information Hinweise für eine erhöhte Ja-Sage-Tendenz z.B. Krosnick, 1999. S.552

2. Mehrfach-Wahl-Aufgaben Bestehend aus mehr als zwei Antwortalternativen (z.B. multiple-Choice-Aufg.) Eine Bestantwort (Attraktor) + mehrere Alternativantworten (Distraktoren) (für letztere gelten die Kriterien der Plausibilität und der Gleichwertigkeit) Insbesondere in Wissens- oder Intelligenztests In der modernen Testkonstruktion absolut vorherrschend Sonderform: Ratingskalen

Beispiel einer MW-Aufgabe In einem Test kann man verschiedene Aufgabenarten verwenden. Welche der folgenden Aufgabenarten haben ein gebundenes Antwortformat? Multiple-Choice-Items Ergänzungsaufgaben Ratingskala Zuordnungsaufgaben Kurzaufsatzaufgaben

Vorteile – Nachteile Ökonomische Durch- und Ausführung Relative Zufallsunabhängigkeit Durch die Anzahl der Antwortalternativen wirkt sich das Raten weniger auf das Testergebnis aus Bei Ratingskalen: Differenziertheit der Antworten Problem: Antwortalternativen? Plausibilität und Gleichwertigkeit Lediglich Wieder-erkennen von Material, keine Reproduktion Nicht für alle Konstrukte sinnvoll (z.B. Kreativität)

3. Zuordnungsaufgaben Zeichen oder Inhalte werden anderen Zeichen oder Inhalten zugeordnet Z.B. in Wissens- oder Leistungstest Beispiel: Was wurde von wem geschrieben? Die Räuber Süßkind Werthers Leiden Goethe Faust Schiller Das Parfum Mann

Vorteile – Nachteile Problem: Antwortalternativen? Lediglich Wieder-erkennen von Material, keine Reproduktion Nicht für alle Konstrukte sinnvoll (z.B. Kreativität) Ökonomische Durch- und Ausführung Relative Zufallsunabhängig-keit

4. Umordnungsaufgaben Vorgegebene Fragmente müssen der Reihenfolge entsprechend sortiert werden z.B. Materialbearbeitungstest (z.B. HAWIK) Beispiel Herrn seinen ein rettete treuer Hund (6) (5) (1) (4) (2) (3)

Vorteile – Nachteile Großer Materialaufwand - speziell bei Gruppentestungen Itemformat ist nur für wenige spezifische Fragestellungen anwendbar Einsetzbar bei Materialbearbeitungs-tests

Freie Aufgabenformate 1. Ergänzungsaufgaben (EG-Aufg.) Offene Fragen (z.B.: Wo liegt Lima?) Text- oder Wortergänzungsaufgaben 2. Kurzaufsätze (KA-Aufg.) Auf Fragen freie Antworten geben (z.B. „wie kommen Sommer und Winter zustande?“)

EG-Aufgaben: Vorteile – Nachteile Nur Reproduktion von Wissen – keine Kreativität Hoher zeitl. Aufwand Eingeschränkte Auswertungsobjek-tivität Schwer zu klassifizieren, was eindeutig falsch oder richtig ist Zufallslösungen kaum möglich Qualitative Auswertung möglich

KA-Aufgaben: Vorteile - Nachteile Evtl. eingeschränkte Auswertungsobjek-tivität Schwer zu klassifizieren, was eindeutig falsch oder richtig ist Freie Reproduktion von Wissen Zufallslösungen ausgeschlossen

Leitfaden – Formatauswahl 1. Keine Regel für die Zuordnung von Aufgaben-inhalt und Aufgabenformat 2. Einfache Tests → ein Aufgabenformat 3. Testsystem → Aufgabenformate über Subtests variieren Regeln für die Reihung der Aufgabenformate im Testsystem: subjektiv schwierige Aufgabenformate (hohe Konzentration erforderlich) an den Anfang Abwechseln von Subtests mit leichten (RF) und schweren (EG) Aufgabenformaten

Leitfaden – Formatauswahl Wann wähle ich Richtig-Falsch-Aufg.? Bei Notwendigkeit schneller Testkonstruktion Bei Notwendigkeit schneller Testdurchführung Bei Auswertung des Tests durch Hilfspersonal Bei leicht verständlichen Aufgabeninhalten Wenn gedankliche Verarbeitung und Gedächtnisleistungen unwichtig sind Wenn Zufallslösungen irrelevant sind oder bei der Auswertung berücksichtigt werden

Leitfaden – Formatauswahl 2. Wann wähle ich Ergänzungsaufgaben? Selbstständige Lösungsfindung als Ziel Bei Interesse am Lösungsweg Verhindern von Raten Bei inhaltlich komplexen Testaufgaben (Denkprobleme) Bei Interesse an qualitativer Auswertung Wenn die Zeit unwichtig ist Wenn nicht durch mangelnde Formulierungsfähigkeit Nachteile entstehen

Leitfaden – Itemkonstruktion 1. Negativ und positiv gepolte Items sollten sich die Waage halten Negative Formulierungen beeinflussen nachweislich das Antwortverhalten – werden daher zur Vorbeugung von Ja-Sage-Tendenzen eingesetzt 2. Doppelte Verneinungen vermeiden sie führen zu Missverständnissen

Leitfaden – Itemkonstruktion 3. Begriffe mit mehreren Bedeutungen vermeiden z.B.: ich bin in Gesprächen „angriffslustig“ 4. Formulierungen und Begriffe vermeiden, die nur einem Teil der Zielgruppe geläufig sind z.B. „Depression“ im Umgang mit Kindern 5. Pro Item nur einen sachlichen Inhalt/ Gedanken zugrunde legen z.B. nicht: ich fahre sehr gerne und sehr schnell Auto

Leitfaden – Itemkonstruktion 6. Verallgemeinerungen vermeiden z.B. nicht: immer, alle, keiner etc. 7. Abkürzungen und Ausschweifungen vermeiden 8. Wichtiges hervorheben (Sparsamkeit!) 9. Zeitpunkt und Zeitspanne, auf die Bezug genommen wird, eindeutig definieren z.B.: „in den letzten zwei Wochen“ statt „in letzter Zeit“ 10. Hohe Kongruenz zwischen Item und Merkmal wichtig

Leitfaden – Itemkonstruktion 11. Nicht aussagekräftige Items vermeiden z.B. wenn erfahrungsgemäß immer dieselbe Beantwortung erfolgt (ja/ nein) 12. Itemformat sollte an das Ziel des Tests angepasst sein 13. Für die Beantwortung notwendige Informatio-nen ergänzen

Mögliche Biases – (gebundene Itemformate) Soziale Erwünschtheit Antworttendenzen Motivation Reihenfolgeeffekte

Noch Fragen???