Auswahl von Aufgabenformaten und Formulierung von Items

Präsentation zum Thema: "Auswahl von Aufgabenformaten und Formulierung von Items"—  Präsentation transkript:

1 Auswahl von Aufgabenformaten und Formulierung von Items
Seminar: Testtheorie und Testkonstruktion Referenten: Annekathrein Frenkel, Sara Dürr

2 Gliederung Einführung Hauptteil Schlussteil
Definition: Aufgabenformate (auch: Aufgabentypen) Hauptteil Darstellung der verschiedenen Aufgabenformate Vor- und Nachteile der jew. Aufgabenformate Leitfaden Formatauswahl Leitfaden Itemkonstruktion Mögliche Biases Schlussteil Fragen???

3 Lernziele Was sind die Vor- und Nachteile der verschiedenen Aufgabenformate? Was ist bei der Konstruktion von Testitems zu beachten? Mit welchen biases (wie z.B. der Antwort-tendenz) muss man u. U. rechnen?

4 Was ist ein Aufgabenformat?
Die Art und Weise, in der die Beantwortung einer Testaufgabe erfolgt

5 Man unterscheidet… Gebundene Aufgabenformate Freie Aufgabenformate
= es sind festgelegte Antwortkategorien vorgegeben Freie Aufgabenformate = die Aufgabenbeantwortung erfolgt frei oder teilstrukturiert (Teile der Lösung sind vorgegeben)

6 Gebundene Aufgabenformate
1. Richtig-Falsch-Aufgaben (RF-Aufg.) 2. Mehrfach-Wahl-Aufgaben (MF-Aufg.) 3. Zuordnungsaufgaben (ZO-Aufg.) 4. Umordnungsaufgaben (UO-Aufg.)

7 1. Richtig-Falsch-Aufgaben
Bestehend aus nur zwei Antwortmöglich-keiten (Richtig-Falsch, Ja-Nein etc.) Oft verwendet z.B. in Leistungs- oder Persön-lichkeitstests Beispiel: Ich gehe abends gerne aus stimme zu – stimme nicht zu

8 Vorteile – Nachteile Bearbeitungs-, Auswertungs- und Lösungszeit meist kurz i.d.R. leichtes Verständnis der Testinstruktionen Formulierungsschwierig-keiten (Notwendigkeit eindeutiger Beantwortung) Hoher Prozentsatz an Zufallslösungen mögl. (bis 50%) Wenig differenzierte Information Hinweise für eine erhöhte Ja-Sage-Tendenz z.B. Krosnick, S.552

9 2. Mehrfach-Wahl-Aufgaben
Bestehend aus mehr als zwei Antwortalternativen (z.B. multiple-Choice-Aufg.) Eine Bestantwort (Attraktor) + mehrere Alternativantworten (Distraktoren) (für letztere gelten die Kriterien der Plausibilität und der Gleichwertigkeit) Insbesondere in Wissens- oder Intelligenztests In der modernen Testkonstruktion absolut vorherrschend Sonderform: Ratingskalen

10 Beispiel einer MW-Aufgabe
In einem Test kann man verschiedene Aufgabenarten verwenden. Welche der folgenden Aufgabenarten haben ein gebundenes Antwortformat? Multiple-Choice-Items Ergänzungsaufgaben Ratingskala Zuordnungsaufgaben Kurzaufsatzaufgaben

11 Vorteile – Nachteile Ökonomische Durch- und Ausführung
Relative Zufallsunabhängigkeit Durch die Anzahl der Antwortalternativen wirkt sich das Raten weniger auf das Testergebnis aus Bei Ratingskalen: Differenziertheit der Antworten Problem: Antwortalternativen? Plausibilität und Gleichwertigkeit Lediglich Wieder-erkennen von Material, keine Reproduktion Nicht für alle Konstrukte sinnvoll (z.B. Kreativität)

12 3. Zuordnungsaufgaben Zeichen oder Inhalte werden anderen Zeichen oder Inhalten zugeordnet Z.B. in Wissens- oder Leistungstest Beispiel: Was wurde von wem geschrieben? Die Räuber Süßkind Werthers Leiden Goethe Faust Schiller Das Parfum Mann

13 Vorteile – Nachteile Problem: Antwortalternativen?
Lediglich Wieder-erkennen von Material, keine Reproduktion Nicht für alle Konstrukte sinnvoll (z.B. Kreativität) Ökonomische Durch- und Ausführung Relative Zufallsunabhängig-keit

14 4. Umordnungsaufgaben Vorgegebene Fragmente müssen der Reihenfolge entsprechend sortiert werden z.B. Materialbearbeitungstest (z.B. HAWIK) Beispiel Herrn seinen ein rettete treuer Hund (6) (5) (1) (4) (2) (3)

15 Vorteile – Nachteile Großer Materialaufwand - speziell bei Gruppentestungen Itemformat ist nur für wenige spezifische Fragestellungen anwendbar Einsetzbar bei Materialbearbeitungs-tests

16 Freie Aufgabenformate
1. Ergänzungsaufgaben (EG-Aufg.) Offene Fragen (z.B.: Wo liegt Lima?) Text- oder Wortergänzungsaufgaben 2. Kurzaufsätze (KA-Aufg.) Auf Fragen freie Antworten geben (z.B. „wie kommen Sommer und Winter zustande?“)

17 EG-Aufgaben: Vorteile – Nachteile
Nur Reproduktion von Wissen – keine Kreativität Hoher zeitl. Aufwand Eingeschränkte Auswertungsobjek-tivität Schwer zu klassifizieren, was eindeutig falsch oder richtig ist Zufallslösungen kaum möglich Qualitative Auswertung möglich

18 KA-Aufgaben: Vorteile - Nachteile
Evtl. eingeschränkte Auswertungsobjek-tivität Schwer zu klassifizieren, was eindeutig falsch oder richtig ist Freie Reproduktion von Wissen Zufallslösungen ausgeschlossen

19 Leitfaden – Formatauswahl
1. Keine Regel für die Zuordnung von Aufgaben-inhalt und Aufgabenformat 2. Einfache Tests → ein Aufgabenformat 3. Testsystem → Aufgabenformate über Subtests variieren Regeln für die Reihung der Aufgabenformate im Testsystem: subjektiv schwierige Aufgabenformate (hohe Konzentration erforderlich) an den Anfang Abwechseln von Subtests mit leichten (RF) und schweren (EG) Aufgabenformaten

20 Leitfaden – Formatauswahl
Wann wähle ich Richtig-Falsch-Aufg.? Bei Notwendigkeit schneller Testkonstruktion Bei Notwendigkeit schneller Testdurchführung Bei Auswertung des Tests durch Hilfspersonal Bei leicht verständlichen Aufgabeninhalten Wenn gedankliche Verarbeitung und Gedächtnisleistungen unwichtig sind Wenn Zufallslösungen irrelevant sind oder bei der Auswertung berücksichtigt werden

21 Leitfaden – Formatauswahl
2. Wann wähle ich Ergänzungsaufgaben? Selbstständige Lösungsfindung als Ziel Bei Interesse am Lösungsweg Verhindern von Raten Bei inhaltlich komplexen Testaufgaben (Denkprobleme) Bei Interesse an qualitativer Auswertung Wenn die Zeit unwichtig ist Wenn nicht durch mangelnde Formulierungsfähigkeit Nachteile entstehen

22 Leitfaden – Itemkonstruktion
1. Negativ und positiv gepolte Items sollten sich die Waage halten Negative Formulierungen beeinflussen nachweislich das Antwortverhalten – werden daher zur Vorbeugung von Ja-Sage-Tendenzen eingesetzt 2. Doppelte Verneinungen vermeiden sie führen zu Missverständnissen

23 Leitfaden – Itemkonstruktion
3. Begriffe mit mehreren Bedeutungen vermeiden z.B.: ich bin in Gesprächen „angriffslustig“ 4. Formulierungen und Begriffe vermeiden, die nur einem Teil der Zielgruppe geläufig sind z.B. „Depression“ im Umgang mit Kindern 5. Pro Item nur einen sachlichen Inhalt/ Gedanken zugrunde legen z.B. nicht: ich fahre sehr gerne und sehr schnell Auto

24 Leitfaden – Itemkonstruktion
6. Verallgemeinerungen vermeiden z.B. nicht: immer, alle, keiner etc. 7. Abkürzungen und Ausschweifungen vermeiden 8. Wichtiges hervorheben (Sparsamkeit!) 9. Zeitpunkt und Zeitspanne, auf die Bezug genommen wird, eindeutig definieren z.B.: „in den letzten zwei Wochen“ statt „in letzter Zeit“ 10. Hohe Kongruenz zwischen Item und Merkmal wichtig

25 Leitfaden – Itemkonstruktion
11. Nicht aussagekräftige Items vermeiden z.B. wenn erfahrungsgemäß immer dieselbe Beantwortung erfolgt (ja/ nein) 12. Itemformat sollte an das Ziel des Tests angepasst sein 13. Für die Beantwortung notwendige Informatio-nen ergänzen

26 Mögliche Biases – (gebundene Itemformate)
Soziale Erwünschtheit Antworttendenzen Motivation Reihenfolgeeffekte

27 Noch Fragen???