Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Auswahl von Aufgabenformaten und Formulierung von Items Seminar: Testtheorie und Testkonstruktion Referenten: Annekathrein Frenkel, Sara Dürr 10.05.06.

Ähnliche Präsentationen


Präsentation zum Thema: "Auswahl von Aufgabenformaten und Formulierung von Items Seminar: Testtheorie und Testkonstruktion Referenten: Annekathrein Frenkel, Sara Dürr 10.05.06."—  Präsentation transkript:

1 Auswahl von Aufgabenformaten und Formulierung von Items Seminar: Testtheorie und Testkonstruktion Referenten: Annekathrein Frenkel, Sara Dürr

2 Gliederung Einführung Definition: Aufgabenformate (auch: Aufgabentypen) Hauptteil Darstellung der verschiedenen Aufgabenformate Vor- und Nachteile der jew. Aufgabenformate Leitfaden Formatauswahl Leitfaden Itemkonstruktion Mögliche Biases Schlussteil Fragen???

3 Lernziele Was sind die Vor- und Nachteile der verschiedenen Aufgabenformate? Was ist bei der Konstruktion von Testitems zu beachten? Mit welchen biases (wie z.B. der Antwort- tendenz) muss man u. U. rechnen?

4 Was ist ein Aufgabenformat? Die Art und Weise, in der die Beantwortung einer Testaufgabe erfolgt

5 Man unterscheidet… Gebundene Aufgabenformate = es sind festgelegte Antwortkategorien vorgegeben Freie Aufgabenformate = die Aufgabenbeantwortung erfolgt frei oder teilstrukturiert (Teile der Lösung sind vorgegeben)

6 Gebundene Aufgabenformate 1.Richtig-Falsch-Aufgaben (RF-Aufg.) 2.Mehrfach-Wahl-Aufgaben (MF-Aufg.) 3.Zuordnungsaufgaben (ZO-Aufg.) 4.Umordnungsaufgaben (UO-Aufg.)

7 1. Richtig-Falsch-Aufgaben Bestehend aus nur zwei Antwortmöglich- keiten (Richtig-Falsch, Ja-Nein etc.) Oft verwendet z.B. in Leistungs- oder Persön- lichkeitstests Beispiel: Ich gehe abends gerne aus stimme zu – stimme nicht zu

8 Vorteile – Nachteile Bearbeitungs-, Auswertungs- und Lösungszeit meist kurz i.d.R. leichtes Verständnis der Testinstruktionen Formulierungsschwierig- keiten (Notwendigkeit eindeutiger Beantwortung) Hoher Prozentsatz an Zufallslösungen mögl. (bis 50%) Wenig differenzierte Information Hinweise für eine erhöhte Ja-Sage- Tendenz z.B. Krosnick, S.552

9 2. Mehrfach-Wahl-Aufgaben Bestehend aus mehr als zwei Antwortalternativen (z.B. multiple-Choice-Aufg.) Eine Bestantwort (Attraktor) + mehrere Alternativantworten (Distraktoren) (für letztere gelten die Kriterien der Plausibilität und der Gleichwertigkeit) Insbesondere in Wissens- oder Intelligenztests In der modernen Testkonstruktion absolut vorherrschend Sonderform: Ratingskalen

10 Beispiel einer MW-Aufgabe In einem Test kann man verschiedene Aufgabenarten verwenden. Welche der folgenden Aufgabenarten haben ein gebundenes Antwortformat? Multiple-Choice-Items Ergänzungsaufgaben Ratingskala Zuordnungsaufgaben Kurzaufsatzaufgaben

11 Vorteile – Nachteile Ökonomische Durch- und Ausführung Relative Zufallsunabhängigkeit Durch die Anzahl der Antwortalternativen wirkt sich das Raten weniger auf das Testergebnis aus Bei Ratingskalen: Differenziertheit der Antworten Problem: Antwortalternativen? Plausibilität und Gleichwertigkeit Lediglich Wieder- erkennen von Material, keine Reproduktion Nicht für alle Konstrukte sinnvoll (z.B. Kreativität)

12 3. Zuordnungsaufgaben Zeichen oder Inhalte werden anderen Zeichen oder Inhalten zugeordnet Z.B. in Wissens- oder Leistungstest Beispiel: Was wurde von wem geschrieben? Die RäuberSüßkind Werthers LeidenGoethe FaustSchiller Das ParfumMann

13 Vorteile – Nachteile Ökonomische Durch- und Ausführung Relative Zufallsunabhängig- keit Problem: Antwortalternativen? Lediglich Wieder- erkennen von Material, keine Reproduktion Nicht für alle Konstrukte sinnvoll (z.B. Kreativität)

14 4. Umordnungsaufgaben Vorgegebene Fragmente müssen der Reihenfolge entsprechend sortiert werden z.B. Materialbearbeitungstest (z.B. HAWIK) Beispiel Herrn seinen ein rettete treuer Hund (6) (5) (1) (4) (2) (3)

15 Vorteile – Nachteile Einsetzbar bei Materialbearbeitungs- tests Großer Materialaufwand - speziell bei Gruppentestungen Itemformat ist nur für wenige spezifische Fragestellungen anwendbar

16 Freie Aufgabenformate 1. Ergänzungsaufgaben (EG-Aufg.) Offene Fragen (z.B.: Wo liegt Lima?) Text- oder Wortergänzungsaufgaben 2. Kurzaufsätze (KA-Aufg.) Auf Fragen freie Antworten geben (z.B. wie kommen Sommer und Winter zustande?)

17 EG-Aufgaben: Vorteile – Nachteile Zufallslösungen kaum möglich Qualitative Auswertung möglich Nur Reproduktion von Wissen – keine Kreativität Hoher zeitl. Aufwand Eingeschränkte Auswertungsobjek- tivität Schwer zu klassifizieren, was eindeutig falsch oder richtig ist

18 KA-Aufgaben: Vorteile - Nachteile Freie Reproduktion von Wissen Zufallslösungen ausgeschlossen Evtl. eingeschränkte Auswertungsobjek- tivität Schwer zu klassifizieren, was eindeutig falsch oder richtig ist

19 Leitfaden – Formatauswahl 1.Keine Regel für die Zuordnung von Aufgaben- inhalt und Aufgabenformat 2.Einfache Tests ein Aufgabenformat 3.Testsystem Aufgabenformate über Subtests variieren Regeln für die Reihung der Aufgabenformate im Testsystem: subjektiv schwierige Aufgabenformate (hohe Konzentration erforderlich) an den Anfang Abwechseln von Subtests mit leichten (RF) und schweren (EG) Aufgabenformaten

20 Leitfaden – Formatauswahl 1. Wann wähle ich Richtig-Falsch-Aufg.? Bei Notwendigkeit schneller Testkonstruktion Bei Notwendigkeit schneller Testdurchführung Bei Auswertung des Tests durch Hilfspersonal Bei leicht verständlichen Aufgabeninhalten Wenn gedankliche Verarbeitung und Gedächtnisleistungen unwichtig sind Wenn Zufallslösungen irrelevant sind oder bei der Auswertung berücksichtigt werden

21 Leitfaden – Formatauswahl 2. Wann wähle ich Ergänzungsaufgaben? Selbstständige Lösungsfindung als Ziel Bei Interesse am Lösungsweg Verhindern von Raten Bei inhaltlich komplexen Testaufgaben (Denkprobleme) Bei Interesse an qualitativer Auswertung Wenn die Zeit unwichtig ist Wenn nicht durch mangelnde Formulierungsfähigkeit Nachteile entstehen

22 Leitfaden – Itemkonstruktion 1.Negativ und positiv gepolte Items sollten sich die Waage halten Negative Formulierungen beeinflussen nachweislich das Antwortverhalten – werden daher zur Vorbeugung von Ja-Sage-Tendenzen eingesetzt 2.Doppelte Verneinungen vermeiden sie führen zu Missverständnissen

23 Leitfaden – Itemkonstruktion 3.Begriffe mit mehreren Bedeutungen vermeiden z.B.: ich bin in Gesprächen angriffslustig 4.Formulierungen und Begriffe vermeiden, die nur einem Teil der Zielgruppe geläufig sind z.B. Depression im Umgang mit Kindern 5.Pro Item nur einen sachlichen Inhalt/ Gedanken zugrunde legen z.B. nicht: ich fahre sehr gerne und sehr schnell Auto

24 Leitfaden – Itemkonstruktion 6.Verallgemeinerungen vermeiden z.B. nicht: immer, alle, keiner etc. 7.Abkürzungen und Ausschweifungen vermeiden 8.Wichtiges hervorheben (Sparsamkeit!) 9.Zeitpunkt und Zeitspanne, auf die Bezug genommen wird, eindeutig definieren z.B.: in den letzten zwei Wochen statt in letzter Zeit 10. Hohe Kongruenz zwischen Item und Merkmal wichtig

25 Leitfaden – Itemkonstruktion 11.Nicht aussagekräftige Items vermeiden z.B. wenn erfahrungsgemäß immer dieselbe Beantwortung erfolgt (ja/ nein) 12.Itemformat sollte an das Ziel des Tests angepasst sein 13. Für die Beantwortung notwendige Informatio- nen ergänzen

26 Mögliche Biases – (gebundene Itemformate) Soziale Erwünschtheit Antworttendenzen Motivation Reihenfolgeeffekte

27 Noch Fragen???


Herunterladen ppt "Auswahl von Aufgabenformaten und Formulierung von Items Seminar: Testtheorie und Testkonstruktion Referenten: Annekathrein Frenkel, Sara Dürr 10.05.06."

Ähnliche Präsentationen


Google-Anzeigen