Ulrich Germann und Rüdiger Grotjahn: Das Lösen von C-Tests auf dem Computer: Eine Pilotuntersuchung zu den Bearbeitungsprozessen Präsentation von Ganna Lirer

C-Test auf Computer

C-Test: von Papierversion zu Computerversion Ziel: Aufgabe: Leitfragen: psycholinguistische Aspekte der Bearbeitung von C-Tests untersuchen Bearbeitungsstrategie der Teilnehmer analysieren 1. wie bearbeitet man die Aufgabe; 2. zu welchen Lösungen kommt man nach Bearbeitung der Aufgabe; 3. wie und warum kommt man zu diesen Lösungen.

Instrument: lautes Denken Ziel: mentale Prozesse verbalisieren bei der Bearbeitung des Tests Äußerungen der Versuchpersonen wurden auf Tonband aufgenommen retrospektives Interviewintrospektives Verfahren

Problem 1 Feldmann, Stemmer 1987 mentale Prozesse  bewusst ablaufen? Es kann aufgrund der Verbalisierung zu einer Veränderung des Bearbeitungsverhaltens kommen Verbalisierung  Veränderung des Bearbeitungsverhaltens? Problem 2

Feldmann, Grotjahn, Stemmer 1986 Problem 3 Erhebung und Auswertung introspektiver Daten Tonträger Papierversion sehr arbeitsaufwendig! personelle Ressourcen zeitliche Ressourcen finanzielle Ressourcen vollständig transkribieren umfassende Analyse Grotjahn Auswertungszeit = 4 x Aufnahmezeit in Anbetracht des dritten Problems stellt sich die Frage nach einem weniger aufwendigen Zugang zu den mentalen Prozessen, die bei der Lösung von C-Test ablaufen Computerversion C-Test auf dem Computer lösen!

C-Test auf dem Computer konstruieren

Ziel: Vorgehensweise: ökonomische Zugangsweise zu den mentalen Prozessen erarbeiten Protokollierung aller abgeschlossenen Tastatureingaben bei der Bearbeitung von C-Tests

C-Test Computerversion abgeschlossene Tastatureingabe ökonomische Zugangsweise Protokollierung der Ergebnisse nicht so personell zeitlich finanziell aufwendig wie Papierversionserhebung und -auswertung

Protokollierung der Ergebnisse Primärfunktion Einblick in die mentalen Prozesse machen Sekundärfunktion beobachtbares Bearbeitungsverhalten analysieren Suchprozesse bei Itemsbearbeitung adäquat Methode des lauten Denkens!

Fazit 1: Fazit 2: Die Computerprotokolle ermöglichen gewisse Einblicke in die beobachtbaren Lösungsverhalten und nicht direkt beobachtbare zugrundliegende mentale Prozesse betrachten Die Erfassung der Suchprozesse bei der Bearbeitung eines Items ist die Methode des lauten Denkens adäquat

C-Test: Versuchaufbau

Art der Untersuchung PilotuntersuchungExperiment ZeitSommer 1992 Zahl der Probanden Experimentalgruppe – 8 Kontrollgruppe - 7 beide Gruppen sind ausreichend vergleichbar Muttersprache der Gruppen Deutsch Zielsprache der Gruppen Englisch alle haben insgesamt 6 Jahren Englisch gelernt

Art der Gruppenhomogene Grupperelativ weit fortgeschrittene Lerner des Englischen mit Deutsch als Muttersprache Art des KursesLeistungskursgleiche Leistungskurs Art der SchuleGymnasium Klasse13 OrtStuttgart

Zahl des Items im Versuchstest

C- Test Authentische Texte aus unterschiedlichen, nicht bekannten Quellen steigender Schwierigkeitsgrad des Items im Texten hoher Leistungsstand der Versuchsperson soll aufweisen sein bestand aus 5 kurzen englischen Texten jeder Text hat 25 bis 26 Lücken Lücken sind durchnumeriert Verfahren von Raatz & Klein – Braley, 1985 Problem: benachbarte Wörter Text C Text D Item 1 und 4 Item 8 und 9 erforderten identische Lösungen Lösung:

erforderten identische Lösungen Lösung: Bei den Texten C und D erhöhen wir die Zahl der Tilgungen auf 26, weil Versuchperson (Vp) erkennen würden, dass die Items 8 und 9 im Text C und Items 1 und 4 im Text D identische Lösungen erforderten Fazit: die identischen Aufgaben, die identischen Lösungen erforderten, bei C-Test vermeiden 26 Items für Texten C und D dann nicht 2 Punkten, sondern 1 Punkt für Items 8 und 9 im Text C und Items 1 und 4 im Text D

Computerversion vs. Papierversion

Hypothese: Vp nutzen durch den Computer gegebene zusätzliche Inf. bei ihren Lösungsversuchen Ziel: 2 Gruppen Computerversion Papierversion Vergleichbarkeit von Computerversion und Papierversion

Papierversion Möglichkeit, Lücken in dem Text ohne Reihenfolge Texte lösen Möglichkeit, zurückspringen (hin- und herspringen) keine Möglichkeiten, die Ergebnisse von Lückenfüllen (Richtigkeit usw.) überprüfen keine Korrektur keine Lösungsvorschlag (egal, richtige oder falsche) keine Möglichkeit, sofort von jmd. Richtige Antwort zu erfahren keine Möglichkeit, Lücke mit Hilfe von jmd. auszufüllen

Computerversion Reihenfolge: Zurückspringen: Überprüfung: Korrektheit: Lösungsvorschlag Taste ENTER (Eingaben) abschicken! die Texte mussten der Reihe nach bearbeitet werden Eine nach anderer Aufgabe nicht Möglichkeit! (zu einem nicht vollständig gelösten Text) Der Computer überprüfte jede Antwort sofort auf ihre Korrektheit perfekte Übereinstimmung mit dem Originaltext der Computer verlangt im Falle einer falschen Antwort einen neuen Lösungsvorschlag Computer kann beliebig viele richtige oder falsche Antworten antizipieren Text 1 Text 2 usw.

Computerversion Überprüfung Gefahr: aufgrund der Rückmeldung durch den Computer wächst die Wahrscheinlichkeit einer richtigen Lösung an! (aufgrund „trial und error“) dieser Vorgang von Überprüfung konnte beliebig oft wiederholt werden Zusätzliche Inf. in Form von Kontext

Computerversion Möglichkeit, vom Computer eine richtige Antwort zu erfahren der Computer füllt gerade die aktuelle Lücke auf Arbeit aufgeben! Kaum Gebrauch/ in der Regel nachdem ganze Text bearbeiten wird Möglichkeit die Arbeit aufzugeben CALIS Programm CALIS Taste F6 Taste „GIVEUP“ (Eintrag)

Computerversion wenn Taste (-) betätigen zu einem noch nicht gelösten Item (bzw. nicht richtig gelösten) zurückspringen weiterspringen (zu weiteren Aufgaben) Diese Bewegungen im Bearbeitungsprotokoll mit PASSBACK  zurückspringen oder PASSON  weiterspringen vermerkt wenn Taste (+) betätigen aber:

Computerversion

Erkenntnisinteresse: Behauptung: Fragestellung: höhere Lösungsrate als bei Papierversion? CALIS Programm aber: Nachteile: die Korrekturen, die eine Vp vor Betätigung der Eingabetaste vornimmt, im Protokoll nicht festgehalten werden 1) Wie die Vp (Versuchperson) in der Bearbeitung fortfährt 2) Flüchtigkeitsfehler identifizieren 3) Inf. über das mentale Lexikon entnehmen weil in der Computerversion eine Möglichkeit gibt, die Antwort sofort zu überprüfen bzw. zu korrigieren, steigt die Wahrscheinlichkeit einer richtigen Lösung „erraten“

CALIS Programm richtige LösungRückmeldung „correct“ CALIS Programm springt automatisch zum nächsten Item weiter falsche Lösung bleibt CALIS bei dem entsprechenden Item Leerzeichen Rückmeldung: „incorrect“

Das Computerprogramm CALIS

Records - Version FunktionenIn der erstellt CALIS Eingabe und Überprüfung von Antworten auf Ihre Richtigkeit Die Kontrolle von Bildschirm Dauer der Bearbeitungszeit vom C-Test-Text  10-20min

In der erstellt CALIS ein Bearbeitungsprotokoll mit folgenden Angaben: ENTER alle Lösungsvorschläge und deren Bewertung als: oder richtig falsch Sprünge oder zum nächsten Item  PASSON zum vorigen Item  PASSBACK Aufgabe bei einzelnen Items  GIVEUP

aus der Sicht der Bewerter: Itemnummer ein Protokolleintrag besteht aus insgesamt 3 Teilen + oder - falsch Einstufung Daten zur Analyse vorliegen CALIS richtig Lösungsvorschlag

aus der Sicht der Vp (Versuchperson) STARTHauptmenü zur Auswahl Aufgabe 1 Einführung in die Bedienung des Programms Versuchaufbau Aufgabe 2-6 das Programm wurde gestartet Cursorteuerung  zwischen den verschiedenen Aufgaben auswählen

Aufgabe 2-6 I. die Vp wurde aufgefordert, die Texte der Reihe noch zu bearbeiten II. wenn alle Items eines Texts gelöst waren, musste die Vp mit der Escape-Taste Die 5 C-Test-Texte Escape-Taste zum Hauptmenü zurückkehren dort den nächsten Text auswählen

START Hauptmenü Aufgabe 1 (Instruktion) ESCAPE Aufgabe 2 Aufgabe 3 Aufgabe 4 I II III IV V VI

Statistische Analyse

Bemerkung 1: Bemerkung 2: Bemerkung 3: Offentliche Tippfehler wurden in beiden Gruppen als korrekt gewertet keine Möglichkeit ist, die Zahl von versuchen bis Betätigen auswerten  ausführlich statistische Auswertung wenig sinnvoll (keine detaillierte Analyse der Bearbeitungsprozesse) um die Daten der Experimental– und Kontrollgruppe vergleichbar zu machen, wir haben nur solche Items als richtige gelöst gewertet, deren korrekte Lösung beim ersten Versuch zustande gekommen ist Auswertung: ItemEingabeReaktion des Computer (C)Kommentar (K)

Bemerkung 4: Bemerkung 5: Fazit: die Daten sprechen zumindest nicht gegen die Hypothese, dass die Vp die durch den Computer gegebene zusätzliche Inf. bei ihren Lösungsversuchen nutzen der Mittelwertunterscheid zwischen Experimental– und Kontrollgruppe  in Relation zu den Standardabweichungen ist so gering, dass von einem Zufallseffekt auszugehen ist Ohne eine detaillierte Analyse der Bearbeitungsprozesse kann nicht entscheiden werden, ob ein höheren Punktwert in der Experimentalgruppe  auf erfolgreiches Raten Oder  auf die Nutzung Kontextueller Inf. zurückführen ist

Experimentalgruppe ComputervisionHilfe von Computer Kontrollgruppe Papierversion keine Hilfe von jmd. Möglichkeiten zurückspringen keine Zeitverlust, um eine richtige Antwort auszuwählen Überprüfung Korrektheit Hilfe von Kontext Lösungsvorschlag Frage: Bessere Ergebnisse? Antwort: Fast gleiche

Typischen 3 Bearbeitungsstrategie bei der Bearbeitung des C-Tests von Vp.

3 Typen von Vp Bearbeitungstyp 1 Bearbeitungstyp 2 Vp Bearbeitungstyp 2a Vp löst die einzelnen Items nacheinander/ ohne Lücken zu lassen überspringt in Textgrenzen kehrt bald zurück/ bevor das letzte Item erreicht ist überspringt in Satzgrenzen Rücksprung erfolgt überwiegend an Satzgrenzen ( ∓ 1 Item) und innerhalb der Grenzen des zuletzt bearbeiteten Satzes dieser Typ ist für Analyse wenig interessant

Bearbeitungstyp 2b Vp überspringt über Satzgrenzen hinaus Rücksprung über die Grenzen des Satzes des zuletzt bearbeiteten Satzes hinaus springt bei Erfolglosigkeit weiter kehrt nicht zu den ungelösten Items zurück weiter verarbeiten Bearbeitungstyp 3

Literatur: Ulrich Germann und Rüdiger Grotjahn: Das Lösen von C-Tests auf dem Computer: Eine Pilotuntersuchung zu den Bearbeitungsprozessen