Universität Karlsruhe (TH) Forschungsuniversität · gegründet 1825 Lehrstuhl für Programmiersysteme Fakultät für Informatik 1 Anforderungen und Probleme beim Versuchsaufbau

Lehrstuhl für Programmiersysteme Fakultät für Informatik 2 Anforderungen an Versuchsaufbau 1. Zielgeführtes Sammeln der Daten zum Beantworten der Forschungsfrage. 2. Kontrolle der Störvariablen. Ist der Effekt auf die unabhängige Variable zurück-zuführen ? (interne Gültigkeit) 3. Ergebnis muss auf andere Individuen oder Gruppen generalisierbar sein. (externe Gültigkeit)

Lehrstuhl für Programmiersysteme Fakultät für Informatik 3 Gefahren für interne Gültigkeit Historie Reifung Instrumentierung Selektion Sterblichkeit Subjekt-Effekt Experimentator-Effekt Reihenfolge-Effekt

Lehrstuhl für Programmiersysteme Fakultät für Informatik 4 VortestNachtest Zwischen Vor- und Nachtest können Ereignisse die Messung im Nachtest beeinflussen (rivalisierende Hypothese) Zeitspanne Historie

Lehrstuhl für Programmiersysteme Fakultät für Informatik 5 Historie (Forts.) Je länger die Zeitspanne, desto wahrscheinlicher hat die Historie einen Einfluss auf das Ergebnis Einstellungen der Experiment-Teilnehmer können sich durch neue Information (Zeitungsartikel, Gespräche, Web) oder Ereignisse ändern

Lehrstuhl für Programmiersysteme Fakultät für Informatik 6 Reifung engl. maturation Änderung der internen Konstitution eines Individuums im Laufe der Zeit (ohne Einfluss spezifischer, externer Ereignisse) Eingeschlossen sind biologische und psycholgische Änderungen, z.B. Alter, Lernen, Müdigkeit, Langeweile, Hunger.

Lehrstuhl für Programmiersysteme Fakultät für Informatik 7 Reifung (Forts.) Wenn Reifung das Verhalten unter den experimentellen Bedingungen ändert, dann gefährdet sie die interne Gültigkeit. Beispiel: PSP-Studien, die keine Kontrollgruppe besitzen Teilnehmer lernen, Listen zu programmieren Leistungszuwachs durch Methode (PSP) und bessere Kenntnis der Listenprogrammierung

Lehrstuhl für Programmiersysteme Fakultät für Informatik 8 engl. instrumentation Änderungen in der Messung der abhängigen Variablen mit der Zeit. Menschliche Beobachter unterliegen Müdigkeit, Langeweile, und Lernprozessen. Mit der Zeit kann ein Experimentator besser werden und genauere, zuverlässigere Testergebnisse liefern. Instrumentierung

Lehrstuhl für Programmiersysteme Fakultät für Informatik 9 Bei unterschiedlichen Selektions-Methoden für die Vergleichsgruppen kann Ungültigkeit eingeschleppt werden. Beispiel: Nachhilfe für unterschiedliche Gruppen: schwach in Mathe vs. hyperaktiv Unterschiede in den Noten können auf anderen Eigenschaften beruhen als der Nachhilfe. Selektion

Lehrstuhl für Programmiersysteme Fakultät für Informatik 10 engl. mortality Sterblichkeit bedeutet unterschiedlichen Verlust von Teilnehmern in den Gruppen. Teilnehmer erscheinen nicht oder haben eine lange Party am Vorabend oder nehmen nicht an allem teil... Damit kann es Unterschiede zwischen Gruppen geben, die nicht von der unabhängigen Variablen herrühren. Sterblichkeit

Lehrstuhl für Programmiersysteme Fakultät für Informatik 11 Subjekt-Effekt Positive Selbstdarstellung: Subjekte interpretieren den Sinn des Experiments und zeigen sich von ihrer besten Seite. Beispiel: Die gestellten Lernaufgaben sagen etwas über Intelligenz aus. Da viele Teilnehmer intelligent erscheinen wollen, bemühen sie sich, im Experiment möglichst rasch zu lernen.

Lehrstuhl für Programmiersysteme Fakultät für Informatik 12 Ergebnisse werden beeinflusst vom Motiv der Teilnehmer, sich positiv darzustellen. Carlston und Cohen zeigten: Subjekte, die an die Experiment-Hypothese glaubten, bestätigten sie Gruppe, die die Hypothese nicht glaubte, lieferte gegenteilige Ergebnisse Subjekt-Effekt (Forts.)

Lehrstuhl für Programmiersysteme Fakultät für Informatik 13 Inter-treatment interaction: Positive Selbstdarstellung ändert sich zwischen den Aufgaben Intra-treatment interaction: Subjekte interpretieren die Möglichkeit der positiven Selbstdarstellung in der gleichen Aufgabe unterschiedlich Subjekt-Effekt (Forts.)

Lehrstuhl für Programmiersysteme Fakultät für Informatik 14 Experimentator-Effekt Erwartungen des Experimentators beeinflussen ihn selbst, z.B. Messungen ungenau in einer Richtung Fallenlassen „unmöglicher“ Werte tendenziöse Interpretation der Daten Motivieren der Subjekte

Lehrstuhl für Programmiersysteme Fakultät für Informatik 15 Reihenfolge-Effekt engl. sequencing effect Teilnehmer nehmen an mehreren Versuchen teil Unterschiedliche Werte der unabhängigen Variablen in den Versuchen Beispiel: eine Aufgabe bearbeitet mit Entwurfsmuster, andere Aufgabe ohne

Lehrstuhl für Programmiersysteme Fakultät für Informatik 16 Dann können Lerneffekte auftreten, die aus der Reihenfolge der Aufgaben resultieren (Reihenfolgeeffekt, order).... aber auch Motivationseffekte, etwa durch schnelles oder langsames Lösen der vorangegangenen Aufgabe (Übertragungseffekt, carry-over) Reihenfolge-Effekt (Forts.)