Empirische Softwaretechnik Prof. Dr. Walter F. Tichy Dr. Matthias Müller Sommersemester 2006

Anforderungen und Probleme beim Versuchsaufbau

Anforderungen an Versuchsaufbau Zielgeführtes Sammeln der Daten zum Beantworten der Forschungsfrage. Kontrolle der Störvariablen. Ist der Effekt auf die unabhängige Variable zurück-zuführen ? (interne Gültigkeit) Ergebnis muss auf andere Individuen oder Gruppen generalisierbar sein. (externe Gültigkeit)

Gefahren für interne Gültigkeit Historie Reifung Instrumentierung Selektion Sterblichkeit Subjekt-Effekt Experimentator-Effekt Reihenfolge-Effekt

Historie Zeitspanne Vortest Nachtest Zwischen Vor- und Nachtest können Ereignisse die Messung im Nachtest beeinflussen (rivalisierende Hypothese)

Historie (Forts.) Je länger die Zeitspanne, desto wahrscheinlicher hat die Historie einen Einfluss auf das Ergebnis Einstellungen der Experiment-Teilnehmer können sich durch neue Information (Zeitungsartikel) oder Ereignisse ändern

Reifung engl. maturation Änderung der internen Konstitution eines Individuums im Laufe der Zeit (ohne Einfluss spezifischer, externer Ereignisse) Eingeschlossen sind biologische und psycholgische Änderungen, z.B. Alter, Lernen, Müdigkeit, Langeweile, Hunger.

Reifung (Forts.) Wenn Reifung das Verhalten unter den experimentellen Bedingungen ändert, dann gefährdet sie die interne Gültigkeit. Beispiel: PSP-Studien, die keine Kontrollgruppe besitzen Teilnehmer lernen, Listen zu programmieren Leistungszuwachs durch Methode (PSP) und bessere Kenntnis der Listenprogrammierung

Instrumentierung engl. instrumentation Änderungen in der Messung der abhängigen Variablen mit der Zeit. Menschliche Beobachter unterliegen Müdigkeit, Langeweile, und Lernprozessen. Mit der Zeit kann ein Experimentator besser werden und genauere, zuverlässigere Testergebnisse liefern.

Selektion Bei unterschiedlichen Selektions-methoden für die Vergleichsgruppen kann Ungültigkeit eingeschleppt werden. Beispiel: Nachhilfe für unterschiedliche Gruppen: schwach in Mathe vs. hyperaktiv Unterschiede in den Noten können auf anderen Eigenschaften beruhen als der Nachhilfe.

Sterblichkeit engl. mortality Sterblichkeit bedeutet unterschiedlichen Verlust von Teilnehmern in den Gruppen. Teilnehmer erscheinen nicht oder haben eine lange Party am Vorabend oder nehmen nicht an allem teil... Damit kann es Unterschiede zwischen Gruppen geben, die nicht von der unabhängigen Variablen herrühren.

Subjekt-Effekt Positive Selbstdarstellung: Subjekte interpretieren den Sinn des Experiments und zeigen sich von ihrer besten Seite. Beispiel: Die gestellten Lernaufgaben sagen etwas über Intelligenz aus. Da viele Teilnehmer intelligent erscheinen wollen, bemühen sie sich, im Experiment möglichst rasch zu lernen.

Subjekt-Effekt (Forts.) Ergebnisse werden beeinflusst vom Motiv der Teilnehmer, sich positiv darzustellen. Carlston und Cohen zeigten: Subjekte, die an die Experiment-Hypothese glaubten, bestätigten sie Gruppe, die die Hypothese nicht glaubte, lieferte gegenteilige Ergebnisse

Subjekt-Effekt (Forts.) Inter-treatment interaction: Positive Selbstdarstellung ändert sich zwischen den Aufgaben Intra-treatment interaction: Subjekte interpretieren die Möglichkeit der positiven Selbstdarstellung in der gleichen Aufgabe unterschiedlich

Experimentator-Effekt Erwartungen des Experimentators beeinflussen ihn selbst, z.B. Messungen ungenau in einer Richtung Fallenlassen „unmöglicher“ Werte tendenziöse Interpretation der Daten Motivieren der Subjekte

Reihenfolge-Effekt engl. sequencing effect Teilnehmer nehmen an mehreren Versuchen teil Unterschiedliche Werte der unabhängigen Variablen in den Versuchen Beispiel: eine Aufgabe bearbeitet mit Entwurfsmuster, andere Aufgabe ohne

Reihenfolge-Effekt (Forts.) Dann können Lerneffekte auftreten, die aus der Reihenfolge der Aufgaben resultieren (Reihenfolgeeffekt, order) .... aber auch Motivationseffekte, etwa durch schnelles oder langsames Lösen der vorangegangenen Aufgabe (Übertragungseffekt, carry-over)