Experimentaufbau und -design Radoslaw Rudnicki 11.01.2006

Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

Wir sammeln Daten

15 Sekunden Zeit je Aufgabe keine Kommunikation untereinander Wir sammeln Daten zwei Computer jeweils zwei Fragen 15 Sekunden Zeit je Aufgabe keine Kommunikation untereinander Entschädigung: Ferrero Küsschen 1

Wir sammeln Daten 2

3

Rudnicki 3

Rudnicki Fabig 3

Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

Was ist eigentlich ein Experiment? Definition

Was ist eigentlich ein Experiment? Definition (1) methodisch kontrolliert quantifizierbar reproduzierbar randomisiert 4

Was ist eigentlich ein Experiment? Definition (2) Analyse des Arbeitsprozesses hinsichtlich der Richtigkeit und des Zeitbedarfs in der Absicht Einflüsse der Farbe rot zu erkennen aus der Sicht eines Softwareentwicklers im Kontext der Oberflächengestaltung 5

Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

Was ist eigentlich ein Experiment? Planung

Was ist eigentlich ein Experiment? Planung definition Experiment planning Context selection Hypothesis formulation Variables selection Selection of subjects Experiment design Instrumen- tation Experiment Design != Experiment Design Validity evaluation Experiment design 6

Was ist eigentlich ein Experiment? Planung – Context selection (1) Offline vs. Online Student vs. Professional Toy vs. Problems Specific vs. General Offline: parallel zu „echten Projekten“ Online: Experimente zu aktuellen Projekten, an denen gearbeitet wird 7

Was ist eigentlich ein Experiment? Planung – Context selection (1) Offline vs. Online Student vs. Professional Toy vs. Problems Specific vs. General 7

Was ist eigentlich ein Experiment? Planung – Hypothesis formulation (2) Nullhypothese Alternative Hypothese Nullhypothese1: rot hat keine Auswirkung auf die Korrektheit der Antwort Nullhypothese2: rot hat keine Auswirkung auf die Antwortzeit Alternativ1: rot beeinflusst Korrektheit negativ Alternativ2: rot beeinflusst Antwortzeit negativ 8

Was ist eigentlich ein Experiment? Planung – Variables selection (3) unabhängige Variablen abhängige Variable Prozess Unabhängige Variablen: Schwierigkeitsgrad der Fragen, Motivation, Farbe Abhängige Variable: Beantwortungszeit, Richtigkeit 9

Was ist eigentlich ein Experiment? Planung – Variables selection (3) unabhängige Variablen abhängige Variable Prozess Unabhängige Variablen: Schwierigkeitsgrad der Fragen, Motivation, Farbe Abhängige Variable: Antwortungszeit, Richtigkeit 9

Was ist eigentlich ein Experiment? Planung – Selection of subject (4) Personenauswahl Kontrollgruppe Versuchsgruppe M1 X M2 Kontrollgruppe P M1' Fortgeschrittener Computerbenutzer Gleich, weil alle ungefähr das gleiche Bildungsniveau haben 10

Was ist eigentlich ein Experiment? Planung – Experiment design (5) was wird gemessen wie wird getestet Anzahl der Personen festlegen Anzahl der Tests Was wird gemessen: Zeit, Richtigkeit Wie: Fragen werden gestellt #Personen: Minimum, hier: alle die da sind #Test: hier: 2 11

Was ist eigentlich ein Experiment? Planung – Experiment design (5) randomisieren blocking balancing Randomisieren: zufällig, wer welche Farbe bekommt Blocking: unerwünschte Effekte ausgleichen Alex nicht dabei, weil er es kennt zum Beispiel kann ein teil OOP und die anderen nicht, dann gesondert testen Balancing: Gruppen ausgleichen (ein gut Ausgebildeter gegen 3 Anfänger) 12

Was ist eigentlich ein Experiment? Planung – Instrumentation (6) Leitfaden Messung Leitfaden: Beschreibung wie das ganze Experiment abläuft, evtl. Checklisten Messung: Womit, wie?  Ergebnis unabhängig von Instrumentation, sonst ist es ungültig 13

Was ist eigentlich ein Experiment? Planung – Validity evaluation (7) interne Gültigkeit externe Gültigkeit Intern: Korrektheit des Experiments, Ergebnis kann auch die Einstellung der Variablen zurück geführt werden Extern: Verallgemeinerung auf höhere Komplexitätsebenen 14

Was ist eigentlich ein Experiment? Planung definition Experiment planning Context selection Hypothesis formulation Variables selection Selection of subjects Experiment design Instrumen- tation Experiment Design != Experiment Design Validity evaluation Experiment design 15

Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

Was ist eigentlich ein Experiment? Durchführung

{ Was ist eigentlich ein Experiment? Durchführung abhängige Variable Prozess unabhängige Variablen Experiment design Unabhängige Variablen: Schwierigkeitsgrad der Fragen, Motivation, Farbe Abhängige Variable: Antwortungszeit, Richtigkeit unabh.Variablen in def. Zuständen 16

Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

Probleme

Hypothesis formulation (2) Type-1-Error Type-2-Error Probleme Hypothesis formulation (2) Type-1-Error Type-2-Error Type-I-Error -> Nullhyphotese stimmt, aber wir stellen was anderes fest Type-II-Error -> Nullhypothese falsch, aber wir können sie mit den Messungen bestätigen 17

Variables selection (3) nicht alle bekannt nicht alle kontrollierbar Probleme Variables selection (3) nicht alle bekannt nicht alle kontrollierbar Nicht kontrollierbar: Lesegeschwindigkeit (bei 15 Sekunden Antwortzeit, durchaus entscheidend) 18

Männer/Frauen unterscheiden? Was ist ein Plazebo im SE? Probleme Experiment design (5) Männer/Frauen unterscheiden? Was ist ein Plazebo im SE? Bei uns zu wenig Frauen für eine sinnvolle Auswertung Plazebo: Ist Farbe weiss neutral? Oder steigert sie vielleicht sogar die Leistung? Man weiss es nicht. 19

Validity evaluation (7) Anzahl der Personen? Anzahl der Aufgaben? Probleme Validity evaluation (7) Anzahl der Personen? Anzahl der Aufgaben? Wie viele Personen: Ab wann kann man das Ergebnis als Gültig ansehen? U.a. abhängig von Auswertung Bei uns: Alle die da waren mussten mitmachen, trotzdem vermutlich zu wenige Ab wann kann man davon ausgehen, dass das Ergebnis nicht zufällig ist. 20

Interne Gültigkeit Externe Gültigkeit 21

neue Methoden meist schlecht Zeit/Kosten Probleme Allgemein neue Methoden meist schlecht Zeit/Kosten Das Erlernen neuer Methoden/Programme ist immer aufwändig, warum die Mühe, wenn es doch mit dem alten geht (Bsp.: Eclipse) LAST 22

Zusammenfassung 23

Literatur Claes Wohlin, Per Runeson, Martin Höst, Magnus C. Ohlsson, Björn Regnell Anders Wesslen: Experimentation in Software Engineering, Lund University, Schweden Stefan Opferkuch: Eine Untersuchung zum Einsatz komplexer Simulationsmodelle in der Projektmanagementausbildung, Diplomarbeit, 2002 Wolfram Twelker: Experimente in Medizin, Psychologie und Informatik im Stilvergleich, Seminararbeit, 2005 Jörg Eggermann: Konzept und Realisierung eines Werkzeuges zur Charakterisierung und Analyse von Software-Engineering Experimenten, Bachelorarbeit, 2005 24