Experimentaufbau und -design

Präsentation zum Thema: "Experimentaufbau und -design"—  Präsentation transkript:

1 Experimentaufbau und -design
Radoslaw Rudnicki

2 Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

3 Wir sammeln Daten

4 15 Sekunden Zeit je Aufgabe keine Kommunikation untereinander
Wir sammeln Daten zwei Computer jeweils zwei Fragen 15 Sekunden Zeit je Aufgabe keine Kommunikation untereinander Entschädigung: Ferrero Küsschen 1

5 Wir sammeln Daten 2

6 3

7 Rudnicki 3

8 Rudnicki Fabig 3

9 Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

10 Was ist eigentlich ein Experiment?
Definition

11 Was ist eigentlich ein Experiment? Definition (1) methodisch
kontrolliert quantifizierbar reproduzierbar randomisiert 4

12 Was ist eigentlich ein Experiment? Definition (2)
Analyse des Arbeitsprozesses hinsichtlich der Richtigkeit und des Zeitbedarfs in der Absicht Einflüsse der Farbe rot zu erkennen aus der Sicht eines Softwareentwicklers im Kontext der Oberflächengestaltung 5

13 Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

14 Was ist eigentlich ein Experiment?
Planung

15 Was ist eigentlich ein Experiment? Planung
definition Experiment planning Context selection Hypothesis formulation Variables selection Selection of subjects Experiment design Instrumen- tation Experiment Design != Experiment Design Validity evaluation Experiment design 6

16 Was ist eigentlich ein Experiment? Planung – Context selection (1)
Offline vs. Online Student vs. Professional Toy vs. Problems Specific vs. General Offline: parallel zu „echten Projekten“ Online: Experimente zu aktuellen Projekten, an denen gearbeitet wird 7

17 Was ist eigentlich ein Experiment? Planung – Context selection (1)
Offline vs. Online Student vs. Professional Toy vs. Problems Specific vs. General 7

18 Was ist eigentlich ein Experiment?
Planung – Hypothesis formulation (2) Nullhypothese Alternative Hypothese Nullhypothese1: rot hat keine Auswirkung auf die Korrektheit der Antwort Nullhypothese2: rot hat keine Auswirkung auf die Antwortzeit Alternativ1: rot beeinflusst Korrektheit negativ Alternativ2: rot beeinflusst Antwortzeit negativ 8

19 Was ist eigentlich ein Experiment? Planung – Variables selection (3)
unabhängige Variablen abhängige Variable Prozess Unabhängige Variablen: Schwierigkeitsgrad der Fragen, Motivation, Farbe Abhängige Variable: Beantwortungszeit, Richtigkeit 9

20 Was ist eigentlich ein Experiment? Planung – Variables selection (3)
unabhängige Variablen abhängige Variable Prozess Unabhängige Variablen: Schwierigkeitsgrad der Fragen, Motivation, Farbe Abhängige Variable: Antwortungszeit, Richtigkeit 9

21 Was ist eigentlich ein Experiment? Planung – Selection of subject (4)
Personenauswahl Kontrollgruppe Versuchsgruppe M1 X M2 Kontrollgruppe P M1' Fortgeschrittener Computerbenutzer Gleich, weil alle ungefähr das gleiche Bildungsniveau haben 10

22 Was ist eigentlich ein Experiment? Planung – Experiment design (5)
was wird gemessen wie wird getestet Anzahl der Personen festlegen Anzahl der Tests Was wird gemessen: Zeit, Richtigkeit Wie: Fragen werden gestellt #Personen: Minimum, hier: alle die da sind #Test: hier: 2 11

23 Was ist eigentlich ein Experiment? Planung – Experiment design (5)
randomisieren blocking balancing Randomisieren: zufällig, wer welche Farbe bekommt Blocking: unerwünschte Effekte ausgleichen Alex nicht dabei, weil er es kennt zum Beispiel kann ein teil OOP und die anderen nicht, dann gesondert testen Balancing: Gruppen ausgleichen (ein gut Ausgebildeter gegen 3 Anfänger) 12

24 Was ist eigentlich ein Experiment? Planung – Instrumentation (6)
Leitfaden Messung Leitfaden: Beschreibung wie das ganze Experiment abläuft, evtl. Checklisten Messung: Womit, wie?  Ergebnis unabhängig von Instrumentation, sonst ist es ungültig 13

25 Was ist eigentlich ein Experiment? Planung – Validity evaluation (7)
interne Gültigkeit externe Gültigkeit Intern: Korrektheit des Experiments, Ergebnis kann auch die Einstellung der Variablen zurück geführt werden Extern: Verallgemeinerung auf höhere Komplexitätsebenen 14

26 Was ist eigentlich ein Experiment? Planung
definition Experiment planning Context selection Hypothesis formulation Variables selection Selection of subjects Experiment design Instrumen- tation Experiment Design != Experiment Design Validity evaluation Experiment design 15

27 Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

28 Was ist eigentlich ein Experiment?
Durchführung

29 { Was ist eigentlich ein Experiment? Durchführung abhängige Variable
Prozess unabhängige Variablen Experiment design Unabhängige Variablen: Schwierigkeitsgrad der Fragen, Motivation, Farbe Abhängige Variable: Antwortungszeit, Richtigkeit unabh.Variablen in def. Zuständen 16

30 Gliederung Wir sammeln Daten Was ist eigentlich ein Experiment? Definition Planung Durchführung Probleme

31 Probleme

32 Hypothesis formulation (2) Type-1-Error Type-2-Error
Probleme Hypothesis formulation (2) Type-1-Error Type-2-Error Type-I-Error -> Nullhyphotese stimmt, aber wir stellen was anderes fest Type-II-Error -> Nullhypothese falsch, aber wir können sie mit den Messungen bestätigen 17

33 Variables selection (3) nicht alle bekannt nicht alle kontrollierbar
Probleme Variables selection (3) nicht alle bekannt nicht alle kontrollierbar Nicht kontrollierbar: Lesegeschwindigkeit (bei 15 Sekunden Antwortzeit, durchaus entscheidend) 18

34 Männer/Frauen unterscheiden? Was ist ein Plazebo im SE?
Probleme Experiment design (5) Männer/Frauen unterscheiden? Was ist ein Plazebo im SE? Bei uns zu wenig Frauen für eine sinnvolle Auswertung Plazebo: Ist Farbe weiss neutral? Oder steigert sie vielleicht sogar die Leistung? Man weiss es nicht. 19

35 Validity evaluation (7) Anzahl der Personen? Anzahl der Aufgaben?
Probleme Validity evaluation (7) Anzahl der Personen? Anzahl der Aufgaben? Wie viele Personen: Ab wann kann man das Ergebnis als Gültig ansehen? U.a. abhängig von Auswertung Bei uns: Alle die da waren mussten mitmachen, trotzdem vermutlich zu wenige Ab wann kann man davon ausgehen, dass das Ergebnis nicht zufällig ist. 20

36 Interne Gültigkeit Externe Gültigkeit 21

37 neue Methoden meist schlecht Zeit/Kosten
Probleme Allgemein neue Methoden meist schlecht Zeit/Kosten Das Erlernen neuer Methoden/Programme ist immer aufwändig, warum die Mühe, wenn es doch mit dem alten geht (Bsp.: Eclipse) LAST 22

38 Zusammenfassung 23

39 Literatur Claes Wohlin, Per Runeson, Martin Höst, Magnus C. Ohlsson, Björn Regnell Anders Wesslen: Experimentation in Software Engineering, Lund University, Schweden Stefan Opferkuch: Eine Untersuchung zum Einsatz komplexer Simulationsmodelle in der Projektmanagementausbildung, Diplomarbeit, 2002 Wolfram Twelker: Experimente in Medizin, Psychologie und Informatik im Stilvergleich, Seminararbeit, 2005 Jörg Eggermann: Konzept und Realisierung eines Werkzeuges zur Charakterisierung und Analyse von Software-Engineering Experimenten, Bachelorarbeit, 2005 24