Methodische Richtlinien Transparenz (Dokumentiert) Vergleichbarkeit (Standardisiert) Nachvollziehbarkeit (Begründet) Wiederholbarkeit (Replizierbar) Bewertbar.

Präsentation zum Thema: "Methodische Richtlinien Transparenz (Dokumentiert) Vergleichbarkeit (Standardisiert) Nachvollziehbarkeit (Begründet) Wiederholbarkeit (Replizierbar) Bewertbar."—  Präsentation transkript:

1 Methodische Richtlinien Transparenz (Dokumentiert) Vergleichbarkeit (Standardisiert) Nachvollziehbarkeit (Begründet) Wiederholbarkeit (Replizierbar) Bewertbar (Evaluierbar)

2 Vortrag zum Umgang mit Missing Data in wissenschaftlichen Studien Jörg Michael Müller Universität Bremen RFNB

3 Ziele des Vortrags Überblick: Probleme durch MD Vorschlag: Leitfaden für MD Werkzeuge: SAS-Makros

4 MD führen in folgenden Bereichen zu Problemen: Auswertung: Software Statistik (nonparametrische Tests) Interne Validität: MD als Drittvariable Externe Validität: Stichprobenbeschreibung Darstellung innerhalb von Veröffentlichungen

5 Hinzu kommende spezifische statistische Probleme: Welche Voraussetzung sind vor einer Ersetzung zu beachten? Welche Ersetzungsmethoden gibt es? Welche Besonderheiten der Daten sind wichtig (Anteil an MD; Design vs Effektvariable; Auswertungsstrategien, etc.)? Welchen Effekt haben die MD auf die Ergebnisse?

6 Beispiel anhand der Mittelwertsersetzung: Variable x mit 20 % MD Ersetzung durch Designzellenmittelwert Effekt auf Parameter: Stabilisierung der Mittelwertsunterschiede bei gleichzeitiger Verringerung der Varianz und Erhöhung des Ns Effekt auf Ergebnisse: Mittelwertsunterschiede werden schneller signifikant. Je mehr MD, desto besser für die Ergebnisse?

7 Das Abfolge-Problem: MD-Behandlung ist keine 1. Schritt- Prozedur Wiederholung von Teilschritten (Analyse & Ersetzung) Die Reihenfolge bestimmt das Ergebnis Die Reihenfolge sollte standardisiert sein

8 Konsequenzen MD-Probleme werden individuell gelöst Das Vorgehen ist meist weder einheitlich noch dokumentiert Keine Analyse der MD Pragmatische Lösung nach den Möglichkeiten der Software

9 Zusammenfassung der MD- Problematik Es fehlt ein Leitfaden, wie mit MD umgegangen werden soll. Es fehlen technische Hilfsmittel zur Umsetzung des Leitfadens

10 Leitfadenüberblick Teil1: Vorbereitung der Daten Teil2: Analyse der M(C)AR-Bedingung Teil3: Herstellung der M(C)AR-Bedingung Teil4: Ersetzung Teil5: Überprüfung

11 1. Datenscreening - Datencheck 2. Datenreduktion Auswertung der Fragebögen Index-Bildung Leitfaden Teil I: Vorbereitung 3. Datencodierung: echtevs intentional 4. Erstellen einer Indikatormatrix

12 Datenscreening Verteilung einer Variablen und der MD Alle Verteilungen auf einen Blick...

13 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Ergebnis der Vorbereitung OBS PERSON TREAT SEX ITEM1 ITEM2 ITEM3 KRIT MIS6 MIS5 MIS1 MIS2 MIS3 MIS4 1 VP2. 1.... 1 0 1 1 1 1 2 VP1 1 1 4 4 5 34 0 0 0 0 0 0 3 VP3 1 1 3 3 3 23 0 0 0 0 0 0 4 VP4 1 2 5.. 34 0 0 0 1 1 0 5 VP5 1 2 5 1. 35 0 0 0 0 1 0 6 VP6 1 2 1 2 3 43 0 0 0 0 0 0 7 VP10 2 2 S 4 6 20 0 0 0 0 0 0 8 VP11 2 2 S 3 5 33 0 0 0 0 0 0 9 VP12 2 2 S 2 6 20 0 0 0 0 0 0 10 VP7 2 1 S 1. 42 0 0 0 0 1 0 11 VP8 2 1 S 2. 23 0 0 0 0 1 0 12 VP9 2 1 S 5. 33 0 0 0 0 1 0 RohdatenIndikatormatrix MAR? MCAR?

14 Leitfaden Teil II: Analyse 6. Analysieren der MD-Gesamtmenge 7. Check der MAR-Bedingung = Klärung der Herkunft von Missing Data 8. Probanden (Niedrige Compliance) 9. Variablen (unverständliche Items) 10. Identifizierung, Lokalisierung

15 Ergebnis des SAS-Makros %missingi Wie massiv ist das MD-Problem? Wie verteilen sich die MD je Person? Um welche Personen handelt es sich?

16 Zusammen auf einem Blatt

17 Das Gleiche für die Variablen

18 Leitfaden Teil III: Herstellung der M(C)AR-Bedingung 11. Löschung nicht informativer Spalten und Zeilen 12. Check der MAR-Bedingung 13. Zusätzliche Prüfung der MCAR- Bedingung Häufung von MD in Designzellen OBS PERSON TREAT SEX ITEM1 ITEM2 ITEM3 KRIT 1 VP2. 1.... 2 VP1 1 1 4 4 5 34 3 VP3 1 1 3 3 3 23 4 VP4 1 2 5.. 34 5 VP5 1 2 5 1. 35 6 VP6 1 2 1 2 3 43 7 VP10 2 2 S 4 6 20 8 VP11 2 2 S 3 5 33 9 VP12 2 2 S 2 6 20 10 VP7 2 1 S 1. 42 11 VP8 2 1 S 2. 23 12 VP9 2 1 S 5. 33

19 Grundsätze zur Ersetzungsmethode MD in Designvariablen werden nicht ersetzt Keine Ersetzung nach Modellannahmen Prädiktion in AVs durch verbleibende AVs Beibehaltung von Dateneigenschaften (z.B. Minimum, Maximum)

20 Leitfaden Teil IV: Ablauf der Imputation I1 I2 I3 K P1 P2 P3 PK.... 5.81 -1.09 4.35 39.28 4 4 5 34 3.61 3.98 5.08 28.92 3 3 3 23 1.66 2.97 2.14 28.92 5.. 34 4.44 2.56 5.58 28.92 5 1. 35 4.44 2.39 4.84 30.09 1 2 3 43 -0.84 2.76 2.14 51.02 S 4 6 20 4.01 3.98 6.25 20.46 S 3 5 33 4.01 2.97 5.08 28.92 S 2 6 20 4.01 2.76 6.25 20.46 S 1. 42 4.01 2.39 3.82 36.09 S 2. 23 4.01 2.76 5.02 28.92 S 5. 33 4.01 3.98 5.46 28.92 AV Predicted Value O O

21 Leitfaden Teil V: Kontrolle der Ersetzung ITEM1 ITEM2 ITEM3 KRIT 5 1 4 39 4 4 5 34 3 3 3 23 5 3 6 34 5 1 5 35 1 2 3 43. 4 6 20. 3 5 33. 2 6 20. 1 4 42. 2 5 23. 5 5 33 ITEM1 ITEM2 ITEM3 KRIT.... 4 4 5 34 3 3 3 23 5.. 34 5 1. 35 1 2 3 43 S 4 6 20 S 3 5 33 S 2 6 20 S 1. 42 S 2. 23 S 5. 33 ITEM1 ITEM2 ITEM3 KRIT 6 -1 4 39 4 4 5 34 3 3 3 23 5 3 6 34 5 1 5 35 1 2 3 43. 4 6 20. 3 5 33. 2 6 20. 1 4 42. 2 5 23. 5 5 33 RohdatenVorhergesagte WerteKorrigierte Werte OOO

22 Rückblick Leitfaden zur Behandlung von MD Werkzeuge zur Analyse und Ersetzung von MD Standardisierung und Dokumentation der MD- Behandlung

23 Bewertung des Leitfadens aufgrund methodische Richtlinien Der Leitfaden ist transparent (dokumentierbar) vergleichbar (standardisiert) nachvollziehbar (begründet) wiederholbar (replizierbar) bewertbar (evaluierbar)

24 Ausblick Vom experimentellen Stand zum allgemein einsetzbaren Werkzeug Kontinuierliche Verbesserung der MD- Behandlung nach transparenten Leifäden zur Qualitätssicherung in der Auswertung rehabilitationswissenschaftlicher Studien

25 Diskussion

26