Raymond J. Carroll Texas A&M University Non/Semiparametrische Regression und clustered/Longitudinal.

Präsentation zum Thema: "Raymond J. Carroll Texas A&M University Non/Semiparametrische Regression und clustered/Longitudinal."—  Präsentation transkript:

1 Raymond J. Carroll Texas A&M University http://stat.tamu.edu/~carroll carroll@stat.tamu.edu Non/Semiparametrische Regression und clustered/Longitudinal Daten Es heißt Gerglich: gemischt Deutsch und English

2 College Station, Texas A&M University I-35 I-45 Big Bend National Park (Wüste und Berge) Wichita Falls, meine Heimat (ja, ich bin ein Texaner!) West Texas Palo Duro Canyon, der Grand Canyon of Texas Guadalupe Mountains National Park (3,000 meter hoch) Ost Texas

3 Raymond CarrollAlan Welsh Naisyin WangEnno Mammen Xihong Lin Oliver Linton Dank an Für die Artikel: Bitte besuchen Sie meine Webseite

4 Übersicht Longitudinal Modelle: Panel Daten Hintergrund: Splines = Kerne für unabhängige Daten Daten mit Korrelation: Splines = Kerne?

5 Panel Daten (Einfaches Beispiel) i = 1,…,n Cluster oder Individuen j = 1,…,m Beobachtungen per Cluster Subjekt/ Cluster t1t2… tm 1XXX 2XXX …X nXXX

6 Panel Daten i = 1,…,n Cluster/Individuen j = 1,…,m Beobachtungen per Cluster Wichtige Punkte: Clustergröße m fest Das ist nicht ein multiples Zeitreihen Problem mit Clustergröße Bemerkungen zum einfachen Zeitreihen Problem: Ende des Vortrags

7 Die Marginal Nicht-Parametrische Modell Y = Response (Zielgröße) X = Kovariablen in einem Cluster Frage: Können wir die Korrelation für eine bessere Eff izienz benutzen?

8 Ein nicht standard Beispiel: Forschung zu Darmkrebs (Tierversuch) Daten aus einzelnen Zellen in Ratten mit DNA schaden, differentiation, proliferation, apoptosis, P27, etc.

9 Unabhängige Daten Splines (smoothing, P-splines, etc.) mit penalty parameter = Ridge Regression Etwas Bias, kleine Varianz ist über-parameterisiert LS ist eine polynomiale Regression

10 Unabhängige Daten Kerne (lokale Durchschnitte, lokale lineare, usw.), mit Kerndichte Funktion K und Bandweite h Wenn die Bandweite h 0 geht, sind nur Beobachtungen mit X in der Nähe von t wichtig

11 Unabhängige Daten Wichtige Methoden Splines Kerne Smoothing parameters sind notwendig für beide Methoden Schätzungen: ähnlich in den meisten Datensätzen Erwartung: Splines = Kerne: es gibt eine Kern- Funktion und eine Bandweite in welchen Kerne und Splines gleich sind (asymptotisch) 12

12 Unabhängige Daten Splines und Kerne sind Linear in den Responses Silverman: es gibt eine Kern Funktion und eine Bandweite in welchen gleich sind (asymptotisch) In diesem Sinn, Splines = Kerne

13 Beispiel: Die weight Funktionen G n (t=.25,x) für unabhängige Daten in einen spezifischen Fall Kern Smoothing Spline Beachten Sie die Ähnlichkeit die Formen. Nur die Xs in der Nähe von t=0.25 bekommen Gewicht

14 Working Unabhängigkeit Working Unabhängigkeit: wenn man alle Korrelationen ignoriert Korrektur der Standardfehler später Vorteil: Einfach Nachteil: möglicher Verlust von Effizienz Beispiel endes des Vortrags Standard Methode: zum Beispiel, Zeger & Diggle, Hoover, Rice, Wu & Yang, Lin & Ying, etc.

15 Working Unabhängigkeit Working Unabhängigkeit: Weighted Splines und weighted Kerne sind linear in den Responses Das Silverman Resultat ist immer noch gü ltig In diesem Sinn, Splines = Kerne

16 Benützung der Korrelation Für abhängigen Daten ist die Spline Methode klar Sei ein Working Kovarianz Matrix sein Penalized Generalized least squares (GLS) GLS Ridge Regression Weil die Splines auf der Likelihood Methode basieren, kann man sie schnell auf neue Probleme verallgemeinern

17 Benützung der Korrelation Für die abhängigen Daten, die Spline Methologien sind klar Kerne sind nicht so klar Aber man kann theoretische Rechnungen mit Kernen machen lokal likelihood Kern Ideen sind Standard in unabhängigen Daten Problemen Die meisten Arbeiten für Kerne mit Korrelationen haben die lokal likelihood Idee benutzt.

18 Kerne und Korrelation Problem: Wie kann man locality für Kernels definieren? Ziel: Die Schätzung der Funktion von t = diagonal Matrix mit standard Kern weight Standard Kern Methode: GLS aber inverse Kovariance Matrix ist Dieser Schätzer ist lokal

19 Kerne und Korrelation beispiel: m=3, n=35 Exchangeable Korrelations Struktur Rot: = 0.0 Grün: = 0.4 Blau: = 0.8 Beachten Sie: die Kerne sind lokal Die weight Funktion G n (t=.25,x)

20 Splines und Korrelation Beispiel: m=3, n=35 Exchangeable Korrelations Struktur Rot: = 0.0 Grün: = 0.4 Blau: = 0.8 Beachten Sie : die Splines sind nicht lokal Die weight Funktion G n (t=.25,x)

21 Splines und Korrelation Beispiel: m=3, n=35 Komplexe Korrelation Struktur Rot: Fast singular Grün: = 0.0 Blau: = AR(0.8) Beachten Sie : die Splines sind nicht lokal Die weight Funktion G n (t=.25,x)

22 Splines und Standard Kerne Wenn man versucht die Korrelation zu benutzen: Standard Kerne bleiben lokal Splines sind nicht lokal Numerische Ergebnisse können theoretisch bestätigt werden

23 Kerne und Korrelation: Überraschungen GLS mit weight Optimal working Kovarianzmatrix ist working Unabhängigkeit! Bei Benutzung der richtigen Kovarianzmatrix Varianz wird größer MSE wird größer Splines Kerne (Meiner Meinung nach: nicht diese Kerne)

24 Pseudo-Responses Kern Methoden Bessere Kern Methoden sind möglich Pseudo-Responses: Original Methode Konstruktion: Lineare Transformation von Y Erwartungswert = (X) Kovariance = Diagonal Matrix Diese Methode ist eine Transformation des original Responses, aber ohne Änderung des Erwartungswertes

25 Pseudo-Observation Kernel Methods Entwicklung: Lineare Transformation des Y Erwartungswert = (X) Kovarianz = Diagonal Matrix Iterativ Effizienz: Im allgemein, größere Effizienz als bei working Unabhängigkeit Beweiß des Prinzips: Eine Kern Methode kann so konstruiert werden, dass man die Korrelation benutzen kann

26 Vergleich der Effizienz der Splines und der Pseudo-Response Kerne Exchng: Exchangeable mit Korrelation 0.6 AR: autoregressive mit Korrelation 0.6 Near Sing: fast singuläre Matrix

27 Was machen GLS Splines? GLS Splines sind in Wirklichkeit working Unabhängigkeit Splines mit pseudo-responses Defininiere GLS Splines sind working Unabhängigkeit Splines

28 GLS Splines und SUR Kerne GLS Splines sind working Unabhängigkeit Splines Algorithmus: Iteration bis zur Konvergenz Idee: für Kerne, machen Sie die gleichen Rechnungen Das ist die Naisyin Wang SUR Methode

29 SUR Kernel Methods Es ist wohl bekannt dass das GLS Spline ein analytische genaue Form hat Wir haben gezeigt dass die SUR Kern Methode auch ein analytische genaue Form hat Beide Methoden sind linear in dem Responses Schwierige Rechnungen zeigen dass Silvermans Ergebnis für die SUR Kern Methode immer noch stand hält Splines = SUR Kerne

30 lokal oder nicht? GLS Splines und SUR Kerne sind nicht lokal Mancher findet dieses überraschend Wir brauchen eine andere Formulierung Wir mochten die Funktion von t zu erschätzen Ergebnis: Wenn ein X in der Nähe von t ist, haben alle Responses im Cluster Gewicht (nicht nur die Kovariablen in der Nähe von t) lokalheit: Definiert für die Cluster, nicht für X

31 lokal oder nicht? Wangs SUR Kerne = pseudo Kerne mit kluger linearer Transformation. Definieren Sie SUR Kerne sind working Unabhängigkeit Kerne

32 Im welchem Sinn sind Splines lokal? Splines = SUR Kerne (Silverman-type Ergebnis) GLS Spline: Iterativ Standard unabhängig Spline smoothing SUR pseudo-Responses für jede Iteration GLS Splines sind nicht lokal GLS Splines sind lokal in (der gleichen!) pseudo- Responses

33 Zeitreihen Probleme Zeitreihen: ähnliche Probleme Originale pseudo-Response Methode Zwei Stufen Lineare Transformation Erwartungswert (X) unabhängige Fehler Dann wenden Sie die Standard Kern Methode an Möglichkeit für große Effizienz unendlich für AR Probleme mit großer Korrelation

34 Zeitreihen: AR(1) Beispiel, Erste Pseudo-Response Methode AR(1), Korrelation : Regress Y t 0 an X t

35 Zeitreihen Probleme AR(1) Fehler mit Korrelation Effizienz der pseudo-Response Methode vergleichen mit working Unabhängigkeit:

36 Semiparametrisches Modell Y = Response X,Z = Zeit variierende Kovariablen Frage: Kann man die Effizienz durch die Benützung der Korrelation verbessern??

37 Profil Methode 2 Stufen Stufe I: Für jedes, regress (wie?) Stufe II: Regress (wie?)

38 Profil Methode Stufe I: Für jedes, regress (wie?) Möglichkeiten: Working Unabhängigkeit Standard Kerne Pseudo –Response Kerne SUR Kerne

39 Profil Methode Stufe II: Regress (wie?) Möglichkeiten: Working unabhängigkeit GLS, mit der Benutzung der Kovarianz Structur

40 Profil Methode Die Verbindung des SUR Kerne mit GLS ist semiparametrich asymptotisch effizient

41 Alter.014.035.010.033.008.032 Anzahl von Zigaretten pro Tag.984.192.549.144.579.139 Drogengebrauch1.05.53.58.33.58.33 # von Partnern-.054.059.080.038.078.039 Depression?-.033.021-.045.013-.046.014 Longitudinal CD4 Count Daten (Zeger und Diggle) Working Unabhängigkeit Est. s.e. Semiparametric GLS Z-D Semiparametric GLS refit

42 Folgerung I: Nicht-parametrische Regression Bei Nicht-parametricher Regression Kernels = Splines für working Unabhängigkeit (W.I.) Working Unabhängigkeit ist nicht effizient Standard Kerne Splines für korrelierte Daten

43 Folgerung II: Nicht-parametrische Regression In Nicht-parametricher Regression Pseudo-response Methode hat mehr Effizienz als working Unabhängigkeit SUR Kerne = Splines für korrelierte Daten Splines und SUR Kerne sind nicht lokal Splines und SUR Kerne sind lokal in pseudo- Responses

44 Folgerung III: Semiparametrische Regression In semiparametrischer Regression: Die Methode der Schätzung hat einen Effekt SUR Kerne (und GLS Splines) plus profile- GLS sind effizient (asymptotisch) In der Praxis Unterschiede zwischen der working Unabhängigkeit und Semiparametrische GLS in den Schlüssen

45 Eine Bermerkung Alle Schwierigkeiten in diesem Problem kommen durch unsere Versuche, gute Kern Methoden zu definieren Abschließend, Kerne haben nicht mehr Efficienz als Splines, und Sie sind schwieriger zu definieren Aber, mit Kerne kann man theoretische Rechnungen machen

46 Eine Werbung Semiparametric Regression Cambridge University Press, 2003 David RuppertMatt Wand Raymond Carroll

47 The decrease in s.e.s is in accordance with our theory. The other phenomena are more difficult to explain. Nonetheless, they are not unique to semiparametric GEE method. Similar discrepant outcomes occurred in parametric GEE estimation in which (t) was replaced by a cubic regression function in time. Furthermore, we simulated data using the observed covariates but having responses generated from the multivariate normal with mean equal to the fitted mean in the parametric correlated GEE estimation, und with correlation given by Zeger und Diggle. The level of divergence between two sets of results in the simulated data was fairly consistent with what appeared in the Table. For example, among the first 25 generated data sets, 3 had different signs in sex partners und 7 had the scale of drug use coefficient obtained by WI 1.8 times or larger than what was obtained by the proposed method. The Numbers in the Table