Generalisierte additive Modelle Seminar: Statistische Analysen zur Wirkung von Luftschadstoffen Stefanie Sprung 8.11.2004

Überblick Lineare Modelle Verschiedene Splines Optimierung: Validierung AIC Freiheitsgrade GAM Beispiel

Lineares Modell X Kovariablen, Y Responsevariablen Additiver linearer Zusammenhang zwischen Y und X Mit zufälliger Störgröße ε

Polynom 3. Grades Rückführung des Modells auf einfaches lineares Modell mit: Designmatrix

Schätzung Basierend auf KQ-Schätzung P ist Projektionsmatrix rgP= spP= rgX= Anzahl der Spalten =Anzahl der freien Parameter

Smoother Problem: bei manchen Datensätzen gibt es keine einfache Transformation Lösung: Ersetzen der linearen Beziehung durch: f unspezifische Funktion, die bestimmten Glattheitsforderungen genügt (etwa f stetig, stetig differenzierbar etc.)

Basisfunktionsansätze Approximiere die unbekannte Funktion durch möglichst flexiblen Funktionenraum Darstellung der Funktion f als Linearkombination einer endlichen Menge von Basisfunktionen

Polynome vom Grad p einfacher Basisansatz basiert auf Polynome als Basisfunktionen verwenden wir Problem: Wahl von p?

Polynomial Splines Intervall [a,b] R und Knoten a-ξ1< ξ2<....< ξm-b Funktion s:[a,b]->R heißt Spline-Funktion vom Grad l (Ordnung l+1), wenn S ist Polynom (max Grad k) auf [ξ j, ξ j+1] j=0,..,m S besitzt stetige Ableitungen der Ordnung l-1 auf [a,b] Menge der Polynomsplines ist ein Vektorraum der Ordnung m+(l-1) (Anzahl der Knoten + Grad)

B-Splines Basisfunktion für Splines Dann erhalten wir für z [a,b]

B-Splines zur Berechnung benötigen wir 2l zusätzliche Knoten Knotenmenge bildet erweiterte Partition äquidistante Knotenwahl: Intervall [xmin,xmax] und erhalten Knoten Wie viele Knoten sollen spezifiziert werden? Wo sollen die Knoten plaziert werden?

Bilder B-Spline

P-Splines definiere eine relativ große Anzahl äquidistanter Knoten (ca. 20-40) um ausreichende Flexibilität des Splineraums zu gewähren zu starke Abweichungen benachbarter Regressionskoeffizienten βj werden durch Strafterme basierend auf quadrierte Differenzen k-ter Ordnung bestraft

P-Spline unbekannte Funktion f durch einen Spline vom Grad l approximieren Bj ist eine B-Spline Basis

P-Splines penalisierte Residuenquadratsumme Differenzenoperator k-ter Ordnung Strafterm-> Verhindert zu starke Anpassung an Daten, damit überfitten Glättungsparameter λ

Glättungsspline x1<x2<…<xn ->min Lösung: natürliche kubische Splines ist Polynom 3.Grades auf [xi;xi+1] für alle i f´´(xi) ist stetig in allen Beobachtungen f´´(x1)=f´´(xn)=0 d.h. am Rand verschwindet die 2. Ableitung

kubische Splines a<x1<...<xn<b eine Unterteilung des Intervalls [a,b] zusätzliche Randbedingung: s‘‘(a)=0, s‘‘(b)=0 in den Intervallen [a,xn] und [xn,b] ist s linear bei Glättungssplines mehr Basisfunktionen notwendig penalisierter KQ-Kriterium wobei ein NKS in B-Spline Basis ist

lokale Polynome Nächste Nachbar Schätzer Lokale polynomiale Regression Locally-weighted running-line smoother im statistischen Programmpaket loess k nahsten Nachbarn

Nächste Nachbar Schätzer „Mittelwert“ der Responsebeobachtungen in einer Nachbarschaft formal: Ave Mittelwertoperator und N(xi) eine Nachbarschaft von xi symmetrische Nachbarschaft k nächsten Nachbarn (unsymmetrische Nachbarschaft)

Mittelwertoperatoren Running mean Schätzer: arithmetisches Mittel der Beobachtung in N(xi) zur Bestimmung von Running median Schätzer: Median der Beobachtung in N(xi), nichtlinearer Glätter Running line Schätzer: Beim Running line Schätzer definieren wir KQ-Schätzer basierend auf Beobachtungen

Lokale polynomiale Regression Taylorapproximation gewichtete Residuenquadratsumme wobei als Schätzer bedingter Erwartungswert

Berechnung der lokalen Polynome K nächste Nachbar von x0 wird identifiziert, bezeichnet als N(x0) wird berechnet, Distanz des weitesten nahsten Nachbarn von x0 Gewichte wi sind zugewiesen zu jedem Punkt in N(x0), sie benutzen das tri-kubsiche Gewichtsfunktion:

Berechnung der lokalen Polynome definierten Gewichte mit 0≤u≤1 bestimmen durch gewichtete lineare Regression

Glättungsparameterwahl λ steuert den Ausgleich zwischen Bias und Variabilität λopt minimiert ein Kriterium mean average squared error predicted squared-error

Kreuz-Validierung Leaving one out Schätzung aller Daten ohne (yi,xi) Summe der neuen Gewichte Σ(sij/(1-sii))=1

Generalisierte Kreuz-Validierung Rechentechnisch einfacher Sii durch Spur ersetzt

Additive Modelle Additivität der Einflußgrößen wird beibehalten, während der lineare Einfluss fallen gelassen wird f1,...,fp sind unbekannte „glatte“ Funktionen

AIC-Statistik Erste Term bestraft eine mangelnde Anpassung an die Daten Zweite Term bestraft die hohe Modellkomplexität Menge des AIC hat Form des Akaike-Informationskriterium Matrix R ist Gesamtsmoothermatrix

Freiheitsgrade SST =SSM+SSE n-1 = p +n-p-1 Freiheitsgrade σ²=SSE/n-p -> erwartungstreuer Schätzer df=sp(Sλ) (alternativ: n-sp(2Sλ-SλSλT ) oder sp(SλSλT)) Freiheitsgrade Freiheitsgrade der Fehler

Projektionsmatrix df(model)=tr(S) df(error)=E(RSS)=σ²(n-tr(2S-SST) S ist symmetrisch und idempotent Für polynomiale Regression, Regressions-Splines df(error)=σ²(n-tr(S))

Generalisierte Lineare Modelle Bedingte Verteilung gehört Exponentialfamilie an Es gilt: Erwartungswertr hängt über Responsefunktion ab

Generalisierte additive Modelle Lineare Prädiktor wird durch additiven ersetzt Unbekannte Funktionen könne durch KQ-Algorithmus und Backfitting Algorithmus geschätzt werden Residuenquadratsumme wird durch Devianzen ersetzt

Generalisierte additive Modelle Loglikelihood in Abhängigkeit vom geschätzten Erwartungswert Devianz: Je höher Devianz, desto schlechter Anpassung

Generalisiertes lineares Modell

Polynom 3. Grades

Kubischer Spline mit 3 Knoten

Kubischer Spline mit 7 Knoten

Lokal gewichteter Spline

Smoothing Spline

Quellenangabe Studie „Assesing Confounding, Effect Modification, and Thresholds in the Association between Ambient Particles and Daily Deaths“ Joel Schwarz „Generalized Additive Models“ Hastie/Tibsherani „Multivariate Statistical Modelling Based on Generalized Linear Models“ Fahrmeir/Tutz „Computerintensive Verfahren der Statistik“ Stefan Lang