Präsentation herunterladen
Die Präsentation wird geladen. Bitte warten
1
Regressionsmethoden
2
Inhalt 1. Problemstellung 2. Univariate lineare Regression
3. Multiple lineare Regression 4. Hauptkomponenten Regression (PCR) 5. Partielle kleinste Quadrate (PLS) 6. Zusammenfassung
3
1. Problemstellung Quantitative Bestimmung der 3 isomeren Nitrophenole in wäßriger Lösung o-Nitrophenol m-Nitrophenol p-Nitrophenol
4
1.1 Kalibrierproben Wie stellt man die Kalibrierproben zusammen?
1. Forderung: möglichst wenige Kalibrierproben (in der Praxis max.10 Bequemlichkeit) 2. Forderung: die Kalibration muß den zu erwartenden Konzentrationsbereich abdecken 3. Forderung: Randomisierung hinsichtlich Konzentration und zeitlicher Reihenfolge mögliche Herangehensweise: Konzentrationsbereich: 10-6 mol/l C 10-4 mol/l low = l = 10-6 mol/l medium = m = 10-5 mol/l high = h = 10-4 mol/l
5
1.1 Kalibrierproben l m h o-Nitrophenol m-Nitrophenol p-Nitrophenol
l l l m l h m l m m m h h l h m h h l l l l l m l l h l m l l m m l m h l h l l h m l h h m l l m l m m l h m m l m m m m m h m h l m h m m h h h l l h l m h l h h m l h m m h m h h h l h h m h h h 3 Konzentrationen 27 x y z 10
6
Inhalt 1. Problemstellung 2. Univariate lineare Regression
3. Multiple lineare Regression 4. Hauptkomponenten Regression (PCR) 5. Partielle kleinste Quadrate (PLS) 6. Zusammenfassung
7
2.1 ULR - Grundlagen berechnetes Modell wahres Modell y y x x
Annahmen: x = unabhängige Variable (z.B. Konzentration), fehlerfrei (sonst orthogonale Regression) y = abhängige Variable (z.B. Extinktion), Meßwert fehlerbehaftet berechnetes Modell wahres Modell y y x x
8
Die meisten Regressionsmethoden arbeiten nach dieser Methode!!!
2.1 Least-Squares Methode (Gauss) Zielstellung: berechnete Regressionsgerade soll sich der Punktwolke möglichst gut anpassen Berechnung der Residuen: Minimierung der Fehlerquadratsumme: Minimierung bedeutet Bilden der partiellen 1. Ableitung und Nullsetzen der Gleichungen Die meisten Regressionsmethoden arbeiten nach dieser Methode!!!
9
Schätzwert für den reinen Experimentalfehler 2 wenn Modell korrekt
2.1 Least-Squares Methode (Gauss) Berechnung der Modellparameter: Eine bedeutsame statistische Größe für eine solche Regression ist die Varianz der Residuen: Zurück zum Beispiel: Schätzwert für den reinen Experimentalfehler 2 wenn Modell korrekt Welche Wellenlänge soll ich zur Regression verwenden?
10
2.2 Auswahl der Wellenlänge
Annahme: Diejenige Wellenlänge deren Absorptionswerte am besten mit den entsprechenden Konzentrationswerten korrelieren Pearsonscher Korrelationskoeffizient R als Maßzahl für einen linearen Zusammenhang E = Vektor der Extinktionen der Proben C = Vektor der Konzentrationen des Nitrophenols in den Proben
11
2.3 ULR - Ergebnis Ergebnis: Regressionsgerade Konfidenzintervall
Meßpunkte
12
2.3 ULR - Ergebnis Was bedeutet das Konfidenzintervall?
Intervall, in dem der wahre Wert 0 bei einem bestimmten Wert von x0 mit einer Wahrscheinlichkeit von 95% liegt m-Messungen einer unbekannten Probe und Vorhersage der Konzentration Angabe des Ergebnisses immer in der Form: n = Zahl der Kalibrierproben t = Parameter der t-Verteilung (tabelliert)
13
2.3 ULR - Ergebnis Wie gut funktioniert das Modell zur Vorhersage unbekannter Proben? Test: Vorhersage der Konzentration von 115 „unbekannten“ Proben Maßzahlen für die Güte des Kalibrationsmodells: Zur graphischen Beurteilung dient der Wiederfindungsplot x-Achse: bekannte Konzentration der 115 Proben y-Achse: nach dem Kalibrationsmodell berechnete Konzentrationen der 115 Proben PRESS = Predicted Residual Error Sum of Squares RMSPE = Root Mean Squared Prediction Error
14
Modell: [O-NPh]= [-7.2710-6 + 9.9010-4E485nm]mol/l
2.3 ULR - Ergebnis PRESS=8.4010-9 mol2/l2 RMSPE=8.5510-6 mol/l Modell: [O-NPh]= [-7.27 10-4E485nm]mol/l
15
Inhalt 1. Problemstellung 2. Univariate lineare Regression
3. Multiple lineare Regression 4. Hauptkomponenten Regression (PCR) 5. Partielle kleinste Quadrate (PLS) 6. Zusammenfassung
16
3.1 MLR - Grundlagen Muß man sich bei der Auswertung auf eine Wellenlänge beschränken? Bisher folgendes Modell: Erweiterung auf m-Variablen: n-Kalibrierproben mit unterschiedlicher Zusammensetzung (im Bsp. n=10) Messung der Extinktionsspektrums jeder Probe an m-Wellenlängen (im.Bsp. 280nm - 500nm) Wichtig: n > m yi = die i-te Beobachtung (i. Bsp. die Konzentration der i-ten Probe) xik = Wert der k-ten unabhängigen Variablen (i. Bsp. Extinktion bei der k-ten Wellenlänge) bei Messung der i-ten Probe
17
3.1 MLR - Grundlagen Damit ergibt sich folgendes Modell:
Es gilt also, die p = m + 1 Schätzungen (b0, b1,...,bm) der unbekannten Regressionskoeffizienten (0, 1,...,m) zu finden !!! Matrixschreibweise des Gleichungssystems:
18
3.1 MLR - Grundlagen In Matrixschreibweise sieht das Modell folgendermaßen aus: Die „least-squares“-Lösung für b lautet dann: Kleinbuchstabe fettgedruckt = Vektor Großbuchstabe fettgedruckt = Matrix XT bedeutet: X transponieren -1 bedeutet: Matrix invertieren Inversion einer quadratischen Matrix bedeutet immer Division durch die Determinante dieser Matrix !!!
19
3.1 MLR - Grundlagen det X´X = 0
1. Probelm: Wie groß ist die Determinante wenn X die Kalibrierdatenmatrix ist ? 2. Problem: Ich kann nicht 222 Regressionskoeffizienten berechnen wenn ich nur Kalibrierproben gemessen habe !!! Lösung: Methode zur Modellfindung schrittweise vorwärts Varianzanalyse: „Sum of Squares“ die auf die Regression zurückzuführen sind mit p-1 „degrees of freedom“ det X´X = 0
20
3.1 MLR - Grundlagen Modell 1: SSReg(1) Modell 2: SSReg(2)
Berechnung der „Sum of Squares“ der Residuen mit n-p „degrees of freedom“: Berechnung der „Mean Sum of Squares“ der Regression und der Residuen Bestimmen des geeigneten Modells: Modell 1: SSReg(1) Modell 2: SSReg(2)
21
Modell 2 nicht signifikant besser
3.1 MLR - Grundlagen Ist Modell 2 wirklich besser geeignet als das einfachere Modell 1 ? Überprüfung mit einem F-Test: wenn F < F0.05,df(2)-df(1),n-p Modell 2 nicht signifikant besser (Modell 1 verwenden) wenn F > F0.05,df(2)-df(1),n-p Modell 2 signifikant besser höhere Modelle prüfen
22
Modell: [O-NPh]= [-7.2710-6 + 9.9010-4E485nm]mol/l
3.2 MLR - Ergebnisse Modell: [O-NPh] = [2.57 10-3E485nm 10-5E314nm 10-3E500nm] mol/l PRESS=1.0510-10 mol2/l2 RMSPE=9.5610-7 mol/l PRESS=8.4010-9 mol2/l2 RMSPE=8.5510-6 mol/l Modell: [O-NPh]= [-7.27 10-4E485nm]mol/l
23
Inhalt 1. Problemstellung 2. Univariate lineare Regression
3. Multiple lineare Regression 4. Hauptkomponenten Regression (PCR) 5. Partielle kleinste Quadrate (PLS) 6. Zusammenfassung
24
4.1 PCR - Grundlagen Loading Matrix P mm Daten Matrix X nm
Was bedeutet Hauptkomponentenanalyse? Datenzerlegung in eine Score- und eine Loadingmatrix Loading Matrix P mm j=1 . m p=1 . . k m Daten Matrix X nm j= m i=1 . n X = S PT Score Matrix S nm i=1 . n p=1 . . k m Und was bringt mir das ?
25
standardisierte Daten
4.2 Datenvorbehandlung Welche Möglichkeiten der Datenvorbehandlung gibt es? Rohdaten MW=? Std=? zentrierte Daten MW=0 Std=? standardisierte Daten MW=0 Std=1
26
4.2 Datenvorbehandlung vor der Zentrierung nach der Zentrierung
Wie kann ich mir die PCA veranschaulichen ? Beispieldaten aus dem Nitrophenoldatensatz: vor der Zentrierung nach der Zentrierung
27
4.3 Der NIPALS-Algorithmus
28
4.3 Der NIPALS-Algorithmus
Nonlinear Iterative Partial Least Squares t0 kann willkürlich gewählt werden X t 1 3 = Spaltensingulärvektor = Zeilensingulärvektor wT 2
29
4.3 Der NIPALS-Algorithmus
Berechnung des zugehörigen Singulärwerts: Geometrische Interpretation der PCR-Hauptkomponenten Residual-Datenmatrix: NIPALS
30
4.4 Durchführung der PCR Wie führe ich die Hauptkomponentenregression durch? 1. Datenvorbehandlung durch Zentrierung: 2. Singulärwertzerlegung der zentrierten Datenmatrix Z 3. Berechnung der Scores- und der Loadings X = Kalibrierdatenmatrix 1 = 101 Vektor aus 1en m = Vektor der Spaltenmittelwerte U = Matrix der Zeilensingulärvektoren = Matrix der Singulärwerte V = Matrix der Spaltensingulärvektoren S = Scorematrix P = Loadingmatirx
31
4.4 Durchführung der PCR Was bedeuten diese beiden Matrizen?
Score-Matrix: Koordinaten der n-Objekte im Raum der durch die m-Hauptkomponenten aufgespannt wird Loadingmatrix: enthält die Faktoren für die Linearkombination der ursprünglichen Variablen zur Berechnung der Scores (wenn p normiert Richtungskosinus) (Vorsicht: NIPALS Drehrichtung uneinheitl.) Komponenten Rauschen
32
4.4 Durchführung der PCR Wie führe ich die Hauptkomponentenregression durch? 4. Aufstellen der Regressionsgleichung für die Kalibrierdaten 5. Least-Squares-Schätzung der Regressionskoeffizienten 6. Vorhersage der unbekannten Proben c = Konzentrationsvektor cT = c = Mittelwert von c S* = Scorematrix mit den 3 PC‘s q* = Vektor der Regressionskoeff.
33
Modell: [O-NPh]= [-7.2710-6 + 9.9010-4E485nm]mol/l
4.5 PCR - Ergebnisse Modell: [O-NPh] = [2.57 10-3E485nm 10-5E314nm 10-3E500nm] mol/l PRESS=1.0510-10 mol2/l2 RMSPE=9.5610-7 mol/l Modell: [O-NPh] = [6.03 10-4Score1 10-4Score2 10-4Score3] mol/l PRESS = 4.4410-10 mol2l-2 RMSP = 1.9710-6 moll-1 PRESS=8.4010-9 mol2/l2 RMSPE=8.5510-6 mol/l Modell: [O-NPh]= [-7.27 10-4E485nm]mol/l
34
Inhalt 1. Problemstellung 2. Univariate lineare Regression
3. Multiple lineare Regression 4. Hauptkomponenten Regression (PCR) 5. Partielle kleinste Quadrate (PLS) 6. Zusammenfassung
35
5.1 PLS - Grundlagen w 1 6 X 2 Y t u 3 5 4 q
Kann man Scores finden die viel Varianz ausschöpfen und Vorhersagekraft für y haben? Der NIPALS-PLS Algorithmus versucht beide Forderungen zu erfüllen Als u0 wird die eine Spalte von Y gewählt: w 1 X Y 6 2 t u 3 5 4 q
36
5.1 PLS - Grundlagen Mit dem konvergenten Scorevektor t
erhält man die enstprechen Faktorladungen zu: Berechnung der Residualmatrizen Wiederholung des Zyklus Berechnung aller Faktoren Bestimmung der Zahl relevanter Faktoren (z.B. durch Kreuzvalidation) Matrix der Regressionskoeffizienten Vorhersage der Konzentration von o-Nitrophenol in den 115 unbekannten Proben
37
5.1 PLS - Grundlagen NIPALS-PCR NIPALS-PLS
Geometrische Interpretation der PLS-Hauptkomponenten Was bedeutet das im Vergleich zur PCR ? Der NIPALS-Algorithmus erlaubt die iterative Berechnung von Eigenvektoren quadratischer Matrizen NIPALS-PCR NIPALS-PLS
38
5.1 PLS - Grundlagen jedes Vektorpaar t und u erfüllt folgende Eigenschaften: Die Hauptkomponenten Regression maximiert ausschließlich var(t) PLS maximiert die Kovarianz zwischen t und u Die Zahl der zu verwendenden Faktoren wird über Kreuzvalidation bestimmt: Kreuzvalidation („leave one out“-Methode): Man entfernt das 1. Objekt aus dem Kalibrierdatensatz Mit den restlichen (n-1) Objekten wird das Kalibrationsmodell berechnet Mit diesem Kalibrationsmodell wird das 1. Objekt vorausgesagt Diese Prozedur wiederholt man für alle n-Objekte Die günstige Anzahl von Faktoren für das Modell bestimmt man über den folgenden Plot
39
Kreuzvalidation für o-Nitrophenol
40
5.3 Ergebnis bei 7 Faktoren im Modell PRESS=1.0110-10 mol2/l2
RMSPE=9.410-7 mol/l
41
Inhalt 1. Problemstellung 2. Univariate lineare Regression
3. Multiple lineare Regression 4. Hauptkomponenten Regression (PCR) 5. Partielle kleinste Quadrate (PLS) 6. Zusammenfassung
42
6. Zusammenfassung Wann braucht man multivariate Regressionsmethoden?
Im Labor hat man normalerweise wenige Kalibrierproben zur Verfügung An jeder Kalibrierprobe können viele Variablen gemessen werden (z.B. Spektren) Beschränkung auf eine Variable = univariate Arbeitsweise wertvolle Informationen werden verschenkt Vorteile multivariater Arbeitsweise? Maximale Ausnutzung der Information des Datensatzes Bei dimensionsreduzierenden Methoden (z.B. PCR, PLS) - sachlogische Interpretation des Modells möglich Hohe Vorhersagekraft des Modells Nachteile multivariater Arbeitsweise? Erhöhter Rechenaufwand Algorithmen zum Teil etwas undurchsichtig „Black Box“ - Anwendung gefährlich Verfahrenskenngrößen wie Nachweisgrenze, Erfassungsgrenze etc. noch nicht definiert
43
Vielen Dank für die Aufmerksamkeit
Ähnliche Präsentationen
© 2024 SlidePlayer.org Inc.
All rights reserved.