Seminar „Extrapolationsmethoden für zufällige Felder“ Vortragsthema „Spline-Extrapolation und Kriging“

Universität Ulm Seminar Stochastik Inhalt Notation Wiederholung des Universal Kriging Universal => Intrinsic Kriging Duales Kriging Spline-Interpolation Vergleich: Spline-Interpolation & Kriging Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 1.1 Notation _ Ein Zufallsfeld ist eine zufällige Funktion {Z(x,) : xd,  }, dabei bezeichnet • Z(x,·) Zufallsvariable, kurz Z(x) • Z(·, ) regionalisierte Variable (Realisierung der zufälligen Funktion), kurz z(x) Sei D d das Beobachtungsfenster, dann bezeichnen x1,...,xn die Messstellen mit xi  D, i=1,...,n, und z(x1),...,z(xn) die Messwerte an den Messstellen. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 1.2 Notation _ • Sei ein Maß, (wi Gewichte) • Wk = {w:  l=0,..,L} = { w: , w0 = -1,  l=0,..,L } • k ist die höchste Ordnung der Funktionen fl mit l=0,..,L • Und sei eine Linearkombination der gewichteten Zufallsvariablen Z(xi) an den Messstellen xiD minus Z(x0). Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 1.3 Notation _ IRF-k: intrinsisches Zufallsfeld k-ter Ordnung Definition: Ein nicht stationäres Zufallsfeld Z(x) wird intrinsisches Zufallsfeld k-ter Ordnung genannt, wenn für jedes w Wk die Linearkombination mit hd stationär 2-ter Ordnung ist und E[ ]=0. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 1.4 Notation _ Eine symmetrische Funktion K(h)=K(-h) ist eine verallgemeinerte Kovarianzfunktion eines IRF-k Z(x), wenn für jedes wWk folgendes gilt: Eigenschaften von K(h): • bedingt positiv definite Funktion k-ter Ordnung: Var(Z(w)) >= 0 für w mit , l=0,..,L • K(h) = - (h) für k=0 (äquivalent zu IRF-0 ) Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Verallgemeinerte K-Funktion _ Beispiele für K(h): K(h) = (-/2)|h| mit 0<  <2k+2 (k=Ordnung von Z) Kpol (h) = mit bu>0 Später werden wir K(h) mit k=1 und =3 benutzen: => K(h) = c|h|³ mit c  (-3/2) = (-4)/3 Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

2.1 Wiederholung: Universal Kriging _ Annahmen: Die Zufallsvariable Z(x) lässt sich wie folgt zerlegen: Z(x) = Y(x) + m(x) , mit m(x) = E[Z(x)] : deterministische Komponente = Drift und Y(x) = Z(x) – m(x) : stochastische Komponente = Fluktuation Zusätzlich soll folgendes gelten: m(x) = , fl(x) bekannte Funktionen (f0(x) = 1) al unbekannte Koeffizienten, mit al0 für l=0,..,L. Außerdem soll Y(x) stationär 2.Ordnung mit E[Y(x)] = 0 und Kovarianzfunktion C(h) sein. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

2.2 Wiederholung: Universal Kriging _ Kriging Schätzer (erwartungstreu): Universelle Bedingungen: , für l=0,..,L Sind diese erfüllt, so gilt: Var(Z*(x0)-Z(x0)) = E[(Z*(x0)-Z(x0)) ²] = Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

2.3 Wiederholung: Universal Kriging _ Kriging System: für i=1,..,n für l=0,..,L In Matrix-Notation: Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

3.1 Universal => Intrinsic Kriging _ Teufelskreis: Um ein Variogramm schätzen zu können,braucht man die Drift, und für die Schätzung der Drift wird wiederum ein Variogramm benötigt! Schätzung der Drifts   Schätzung des Variogramms Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

3.2 Universal => Intrinsic Kriging _ 1.) Die Klasse der Basis-Funktionen fl wird auf die Funktionen beschränkt, die gegenüber beliebigen Translationen invariant und paarweise zueinander orthogonal sind (z.Bsp. Klasse der Monome, oder der Exponential-Polynomen, auch trigonometrische Funktionen (cosx,sinx) sind möglich). 2.) Ein spezieller Tool der strukturellen Analysis ist die verallgemeinerte Kovarianzfunktion K(h), die die oben aufgeführten Funktionen hieraus filtert. (=> Man führt eine Datentransformation durch, mit dem Ziel die Drift auf Null zu bringen.) Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

3.3 Universal => Intrinsic Kriging _ Beim Universal Kriging hatten wir Gewichte wi, die die Basisfunktionen interpoliert haben, , für l=0,..,L. (Setze w0= -1) => Nebenbedingungen: , für l=0,...,L Zusätzlich soll gelten:  hd Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik Basisfunktionen _ Beispiel: Im 2-dim. Raum mit dem Koordinaten-Vektor X=(x1,x2)T und k = 2 werden oft die folgenden Monome als Basisfunktionen benutzt: f0=1, f1=x1, f2=x2, f3=(x1)², f4=x1x2, f5 =(x2)² Sie bilden einen translationsinvarianten Vektorraum. Die aktuelle Anzahl der Basisfunktionen der Drift hängen von dem Grad k der Drift wie folgt ab: k=0 => 1 Basisfunktion (=> L=0), k=1 => 3 Basisfunktionen (=> L=2), k=2 => 6 Basisfunktionen (=> L=5), ... Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 3.4 Intrinsic Kriging _ Intrinsic-Kriging Schätzer: Nebenbedingungen: , für l=0,...,L Sind diese erfüllt, so Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 3.5 Intrinsic Kriging _ Intrinsic-Kriging System: , für i=1,..,n , für l=0,..,L Beachte: Die Systeme von universal und intrinsic Kriging sind identisch, nur anstelle von C(h) haben wir nun die verallgemeinerte Kovarianzfunktion K(h) des IRF-k stehen. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 4.1 Duales Kriging _ Der Interpolator in Matrix-Form : z*(x) = zTwx. Der Gewichte-Vektor ist die Lösung des folgenden Kriging- Systems: Problem: Da die mit x gekennzeichneten Terme von dem Schätzungsort abhängen, muss dieses Gleichungssystem für jedes neue x  D\{x1,...,xn} neu berechnet werden. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 4.2 Duales Kriging _ Ausweg: Orts-unabhängige Gewichte herleiten. Man berechne die Inverse (unter Existenz-Voraussetzung): Das Kriging-System lautet nun: Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 4.3 Duales Kriging _ Der Interpolant kann dann wie folgt geschrieben werden: z*(x) = bTkx + dTfx , mit bT = zTV und dT = zTU. Kriging-System: , für i = 1,...,n Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

5.1 Spline-Interpolation _ Geschichte: Das englische Wort „Spline“ stammt aus der Verwendung eines Holzstabs als Kurvenlineal: Der Stab wird an vorhandene Fixpunkte durch Biegen angepasst, der Stab kann dann als Kurvenlineal für die Interpolation der Kurve in den Intervallen zwischen den Fixpunkten verwendet werden. w(x): C²-Funktion (xi,wi)-Fixpunkte j Punktkraft, die auf den Spline ausgeübt wird. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

5.2 Spline-Interpolation _ Problem: Es soll eine Funktion Z(x) mit Z(xi)=zi durch eine andere (glatte) Funktion f(x) approximiert werden, so dass f(xi)=zi ,  Stützstellen xi ,1 i  n f(x0)=z0 mit x0 D\{x1,...,xn}. f wird als Interpolant bezeichnet (hier die --- Linie) Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

5.3 Spline-Interpolation _ Unsere Definition: Sei x1<x2<...<xn und m. Dann heißt s: D=[x1,xn ] Spline Funktion vom Grad m, wenn: • s  Cm-1 [x1,xn ] • m-te Ableitung von s(x) stückweise stetig differenzierbar. • s(x) = pi(x) = amixm + ... +a0i für xi  x xi+1 , mit Polynom pi für i=1,...,n. Menge aller solchen Splines ist Sm(x1,...,xn). Für m=0 hat man Treppenfunktion, für m=1 Polygone, für m=2 quadratische Splines und für m=3 kubische Splines. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

5.4 Spline-Interpolation _ Krümmungsflächen (diese verhalten sich parallel zu der Biegeenergie) im 1-dim. Fall: im 2-dim. Fall: Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

5.5 Spline-Interpolation _ Da wir einen glatten Interpolanten berechnen wollen, ist der kubische Spline s  S3(x1,...,xn) vorzuziehen. Diesen Spline bekommen wir, indem wir das folgende (Variatons-)Problem lösen: s(xi) = z(xi) , i=1,...,n J(s)  min Mit Hilfe der Euler-Lagrange-Gleichung folgt: d 4 /dx 4 s(x) = 0 , für x  D\{x1,...,xn}. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

5.6 Spline-Interpolation _ Integriert man dies: s(x) = c3x³ + c2x² + c1x + c0 s(xi) = zi , i=1,..,n s(x) ist ein kubischer Spline für jedes Intervall-Segment [xi, xi+1] und x[xi, xi+1] (i=1,..,n), das den folgenden Forderungen genügt: s(xi) = zi , s(xi+1) = zi+1 , s‘(xi) = bi , s‘(xi +1) = bi+1 , mit Steigungen bi als noch unbekannten Koeffizienten. (Diese Werden mit Hilfe von Randbedingungen berechnet siehe S.31-34) Die Menge aller Kurvensegmente s(x) bilden den kubischen Interpolations-Spline s(x) für den ganzen Intervall [x1,xn]. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

6.1 Vergleich: Spline & Kriging-Schätzer _ Betrachte nun die 1-dimensionale verallgemeinerte Kovarianzfunktion K(h) = |h|³ und untersuche das Verhalten des Kriging-Interpolators z*(x). Sei x1<...<xn:   ,i=1,..,n Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

6.2 Vergleich: Spline & Kriging-Schätzer _ Aus dem Kriging-System folgt: • z*(x) 2mal stetig differenzierbar in D • die 2.Ableitung an den Grenzpunkten x1, xn gleich Null z*(x) ist außerhalb des Intervalls [x1, xn] linear (folgt aus den Nebenbedingungen für bi ) z*(x) stimmt mit dem kubischen Spline-Interpolator s(x), der die Funktion an den Punkte z1,...,zn interpoliert, überein (innerhalb jeden Intervalls [xi,xi+1]). Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

6.3 Vergleich im 2-dimensionalen Raum _ Analoges Problem in 2D: f(xi,yi) = zi , i=1,..,n J(f)min Lösung : ( Duchon (1975) ) mit K( r) = r²log r und ri² = (x-xi)²+(y-yi)² Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

6.4 Vergleich im 2-dimensionalen Raum _ Die Spline –Interpolationsfunktion f (x,y) hat genau die gleiche Form, wie der Interpolator z*(x) des Universal Krigings mit k=1 und der verallgemeinerten Kovarianzfunktion K(h) mit K(h) = |h|²log|h| . Dieses Modell heißt „thin-plate“ -Spline-Model. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

Universität Ulm Seminar Stochastik 6.5 Gemeinsamkeiten _ Trotz unterschiedlichen Ansätze führen C²-Splines sowie Kriging zum gleichen Ergebnis. Bei der Spline-Interpolation geht man von einer deterministischen Funktion aus. Und beim Kriging konzentriert man sich auf die Modellierung einer zufälligen Funktion. Ist ein Operator gegeben, der den Spline definiert, so ist es einfach ein äquivalentes Kriging-System zu finden. Wohingegen es sehr schwer sein kann, ein Minimierungsproblem zu erkennen, das mit einer gegebenen Lösung eines Kriging-Systems im Zusammenhang steht. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

1. Berechne die Koeffizienten bi _ Mit klassischen Hermit-Polynomen als Basisfunktionen i (t) für t = (xi-x)/hi mit der Schrittweite hi := xi+1 –xi : 1 (t) = 1 - 3t² + 2t³ , 2 (t) = 3t² - 2t³ , 3 (t) = t – 2t² + t³ , 2 (t) = - t² + t³ erhält man folgende Darstellung si (x) = zi 1(t) + bihi 3(t) + zi+1 2(t) + bi+1hi 4(t) , sowie die Ableitungen si‘(x) = ri(6t - 6t²) + bi(1 - 4t + 3t²) + bi+1(-2t +3t² ) si‘‘(x) = (ri(6 - 12t) + bi(-4 +6t) + bi+1(-2 +6t )) / hi , Dabei sei ri = (zi – zi+1) / hi . s (x)  C1(D). Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

2. Berechne die Koeffizienten bi _ Die Forderung s (x)  C2(D) legt die noch freien Parameter bi, bi+1 wie folgt fest: In der Messstelle xi soll s‘‘(xi) existieren, d.h. 0 = s‘‘(xi + 0) - s‘‘(xi - 0) = (6ri – 4bi –2bi+1)/hi – (-6ri-1 + 2bi-1 + 4bi)/hi Die unbekannten Steigungen bi genügen also den Bedingungen: bi-1/hi-1 + (2/hi-1 + 2/hi ) bi + bi+1/hi = 3(ri-1/hi-1 + ri/hi ) für i=2,..,n-1.  Insgesamt liegen n-2 lineare Gleichungen für n Unbekannten vor. Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

3. Berechne die Koeffizienten bi _ Die verbleibenden 2 Unbekannten werden durch die Wahl der Randbedingungen geliefert: Natürliche RB: s‘‘(x1) = s‘‘(xn) = 0 Vollständige RB: s‘(x1) = z1‘(x1), s‘(xn) = zn‘(xn) Das liefert explizit b1 = z1‘ , bn = zn‘ , und somit n-2 Gleichungen für n-2 Unbekannten. Periodische RB: s‘(x1) = s‘(xn) Am einfachsten ist der Fall der vollständigen RB (=> tridiagonales Gleichungssystem ). Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik

4. Berechne die Koeffizienten bi _ Löse dafür Ax = b mit unbekanntem Vektor x =(b2,...,b n-1)T, und Rasa Zurumskas Januar 2003 Universität Ulm Seminar Stochastik