Ausgleichungsrechnung II

Präsentation zum Thema: "Ausgleichungsrechnung II"—  Präsentation transkript:

1 Ausgleichungsrechnung II
Geostatistik Einführung Statistische Grundbegriffe Geostatistische Begriffe Variogramm Explorative Datenanalyse Prädiktion und Krigen Ausgleichungsrechnung II Gerhard Navratil

2 Ausgleichungsrechnung II
Was ist Geostatistik? Statistik, die sich auf die Erde bezieht Problem: Erde hält sich nicht immer an mathematisch wünschenswerte Eigenschaften (Stetigkeit) In verschiedenen Geowissenschaften ange-wendet (Geographie, Geologie, Geophysik etc.) Noel Cressie: Statistische Theorie im Zusam-menhang mit Prozessen, die mit räumlichen Indizes behaftet sind. Ausgleichungsrechnung II Gerhard Navratil

3 Definition Geostatistik (1)
Modellierung von Daten als Realisierung eines Zufallsprozesses {Z(x):xD} wobei D der d-dimensionale Raum ist und x darin variieren kann. In der Praxis: Schätzungen aufgrund weniger Proben Ausgleichungsrechnung II Gerhard Navratil

4 Definition Geostatistik (2)
Zeitlich-räumlicher Prozess: Dann definiert über {Z(x,t):xD, tT} Im folgenden: Datenbereich rein räumlich, auch wenn über größerer Zeitraum erhoben Gezeigt wird: Schließen von Daten an bekannten Orten auf den Prozess Ausgleichungsrechnung II Gerhard Navratil

5 Definition Geostatistik (3)
Geostatistik = Anwendung stochastischer Prozesse in den Geowissenschaften Dient Analyse und Modellierung raum-bezogener Daten Bei ‚einfacher‘ Ausgleichungsrechnung Raumbezug nicht verwendet Ausgleichungsrechnung II Gerhard Navratil

6 Geostatistik = Arbeit im Team
Daten verschiedenster Herkunft  Teamarbeit, z.B. Geologe, Montanist, Finanzmanager, Statistiker Aufgaben des Statistikers Erstellen eines Probenplanes Zusammenfassen/Visualisieren der Daten Suche nach Ausreißern/räuml. Strukturen Schätzen von Gesamt-/Durchschnittswerten Inter- und Extrapolation Ausgleichungsrechnung II Gerhard Navratil

7 Ausgleichungsrechnung II
Beispiele Exploration von Erzlagerstätten oder Erdölvorkommen Analyse von Bodenverunreinigungen Niederschlagsmengen/Temperaturwerte prädizieren Grundwassermodellierung Ausgleichungsrechnung II Gerhard Navratil

8 Ausgleichungsrechnung II
Datengewinnung z.B. Entnahme von Bodenproben Erfassung mittels Messgeräten Direkte Beobachtung Ausgleichungsrechnung II Gerhard Navratil

9 Ausgleichungsrechnung II
Verwendetes Beispiel Aus Cressie: Statistics for Spatial Data Messungen des Kohlengehaltes auf dem Gelände der Robena-Mine (Pennsylvania) Nahezu regelmäßiger Raster mit einer Maschenweite von 2500ft (~750m) Kein rechteckiges Gebiet Ausgleichungsrechnung II Gerhard Navratil

10 Statistische Grundbegriffe
Momente einer Verteilung Quartil Median Interquartiler Bereich Quantile Ausgleichungsrechnung II Gerhard Navratil

11 Momente einer Verteilung
Mittelwert (Moment 1. Ordnung) Streuung oder Standardabweichung (zentrales Moment 2. Ordnung) Schiefe (zentrales Moment 3. Ordnung) Normalverteilung charakterisiert durch Mittelwert und Streuung – nicht robust! Ausgleichungsrechnung II Gerhard Navratil

12 Ausgleichungsrechnung II
Quantil Wert, der den a-Anteil der Daten von den übrigen (1-a) Daten abtrennt: a-Quantil Angabe in Prozent: Perzentil Median: 50%-Perzentil oder 0,5-Quantil Quartile: Unteres Quartil = 0,25-Quantil Oberes Quartil = 0,75-Quantil Ausgleichungsrechnung II Gerhard Navratil

13 Interquartiler Bereich
Bereich zwischen unterem und oberem Quartil (0,75-Quantil – 0,25-Quantil) Umfasst 50% der Daten Vergleichbar mit Streuung – hohe Stabilität Bei exakter Normalverteilung gilt Ausgleichungsrechnung II Gerhard Navratil

14 Geostatistische Begriffe
Regionalisierte Zufallsvariable Zufallsvariable Zufallsprozess Realisierung einer Zufallsvariable Stationarität Ausgleichungsrechnung II Gerhard Navratil

15 Ausgleichungsrechnung II
Zufallsvariable Z Ist eine (veränderliche) Größe Wird in einem zufälligen Versuch untersucht Nimmt verschiedene Werte an Hat eine Verteilung (also Erwartungswert, Streuung, etc.) Ausgleichungsrechnung II Gerhard Navratil

16 Ausgleichungsrechnung II
Zufallsprozess Z(t) Ist eine Zufallsvariable Nach einem Parameter t geordnet (meist nach der Zeit) Besitzt somit statistische Verteilung und zeitliche Struktur (=Abhängigkeit) Abhängigkeit beschrieben durch Kovarianzfunktion Ausgleichungsrechnung II Gerhard Navratil

17 Regionalisierte Zufallsvariable
Auch: Räumlicher Zufallsprozess Z(x) Zufallsvariable mit räumlicher Struktur Parameter x ist ein Ortsvektor im d-dimensionalen Raum Besitzt somit statistische Verteilung und räumliche Struktur (=Abhängigkeit) Abhängigkeit beschrieben durch Variogramm bzw. Kovariogramm Keine Vergangenheit/Gegenwart/Zukunft Dimension (theoretisch) nicht beschränkt Ausgleichungsrechnung II Gerhard Navratil

18 Realisierung einer Zufallsvariablen
Ist im allgemeinen ein skalarer Wert z(x) Kann ein geometrischer Messwert sein Aber auch: Schadstoffgehalt der Luft, Gesteinsdichte, Lärmpegel, etc. Ausgleichungsrechnung II Gerhard Navratil

19 Ausgleichungsrechnung II
Geostatistik Statistische Untersuchung von Daten-sätzen, die mit Orten verknüpft sind, also regionalisierte Zufallsvariablen Annahme: Bestimmte Struktur, also Korrelation zwischen z(x) und z(x+h) Beschrieben durch Variogramm/Kovario-gramm Ausgleichungsrechnung II Gerhard Navratil

20 Ausgleichungsrechnung II
Stationarität Bestimmung der Parameter der Ver-teilungsfunktion: Mehrere Datensätze an jedem Punkt nötig Ist meist nicht möglich (mehrere Boden-proben?) oder zu teuer Annahme: Eigenschaften ändern sich nicht mit dem Ort – ist meist erfüllt wenn vorausgehende Transformationen erlaubt (Elimination des Trend) Ausgleichungsrechnung II Gerhard Navratil

21 Intrinsische Stationarität (1)
Für jedes Z(x) existiert ein Erwartungswert E(Z(x)), der unabhängig vom Ort x ist Insbesondere gilt auch also frei von einem Trend Erwartungswert geschätzt aus Proben zu Ausgleichungsrechnung II Gerhard Navratil

22 Intrinsische Stationarität (2)
Für jedes Z(x) existiert eine Varianz Var(Z(x)), die unabhängig vom Ort x ist Varianz kann aus empirischen Proben geschätzt werden zu Ausgleichungsrechnung II Gerhard Navratil

23 Intrinsische Stationarität (3)
Die Varianz der Differenz Z(x1)–Z(x2) ist nur von der relativen Lage der Orte abhängig mit h=x1–x2 Wenn alle drei Bedingungen erfüllt: homogen und isotrop Ausgleichungsrechnung II Gerhard Navratil

24 Variogramm (1) Beschreibt die Korrelation zwischen räumlich strukturierten Realisierungen einer regionalisierten Zufallsvariablen Für homogene, isotrope Felder definiert als Aus empirischen Daten für Abstand h (lag) geschätzt als Anzahl der Messwertpaare mit Abstand h Ausgleichungsrechnung II Gerhard Navratil

25 Ausgleichungsrechnung II
Variogramm (2) Praktische Berechnung: Oft Einteilung in Abstandsklassen - Aus n Werten alle n(n-1)/2 Paare gebildet, für jedes Paar Abstand und Quadrat der Messwertdifferenz gebildet  in äquidistente Klassen geteilt Variogrammwert dann Variogramm definiert als 2g, Semi-Variogramm ist g das halbe Variogramm Ausgleichungsrechnung II Gerhard Navratil

26 Ausgleichungsrechnung II
Eigenschaften (1) Verhalten im Bereich des Ursprungs: g(0)=0 In der Praxis: Bei Messwerten mit kleinem Abstand tritt Differenz auf = Nugget Effekt Ursachen: Letzte Information zu Nullpunkt extrapoliert, Medium hat kleinste Körnung (Microscale Effect), Messgenauigkeit Microscale und Messgenauigkeit als stochastisch unabhängig modelliert Ausgleichungsrechnung II Gerhard Navratil

27 Ausgleichungsrechnung II
Eigenschaften (2) Varianz des Zufallsfeldes Mit wachsendem h steigt das Variogramm Oft ab Schwellenwert konstant (Kovarianz gleich Null) Korrelationsweite (range): Ab hier Differenz zwischen Funktionswert und Varianz kleiner als gewählter Wert e Grenzwert: Schwellenwert (sill) Ausgleichungsrechnung II Gerhard Navratil

28 Ausgleichungsrechnung II
Gerhard Navratil

29 Theoretische Variogramme (1)
Nugget Effekt aus kürzesten Paaren er-mittelt, über Paare in bestimmtem Abstand diskrete Funktionswerte für 2g, aber keine eindeutige Funktion! Ergebnis kann sich mit anderen Klassen-größen erheblich ändern Funktion muss bestimmte Bedingungen erfüllen, unterschiedliche Modelle entwickelt Ausgleichungsrechnung II Gerhard Navratil

30 Theoretische Variogramme (2)
Lineares Modell kein Schwellenwert Sphärisches Modell Exponentielles Modell Schwellenwert Ausgleichungsrechnung II Gerhard Navratil

31 Theoretische Variogramme (3)
Rational-quadratisches Modell Wellen-Modell Potenz-Modell Ausgleichungsrechnung II Gerhard Navratil

32 Ausgleichungsrechnung II
Linear Spärisch Exponentiell Rational-quadratisch Wellen Potenz Ausgleichungsrechnung II Gerhard Navratil

33 Anisotrope Variogramme
Bisher h immer Vektor – sinnvoll, wenn ab-hängig von Richtung (Staubimmissionen und Wind) Anisotropie oft mit Transformationen behebbar Im Allgemeinen: Isotrope Variogramme mit (d,d)-Matrix A zur Transformation  geometrische Anisotropie Ausgleichungsrechnung II Gerhard Navratil

34 Kovariogramm/Korrelogramm (1)
Kovariogramm beschreibt wie Variogramm die räumliche Struktur. Bei Stationarität definiert durch Entspricht Autokovarianzfunktion bei Zeitprozessen Korrelogramm: Normieren, also Ausgleichungsrechnung II Gerhard Navratil

35 Kovariogramm/Korrelogramm (2)
Beziehungen Variogramm und Kovariogramm können ineinander übergeführt werden, wenn stationär Ausgleichungsrechnung II Gerhard Navratil

36 Explorative Datenanalyse
Datenmaterial prüfen auf Ausreißer Verteilung räumliche Struktur Grundsätzlich: Daten, die nicht zum Modell passen, sollen erkannt werden Modell meist Gauß‘sches Modell Ausreißer über bekannte Tests Räumlicher Modellanteil: Daten die nicht zu ihren Nachbarn passen Ausgleichungsrechnung II Gerhard Navratil

37 Ausgleichungsrechnung II
Visualisierung Einfache Methoden: Histogramme, Stamm-und-Blatt Darstellung, Box-Plot Kandidaten für Ausreißer über Betrachten der Darstellung Nächster Schritt: Visualisierung der räumlichen Struktur – z.B. Lageplots der Messpunkte, Tabellen mit Messwerten, axonometrische 3D-Darstellung  Stationarität, Trend Ausgleichungsrechnung II Gerhard Navratil

38 Ausgleichungsrechnung II
6 7 003 8 9 10 11 12 568 13 14 15 16 17 Unterscheidet sich stark von den Übrigen Werten – Ausreißer? Ausgleichungsrechnung II Gerhard Navratil

39 Ausgleichungsrechnung II
Gerhard Navratil

40 Ausgleichungsrechnung II
Ausreißer fast nicht sichtbar! Ausgleichungsrechnung II Gerhard Navratil

41 Ausgleichungsrechnung II
Trendermittlung (1) Bisherige Methoden: Veranschaulichung Reihen- und spaltenweises Ermitteln von Mittelwert und Median: Trend bzw. nicht stationäre Stellen Stationär: Median = Mittelwert Ausreißer: Überdurchschnittlich große Differenz Ausgleichungsrechnung II Gerhard Navratil

42 Ausgleichungsrechnung II
Trendermittlung (2) Annahme: Werte unabhängig und gleich-verteilt, Erwartungswert m, Varianz s, Dichtefunktion f Mittelwert: Median: Es gilt und normiert die Differenz Ausgleichungsrechnung II Gerhard Navratil

43 Ausgleichungsrechnung II
Anscheinend Trend in Ost-West-Richtung In einigen Zeilen/Spalten Abstand Mittelwert-Median Groß – Ausreißer? Ausgleichungsrechnung II Gerhard Navratil

44 Bivariater Scatter-Plot (1)
Methode um Ausreißer sichtbar zu machen X-Achse: Werte z(x) Y-Achse: Werte z(x+h) Ausreißer fallen deutlich aus dem Schema Ausgleichungsrechnung II Gerhard Navratil

45 Bivariater Scatter-Plot (2)
Ausgleichungsrechnung II Gerhard Navratil

46 Prädiktion und Krigen (1)
Bisher Daten an vorhandenen Stellen beurteilt Jetzt: Schätzen von Daten an Stellen, an denen nicht gemessen wurde Ausgang: Zufallsprozess von dem n Daten z(xi) erhoben wurden, Daten werden verwendet um Prozess zu beschreiben Ziel: Prädiktion einer bekannten Funktion g Ausgleichungsrechnung II Gerhard Navratil

47 Prädiktion und Krigen (2)
Einfachster Fall: Punktschätzung Häufig auch: Schätzen des Durchschnittes eines Blocks Gestaltung der Funktion ermöglicht Glättung, Filterung und Prädiktion Krigen: Prädiktionsform, abgeleitet von Methode der kleinsten Quadrate Ausgleichungsrechnung II Gerhard Navratil

48 Prädiktion und Krigen (3)
Best: wirksam Linear: lineare Schätzfunktion Unbiased: erwartungstreu Estimator: Schätzer Kollokation war ähnlich aber ohne Erwartungstreue Ausgleichungsrechnung II Gerhard Navratil

49 Ausgleichungsrechnung II
Prädiktor (1) Prädiktor p(Z;x0) schätzt Wert Z(x0) auf-grund der Daten Z=(Z(x1), …, Z(xn)) Verlustfunktion (loss function) L(Z(x0),p(Z;x0)) Abweichung tatsächlicher Wert – prädizierter Wert Optimaler Prädiktor, wenn Bayes‘sches Risiko E{L} minimal Häufige Verlustfunktion: Quadratfehler-verlust (squared-error loss) Ausgleichungsrechnung II Gerhard Navratil

50 Ausgleichungsrechnung II
Prädiktor (2) Lineare und nicht-lineare Ansätze möglich Im Folgenden: Linear, also Parameter l1, …, ln, k so zu bestimmen, dass Erwartungswert minimal Eingesetzt in Verlustfunktion: Bayes‘sches Risiko wird Ausgleichungsrechnung II Gerhard Navratil

51 Ausgleichungsrechnung II
Prädiktor (3) Mit und mit erhalten wir Minimaler Prädiktionsfehler: Diese Form der Prädiktion: Simple Kriging (einfaches Krigen) – nicht erwartungstreu aber geringster Prädiktionsfehler Ausgleichungsrechnung II Gerhard Navratil

52 Gewöhnliches Krigen (1)
Wieder Daten an n Punkten bekannt, Prädiktionsfunktion wie vorher Weitere Annahmen: 1. Bed.: Mittelwert für alle Werte gleich  stationärer Zufallsprozess, Beschreibung durch Variogramm 2. Bed.: Erwartungstreue Ausgleichungsrechnung II Gerhard Navratil

53 Gewöhnliches Krigen (2)
Verlustfunktion wie vorher Zu minimieren ist Unter der Bedingung können wir schreiben Ausgleichungsrechnung II Gerhard Navratil

54 Gewöhnliches Krigen (3)
Wenn das Modell gilt, können wir schreiben Ableitung nach li und m gleich Null gesetzt gibt Ausgleichungsrechnung II Gerhard Navratil

55 Gewöhnliches Krigen (4)
In Vektorform Aufgelöst nach li ergibt sich Ergebnis ändert sich nicht, wenn statt Variogramm g(h) das Variogramm g(h)+c verwendet wird (ev. stabilere Numerik) Mittlerer Prädiktionsfehler (Krige-Varianz) Ausgleichungsrechnung II Gerhard Navratil

56 Ausgleichungsrechnung II
A-priori-Prädiktion Wenn Variogramm bekannt, kann ein geplanter Probenplan a priori untersucht werden Notwendige Koeffizienten ergeben sich aus Abstand der Punkte und Variogramm Ausgleichungsrechnung II Gerhard Navratil

57 Einfluss des Nugget-Effektes (1)
Aufgliederung notwendig: Abweichungen d(x) setzen sich zusammen aus stationärem Prozess und Messrauschen: Wenn Z(x) mit dem vorigen Formelapparat prädiziert, dann Wert mit Störeinflüssen  eigentlich nur erlaubt wenn e(x)=0 Anteil aufgrund eines stationären Prozesses Anteil aufgrund des Messrauschens Ausgleichungsrechnung II Gerhard Navratil

58 Einfluss des Nugget-Effektes (2)
Richtiger: Messfehlerfreie Version von Z prädizieren (richtiger Wert ist gesucht!) Es gilt oder Dann gilt Zu minimieren ist also Und man kommt auf Ausgleichungsrechnung II Gerhard Navratil

59 Ausgleichungsrechnung II
Universal Kriging Erweitert die Theorie des Ordinary Kriging Statt neue Annahme Summe: Linearkombination aus bekannten Werten mit unbekannten Parametern, die den Mittelwert beschreibt Besteht aus beliebigen Funktionen p, daher sehr universell Ausgleichungsrechnung II Gerhard Navratil

60 Ausgleichungsrechnung II
ENDE Ausgleichungsrechnung II Gerhard Navratil