Institut für Ländliche Räume Birgit Laggner und Helge Meyer-Borstel Geoprocessing von Massendaten in PostGIS - Probleme und Lösungsansätze -

Präsentation zum Thema: "Institut für Ländliche Räume Birgit Laggner und Helge Meyer-Borstel Geoprocessing von Massendaten in PostGIS - Probleme und Lösungsansätze -"—  Präsentation transkript:

1 Institut für Ländliche Räume Birgit Laggner und Helge Meyer-Borstel Geoprocessing von Massendaten in PostGIS - Probleme und Lösungsansätze -

2 B. Laggner, H. Meyer-Borstel Übersicht ● Einführung ● Standardanwendungen beim Geoprocessing ● Komplettverschneidung ● Bereinigung von Überlappungen ● Ausblick und Diskussion Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

3 B. Laggner, H. Meyer-Borstel Das Johann Heinrich von Thünen-Institut Bundesforschungsinstitut für Ländliche Räume, Wald und Fischerei Johann Heinrich von Thünen Deutscher Agrarwissenschaftler, Ökonom und Sozialreformer (1783 – 1850) ● eins von vier Forschungsinstituten im Geschäftsbereich des BM Ernährung, Landwirtschaft und Verbraucherschutz ● Hauptstandorte in Braunschweig, Hamburg, Rostock ● verarbeitet wissenschaftliche Grundlagen als Entscheidungshilfe für die Politik der Bundesregierung ● Forschung im Bereich Ökonomie, Technologie, nach- wachsender Rohstoffe, Klima, Biodiversität, ökol. Landbau Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

4 B. Laggner, H. Meyer-Borstel Institut für Ländliche Räume ● Aufgabenfelder: ➔ Politikfolgenabschätzung ➔ Lebensverhältnisse im ländlichen Raum, Demographie ➔ Wirtschaft und Arbeit ➔ Ressourcennutzung, Umwelt- und Naturschutz ● Beispiele für aktuelle Projekte im GIS Umfeld: ➔ Erfassung und Prognose umweltrelevanter Emissionen ➔ Analyse der Wirkungen von Agrarumweltprogrammen ➔ Naturschutzfachliche Bewertung der Gemeinsamen Agrarpolitik ➔ Modellgestützte Folgenabschätzung für den Anbau nachwachsender Rohstoffe Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

5 B. Laggner, H. Meyer-Borstel Komplettverschneidung Unsere Standardanwendung A E D C B... Eingangsdaten - verschiedene Datensätze, z.B.: ● Basis-DLM (Digitales Landschaftsmodell, Landnutzung) ● administrative Einheiten (Gemeinden) ● Wasserschutzgebiete, BfN-Schutzgebiete (Naturschutz) ● Bodenkarte ● InVeKoS (Integriertes Verwaltungs- und Kontrollsystem, parzellenscharfe landwirt- schaftliche Nutzflächen) Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

6 B. Laggner, H. Meyer-Borstel Komplettverschneidung Unsere Standardanwendung A E D C B R1R1 R2R2 R4R4 R3R3... RnRn Zwischenergebniss e Endergebni s Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

7 B. Laggner, H. Meyer-Borstel Unsere Standardanwendung - Beispiel A1 A4 A3 B1 A2 B3 B2 A B R1R1 R1 R11 R2 Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

8 B. Laggner, H. Meyer-Borstel ● flächeneindeutiger (überschneidungsfreier), valider Datensatz → Flächenbilanz ● Zuordnung zu Attributen der Ursprungsdatensätze sollte vollständig und eindeutig möglich sein ● gute Performance, da komplexe und umfangreiche Datensätze verarbeitet werden (bis zu 9 Mio. Zeilen) ● einfach und variabel einsetzbar Anforderungen Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

9 B. Laggner, H. Meyer-Borstel 1. Vorbereitung der Datensätze: ● Bereinigung von doppelten Einträgen und Überlappungen ● Überprüfung auf und ggf. Reparatur von invaliden Geometrien 2. Verarbeitung der Datensätze: ● Komplettverschneidung 3. Abschließende Bereinigung der Datensätze: ● invalide Geometrien ● Micropolygone Ablauf Geoprocessing Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

10 B. Laggner, H. Meyer-Borstel Komplettverschneidung A1 A4 A3 B1 A2 B3 B2 A B R1R1 R1 R11 R2 Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

11 B. Laggner, H. Meyer-Borstel Bestandteile: A1 A4 A3 B1 A2 B3 B2 ▬ Difference B-A ▬ Difference A-B B ● Difference A und B: Komplettverschneidung ● Intersection A ● Difference A ▬ No Intersection A ▬ No Intersection B Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

12 B. Laggner, H. Meyer-Borstel A1 B2 B1 B3 Mehrfachüberschneidungen führen zu unterschiedlichen und verkehrten Ergebnissen A1 \ B1 A1 \ B2 A1 \ B3 Komplettverschneidung Problem: Difference Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

13 B. Laggner, H. Meyer-Borstel Lösungsansatz: Schleife in pl/pgsql, die alle Überschneidungspolygone sequentiell abarbeitet B1 1. Durchlauf A1 X1X1 B2 2. Durchlauf X1X1 X2X2 B3 3. Durchlauf X2X2 X3X3 Komplettverschneidung Problem: Difference Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

14 B. Laggner, H. Meyer-Borstel in PostGIS (mit pl/pgsql) umgesetzt Performance (Difference!) Option GRASS: ➔ Hintergrund-Polygon erstellen und overlay mit Datensatz → als neues Polygon an Datensatz anfügen ➔ in PostGIS nur noch Intersection Komplettverschneidung Stand der Umsetzung & Weiteres Vorgehen Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

15 B. Laggner, H. Meyer-Borstel 1. Vorbereitung der Datensätze: ● Bereinigung von doppelten Einträgen und Überlappungen ● Überprüfung auf und ggf. Reparatur von invaliden Geometrien 2. Verarbeitung der Datensätze: ● Komplettverschneidung 3. Abschließende Bereinigung der Datensätze: ● invalide Geometrien ● Micropolygone Ablauf Geoprocessing Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

16 B. Laggner, H. Meyer-Borstel Bereinigung von Überlappungen A1 A3 A2 Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick Überlappungen treten auf durch Kartierungsfehler oder beabsichtigt zur Abgrenzung unterschiedlicher Inhalte (z.B. Zonen WSG)  bewirkt große Fehler in Flächenbilanz  führt bei Komplettverschneidung zu Flächenvervielfachung beim Intersection

17 B. Laggner, H. Meyer-Borstel Bereinigung von Überlappungen A1 A3 A2 Ziel Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

18 B. Laggner, H. Meyer-Borstel Auftrennen in Polygone mit und ohne Überlappungen (Verkleinerung des zu bearbeitenden Datensatzes) Weiterbearbeitung der überlappenden Polygone durch Selfintersection und Difference Kreuzprodukte herausfiltern Zusammenführen der Ergebnisse zu gemeinsamem Datensatz Vorgehensweise Bereinigung von Überlappungen Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

19 B. Laggner, H. Meyer-Borstel Problem: Intersection Bereinigung von Überlappungen A1A3A2 A1, A2 A1 ∩ A2 und A2 ∩ A1 2x2x A1, A3 A1 ∩ A3 und A3 ∩ A1 2x2x A2, A3 A2 ∩ A3 und A3 ∩ A2 2x2x Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick A1 ∩ A2 ∩ A3 A1 ∩ A2 A1 ∩ A3

20 B. Laggner, H. Meyer-Borstel sequentielle Bearbeitung der einzelnen Polygone in einer geschachtelten Schleife (pl/pgsql) ➔ welche Polygone überlappen betrachtetes Polygon? → Auswahl ➔ Intersection + sequentieller Difference ➔ Resultat ist Input für nächsten Durchlauf Problem: Intersection - Lösungsansatz Bereinigung von Überlappungen Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

21 B. Laggner, H. Meyer-Borstel Problem: Intersection - Lösungsansatz Bereinigung von Überlappungen A1 A2 A3 Durchlauf 1 Durchlauf 2 Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

22 B. Laggner, H. Meyer-Borstel Bereinigung von Überlappungen Zuordnung neue ID zu alter ID notwendig (Zuordnungstabelle) Mehrfachbearbeitung eines Polygons erfordert mehrfache Erstellung der Zuordnungstabelle ➔ muss in Schleifenablauf integriert werden Problem: Zuordnung der Attribute Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick 1 n n 1

23 B. Laggner, H. Meyer-Borstel Bereinigung von Überlappungen Erzeugung neuer Spalten notwendig Anzahl abhängig von Anzahl direkter Überlappungen ➔ muss in Schleifenablauf integriert werden Problem: Zuordnung der Attribute Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

24 B. Laggner, H. Meyer-Borstel GRASS: Aufspalten der überlappenden Geometrien in mehrere Layer Komplettverschneidung in PostGIS (so oft, wie Polygon-Layer vorhanden) Bereinigung von Überlappungen Weitere Lösungsideen Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

25 B. Laggner, H. Meyer-Borstel Umsetzung in PostGIS (mit pl/pgsql) in Teilen erfolgt – aktuell: Intersection-Schleife GRASS-Variante testen Performance-Vergleich Bereinigung von Überlappungen Stand der Umsetzung & Weiteres Vorgehen Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

26 B. Laggner, H. Meyer-Borstel PostGIS/ PostgreSQL grundsätzlich geeignet Bearbeitungsschritt betrachtet nur 2 Polygone, daher komplexere Umsetzungsroutine nötig Komplettverschneidung im Test umgesetzt Überlappungsbereinigungs-Routine in Bearbeitung Performance-Optimierung, Variantenvergleich Austausch mit anderen Anwendern mit ähnlicher Zielsetzung erwünscht! Ausblick und Diskussion Einführung Geoprocessing Komplettver- schneidung Überlappungen Ausblick

27 B. Laggner, H. Meyer-Borstel Vielen Dank für Ihre Aufmerksamkeit! Birgit Laggner vTI, Institut für Ländliche Räume Bundesallee 50, 38116 Braunschweig birgit.laggner@vti.bund.de