Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe Wissensbasierte Interpretation multitemporaler Luftbilder Promotionsvortrag 12. Januar 2001 Dipl.-Ing. Stefan Growe

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 1 Gliederung Gliederung: Einleitung Multitemporale Bildinterpretation Bewertung von Alternativen Anwendungsbeispiel : Detektion eines Messegeländes Zusammenfassung

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 2 EinleitungLuftbildauswertung: Anwendungsgebiete Zeit Landschaft Automatisierung der Luftbildauswertung erforderlich Auswertung multitemporaler Luftbilder für: Umweltüberwachung und Landnutzungsanalyse Aktualisierung von Karten und Geoinformationssystemen (GIS) Große Datenmengen und aufwendige Datenerfassung:

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 3 EinleitungProbleme der automatischen Bildauswertung Luftbild Segmentierung Segmentiertes Bild Interpretation Grünfläche Gebäude Baustelle Weg Symbolische Szenenbeschreibung Problem: Komplexität der Szene perspektivische Verzerrungen, Schattenwürfe fehlerhafte und unvollständige Segmentierungsergebnisse Mangel an automatischen Interpretationsverfahren

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 4 EinleitungMultitemporale Luftbildauswertung Interpretation zeitlich versetzt aufgenommener Luftbilder für: Änderungsdetektion Erkennung von komplexen Objekten aufgrund einer charakteristischen zeitlichen Abfolge von Ereignissen/Zuständen Ernten PflügenReifen Säen Landwirtschaftliche Nutzfläche

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 5 Nachteil: radiometrische und geometrische Entzerrung erforderlich keine Aussage über die Art der Änderung Differenzbild 1. Bild-zu-Bild-Verfahren, z.B. Differenzbild: EinleitungÄnderungsdetektion - Stand der Technik

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 6 EinleitungÄnderungsdetektion - Stand der Technik Klassifikationsvergleich (Post Classification Comparison PCC): Nachteil: stark abhängig von der Qualität der Einzelklassifikationen separate Bildanalyse ohne Nutzung der zeitlichen Zusammenhänge Grünfläche Gebäude Baustelle Klassifikation Änderungsbild Änderung Keine Änderung

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 7 EinleitungWissenseinbringung durch menschliche Auswerter Halle Halle ? Wald ? Wissen über: Geometrie Topologie Struktur zeitliche Zusammenhänge Halle Wald Zeitdifferenz: 10 Tage Für die Automatisierung der multitemporalen Luftbildauswertung ist die Einbringung von Vorwissen erforderlich

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 8 EinleitungWissenseinbringung in automatische Verfahren Algorithmus: Implizite Wissensrepräsentation Daten Wissen & Steuerung Szenenbeschreibung Algorithmus Wissensbasiertes System: Explizite Wissensrepräsentation Daten Szenenbeschreibung Wissen Steuerung Wissensbasiertes System

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 9 EinleitungInterpretation von Luftbildern - Stand der Technik Wissensbasis Klärwerk KlärbeckenGebäude Geoinformations- system (GIS) Sensordaten Szenenanalyse Bildverarbeitung: Segmentierung Klassifikation Symbolische Verarbeitung: Interpretation Sensorfusion Erwartungen Bildprimitive AIDASymbolische Szenenbeschreibung Klärwerk-1 Gebäude-1Klärbecken-1 Wissensbasiertes Bildinterpretationssystem AIDA Segmentiertes Bild

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 10 Semantische Ebene 3D-Ebene 2D-Ebene Klärwerk-1 Symbolische Szenenbeschreibung Hypothese Instanz EinleitungSemantisches Netz part-of con-of Straße-1 Klärwerk FlußGebäudeKlärbeckenStraße StreifenZylinderPolyeder LinieKreisPolygon Semantische Ebene 3D-Ebene 2D-Ebene Wissensbasis [1.. ] [1..5][2..4] Streifen-1 Straße-1 Fluß-1 Streifen-2Linie-2 Streifen-2 Linie-2 Fluß-1 Linie-1 Klärbecken-1 Zylinder-1 Kreis-1 Gebäude-1 Polyeder-2 Polygon-1 Klärwerk-1 Linie-1 Klärbecken-2 Zylinder-2 Kreis-2 Position:(x y) Radius:6 pxl Fläche:113 pxl²

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 11 EinleitungLeistungsmerkmale AIDA Mängel in Hinsicht auf eine multitemporale Bildinterpretation: Keine Verwaltung von Zeitpunkten und Zeitdifferenzen Keine Repräsentation von temporalem Wissen möglich Keine Interpretationsstrategie für multitemporale Bildreihen Leistungsmerkmale von AIDA (gem. Tönjes): Flexible Systemsteuerung durch explizite Inferenzregeln Genutzte Wissensinhalte: –Struktur Bestandteilshierarchie –Geometrie/Radiometrie Konkretisierungen in 3D- und 2D-Ebene –Topologie Topologische Relationen (Nachbarschaft etc.) –ggf. GIS-Daten als partielle Szenenbeschreibung Fusion mehrerer Sensoren è Interpretation von multisensoriellen Bildern (Luftbild, IR, SAR)

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 12 EinleitungLösungsansätze Nutzung des Bildinterpretationssystems AIDA für eine multitemporale Luftbildauswertung: Wissensbasierte Änderungsdetektion Detektion komplexer Objekte aufgrund einer charakteristischen zeitlichen Abfolge von Ereignissen Notwendige Erweiterungen des Interpretationssystems: Modellierung von temporalem Wissen innerhalb des semantischen Netzes Interpretationsstrategie zur sequentiellen Analyse der multitemporalen Luftbilder unter Ausnutzung des temporalen Wissens Steigerung der Analyseeffizienz durch: a-priori-Ausschluß von unmöglichen Landschaftsänderungen Realisierung der Interpretationsstrategie vom Wahrscheinlichen zum Unwahrscheinlichen

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 13 Gliederung: Einleitung Multitemporale Bildinterpretation Bewertung von Alternativen Anwendungsbeispiel : Detektion eines Messegeländes Zusammenfassung Gliederung

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 14 Multitemporale BildinterpretationDetektion komplexer Objekte Messegelände ?!

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 15 AIDA Wissensbasierte Bildinterpretation AIDA Wissensbasierte Bildinterpretation Bedeutungszuweisung AIDA Multitemporale Bildinterpretation AIDA Multitemporale Bildinterpretation Bedeutungszuweisung Prädiktion von Landschaftsänderungen Multitemporale BildinterpretationSequentielle Analyse Bild t 0 Bild t 1 Bild t 2 Grünfläche Gebäude Fahrzeuge Szenen- beschreibung t 0 Szenen- beschreibung t 1 Szenen- beschreibung t 2 Szenen- beschreibung t 0 Szenen- beschreibung t 1 Ausnutzung der Erkenntnisse aus bereits interpretierten Bildern

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 16 Multitemporale BildinterpretationTemporales Wissen diskrete Objektzustände und Zustandsübergänge Zustände werden spezifiziert durch: –charakteristische Bildmerkmale –Anfangszeitpunkt und Dauer –Wahrscheinlichkeit Zustandsübergänge werden spezifiziert durch: –Dauer –Wahrscheinlichkeit Modellierung ungenauer Zeitangaben durch Intervalle Zeit t Zustand S i Bildmerkmale Anfangszeitpunkt Dauer Wahrscheinlichkeit FSiFSi P(S i ) Zustandsübergang T ij WahrscheinlichkeitP(S j |S i ) Dauer Zustand S j Bildmerkmale Anfangszeitpunkt Dauer Wahrscheinlichkeit FSjFSj P(S j ) Modellierung von zeitlichen Zusammenhängen durch:

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 17 Multitemporale BildinterpretationIntegration in AIDA Repräsentation des temporalen Wissens im semantischen Netz in Form von Zustandsübergangsdiagrammen SiSi SjSj Konzept A t i [d min d max ] [t 0,min t 0, max ] P(S i ) t j [d min d max ] [t 0,min t 0, max ] P(S j ) Erweiterung der Knoten um: –Zeitstempel –Zustandsdauer und Anfangszeitpunkt –Zustandswahrscheinlichkeit part-of con-of P(S i |S i )P(S j |S j ) P(S j |S i ) [d min d max ] P(S i |S j ) [d min d max ] Einführung einer temporalen Relation mit: –Zustandsübergangsdauer und -wahrscheinlichkeit part-of con-of temp-rel Zustandsübergangsdiagramme erfüllen die Regeln von Markov-Ketten

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 18 Multitemporale BildinterpretationBeispiel: Messegelände Semantisches Netz zur Erkennung eines Messegeländes con-of is-a temp-rel part-of Rechtwinkliges 2D-Polygon Cluster von parallelen Linien Menge von Rechtecken (innerhalb eines Suchraums) Messegelände d:[1 1] P:0,7 d:[1 1] P:0,1 d:[1 1] P:0,1 d:[1 1] P:0,1 Leere Parkplätze Volle Parkplätze LKWs neben Hallen Industriegebiet Messeaufbau d:[5 10] t 0 :[0 ] P:0,166 Messe aktiv d:[5 8] t 0 :[0 ] P:0,166 Messeabbau d:[2 5] t 0 :[0 ] P:0,166 d:[1 1] P:0,3 d:[1 1] P:0,9 d:[1 1] P:0,9 Messe inaktiv d:[0 365] t 0 :[0 ] P:0,5 HalleParkplatz [3 ][2 ] d:[1 1] P:0,9 Keine LKWs neben Hallen

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 19 Multitemporale BildinterpretationWissensnutzung Prädiktion von Zustandsänderungen von t 1 nach t 2 : Frage:Ist S j zum Zeitpunkt t 2 ein möglicher Folgezustand von S i in t 1 ? Optimistische Abschätzung, um keine Lösung auszulassen Ausschluß aller unmöglichen Lösungen Steigerung der Effizienz Zeit t Zustandsübergang T ij Dauer Zustand S i Zustand S j Zustand S i Zustand S j Dauer Frühester Anfangszeitpunkt Spätester Endzeitpunkt Maximale Restdauer Min: Max: t1t1 t2t2

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 20 Multitemporale BildinterpretationTemporale Inferenz Modellgetriebene Prädiktion von Zustandsänderungen t = 9 Tage Bewertung der Alternativen erforderlich Ausschluß des unmöglichen Folgezustands Messeabbau ! t 2 = t 1 + t Messe inaktiv-2 P: 0,7 Halle-1 Messe inaktiv-1 Halle-1 Parkplatz-1 Messegelände-1 t 2 = t 1 + t Messeaufbau-1 P: 0,3 Halle-1 Messe inaktiv-1 Halle-1 Parkplatz-1 Messegelände-1 t 2 = t 1 + t Messe aktiv-1 P: 0,27 Halle-1 Messe inaktiv-1 Halle-1 Parkplatz-1 Messegelände-1 Hypothese Instanz Halle-1 Messe inaktiv-1 Halle-1 Parkplatz-1 t1t1 Messegelände-1 0,7 0,30,9 0,1 Messe inaktiv d:[0 365] P:0,5 Messeaufbau d:[5 10] P:0,166 Messeabbau d:[2 5] P:0,166 Messe aktiv d:[5 8] P:0,166 Messegelände

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 21 Gliederung: Einleitung Multitemporale Bildinterpretation Bewertung von Alternativen Anwendungsbeispiel : Detektion eines Messegeländes Zusammenfassung Gliederung

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 22 Bewertung von AlternativenAnforderungen Zweck: Bevorzugte Untersuchung der vielversprechendsten Lösungsalternative Anforderungen an die Bewertung: Maß für den Grad der Übereinstimmung zwischen den Erwartungen (aus der Wissensbasis) und den Messungen (in den Daten) Berücksichtigung der Unsicherheit und Ungenauigkeit von Daten und Vorwissen Strategie Vom Wahrscheinlichen zum Unwahrscheinlichen t 2 = t 1 + t Messe inaktiv-2 Messe inaktiv-1 Messegelände-1 t 2 = t 1 + t Messeaufbau-1 Messe inaktiv-1 Messegelände-1 t 2 = t 1 + t Messe aktiv-1 P: 0,7 P: 0,3 P: 0,27 Messe inaktiv-1 Messegelände-1 Hypothese Instanz Messe inaktiv-1 t1t1 Messegelände-1 P: 0,7 P: 0,3 P: 0,27

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 23 Bewertung von AlternativenBisherige Bewertung Vorhandenes Bewertungssystem: Berücksichtigung von Unsicherheit und Ungenauigkeit der Daten Bewertung des semantischen Netzes durch Kombination von Einzelbewertungen bottom-up Keine Berücksichtigung von a-priori-Wahrscheinlichkeiten Identische Bewertung von Alternativen bewirkt zufällige Kandidatenwahl Messe inaktiv-2 P: 0,7 Halle-1 Messe inaktiv-1 Halle-1 Parkplatz-1 Messegelände-1 1,00,90,70,80,90,7 1,0 Messeaufbau-1 P: 0,3 Halle-1 Messe inaktiv-1 Halle-1 Parkplatz-1 Messegelände-1 1,00,90,70,80,90,7 1,0 0,9 identische Bewertung

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 24 Bewertung von AlternativenBayes-Netze Neuartiger Ansatz:Bewertung mit Hilfe von Bayes-Netzen Bayes-Knoten: diskrete Zufallsvariablen Bayes-Kanten: kausale Abhängigkeiten (bedingte Wahrscheinlichkeiten) Berechnung von Glaubwürdigkeiten BEL (engl.: Belief) für Bayes-Knoten Asienbesuch Raucher P(Raucher)=0,3 Tuberkulose P(Tuberkulose) Lungenkrebs P(Lungenkrebs) Tuberkulose oder Lungenkrebs Bronchitis P(Bronchitis) Positiver Röntgenbefund Atemnot P(Atemnot)=0,2 P(Lungenkrebs|Raucher) kausale Unterstützung diagnostische Unterstützung BEL(X) = P(X|e) e: Evidenz Tuberkulose BEL(Tuberkulose) Lungenkrebs BEL(Lungenkrebs) Bronchitis BEL(Bronchitis) Raucher P(Raucher)=1,0 Atemnot P(Atemnot)=1,0

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 25 Bewertung von AlternativenPropagierung in Bayes-Netzen A BC EFDG HI F C AB Belief-Update nach Pearl: 1.Bayes-Netz im Gleichgewicht I 2.Einbringung von Evidenz 3.Verteilung der Information top-down und bottom-up bis… 4.Gleichgewichtszustand wiederhergestellt Informationsfluß top-down und bottom-up

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 26 Bewertung von AlternativenVom sem. Netz zum Bayes-Netz Halle-1 Messe inaktiv-1 Halle-1 Parkplatz-1 Messeaufbau-1 P: 0,3 t 2 = t 1 + t Semantisches Netz Bewertungsmaß [0,0 1,0] bisherige Bewertung neue Bewertung Bayes Netz Transformation aller Instanzen u. Hypothesen Transformation der Kanten Abbildung der Attribute als Bayes-Knoten Berechnung von Glaubwürdigkeiten unter Berücksichtigung der a priori Wahrscheinlichkeiten Messe inaktiv-1 Halle-1 Parkplatz-1 Messeaufbau-1 P: 0,3 t 2 = t 1 + t A A Halle-1 AAAAA A Wahrscheinlichste Alternative erhält die beste Bewertung

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 27 Gliederung: Einleitung Multitemporale Bildinterpretation Bewertung von Alternativen Anwendungsbeispiel: Detektion eines Messegeländes Zusammenfassung Gliederung

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 28 AnwendungsbeispielMessegelände Hannover Bilddaten: 4 Datensätze geocodiert Auflösungspyramide 0,5-2,0 m/pxl Höhendaten Simulation eines Messezyklus durch Manipulation der Aufnahmedaten: 1.3., 6.3., 11.3.,

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 29 AnwendungsbeispielDetektion von Hallen Kriterien: Höhe Form Fläche Nachbarschaft akzeptierter Hallenkandidat abgelehnter Hallenkandidat

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 30 AnwendungsbeispielDetektion von Parkplätzen Kriterien: Liniendichte Linienrichtung Form des Clusters Lage des Clusters: außerhalb der Hallenbereiche akzeptierter Parkplatzkandidat abgelehnter Parkplatzkandidat

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 31 Messegelände Erfolgreiche Detektion des Messegeländes Steigerung der Effizienz durch Reduktion des Suchraums AnwendungsbeispielInterpretationsverlauf Bild 1 Industriegebiet N1N1 Messe aktiv Messe inaktiv Messeabbau Messe aktiv Messeabbau Spezialisierung Industriegebiet N2N2 Messe inaktiv N3N3 Messeaufbau N4N4 Messe aktiv N5N5 Messeabbau N6N6 Industriegebiet Bild 2 t = 5 Tage Temporale Inferenz Messe inaktiv N7N7 Messeaufbau N8N8 Messe inaktiv Bild 3 t = 5 Tage Temporale Inferenz Messeaufbau N9N9 Messe aktiv N 10 Messeaufbau Bild 4 t = 10 Tage Temporale Inferenz Messeabbau N 11 Messe inaktiv N 12 Messeaufbau N 13 Messe aktiv Messeabbau

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 32 AnwendungsbeispielSucheffizienz theoretische Untergrenze bisherige Bewertung neue Bewertung (Bayes-Netz) Deterministisches Systemverhalten mit gesteigerter Effizienz - 39% Vergleich der Bewertungssysteme für mehrere Durchläufe:

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 33 Zusammenfassung Ziel: Automatische Interpretation multitemporaler Luftbilder unter Ausnutzung von Vorwissen über temporale Zusammenhänge mit möglichst hoher Analyseeffizienz Ansatz: Repräsentation von temporalem Wissen in Zustandsübergangsdiagrammen Prädiktion von Landschaftsänderungen durch temporale Inferenz Interpretationsstrategie vom Wahrscheinlichen zum Unwahrscheinlichen mit Hilfe eines Bewertungssystems auf Basis von Bayes-Netzen Ergebnis: Erfolgreiche Detektion komplexer Objekte aus multitemporalen Bildreihen Bewertungssystem bewirkt deterministisches Systemverhalten mit gesteigerter Analyseeffizienz

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 34 Vielen Dank für Ihre Aufmerksamkeit !