Erkennung von Fassaden [Quelle: Früh/Zakhor 2003] Erkennung von Fassaden Michaela Mann 1

Motivation Problem bei 3D-Stadtmodellen: Fassaden nur texturiert nicht geometrisch ausmodelliert Aufnahmen aus der Luft Fassaden nicht zu erkennen => terrestrische Aufnahmeverfahren Photogrammetrische Aufnahmen Aufnahmen mit Laserscanner Erkennung von Fassaden Michaela Mann 2

Verfahren von Früh und Zakhor Aufnahme der Fassaden durch Laserscanner und Digitalkamera Segmentierung Aufteilung in Vorder- und Hintergrund Füllen der Löcher im Hintergrund-Layer Triangulation und Texturierung Zuordnung der Fassaden zu Objekten Erkennung von Fassaden Michaela Mann 3

Aufbau 2 Laserscanner 1 horizontal ausgerichtet zur Schätzung der Fahrstrecke 1 vertikal ausgerichtet scannt die Gebäudeoberfläche 1 Digitalkamera gegenseitige Orientierung bekannt synchronisiert Aufnahme erfolgt während der Fahrt [Quelle: Früh/Zakhor 2003] Erkennung von Fassaden Michaela Mann 4

Segmentierung I zeitliche Reihenfolge entspricht räumlicher Reihenfolge Reihenfolge kann in Kurven vertauscht sein 1 2 Objekt Laser 1 2 Erkennung von Fassaden Michaela Mann 5

Segmentierung II Berechnung der kritischen Distanz Translation Rotation => Entfernen der vertauschten Scans => Aufteilung der Strecke in lineare Segmente 1 2 Erkennung von Fassaden Michaela Mann 6

Umwandlung in Tiefenbild jedem scan point wird ein Pixel zugeordnet Grauwert des Pixels entspricht Tiefe [Quelle: Früh/Zakhor 2002] [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 7

Aufteilung in Vorder- und Hintergrund Annahmen: Hauptstrukturen sind vertikal horizontale Dimension mehrere Meter Bildung eines Histogramms für jede Spalte durch Zusammensetzen entsteht 2D-Histogramm [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 8

Aufteilung in Vorder- und Hintergrund Haupttiefe: Tiefe mit den meisten Pixeln Split-Tiefe : lokales Minimum vor Haupttiefe =>Vordergrund und Hintergrund getrennt [Quelle: Früh/Zakhor 2002] [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 9

Aufteilung in Vorder- und Hintergrund Hintergrund besteht aus Punkten mit Bodenpunkten Hintergrund hat Löcher wo Vordergrund besetzt ist Nachbearbeitung: Entfernen von fehlerhaften Punkten Füllen der Löcher [Quelle: Früh/Zakhor 2002] [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 10

Entfernen fehlerhafter Punkte Fehler entstehen durch Fenster Scanner erkennt Fenster nicht Strahl wird von Wand im Gebäude reflektiert => gemessene Strecke zu lang Punkt wird entfernt, wenn Tiefe des Punktes > Tiefe der Wand Punkt von Wandpunkten umschlossen Fenster Laser Erkennung von Fassaden Michaela Mann 11

Füllen der Löcher Schnittpunkt von Boden und Hauptebene Schnittpunkt wird durch Winkel festgelegt Punkt mit => Bodenpunkt Punkt mit => Gebäudepunkt Boden Gebäude Scanner Erkennung von Fassaden Michaela Mann 12

Füllen der Löcher Boden wird durch Ebene approximiert Füllen der Löcher mit Pixeln mit entsprechendem Tiefenwert Gebäude ist keine Ebene zeilenweiser Durchgang Tiefenwert wird durch Interpolation bestimmt anschließend spaltenweise Interpolation Erkennung von Fassaden Michaela Mann 13

Beispiel Hintergrund-layer mit Löchern [Quelle: Früh/Zakhor 2002] Hintergrund-layer nach Nach-bearbeitung [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 14

Maschenbildung Rücktransformation in ein 3D-Bild Bestimmung eines Schwellenwerts Nachbarpunkte und verbinden, wenn gilt: Aufteilung der Maschen in Dreiecke Erkennung von Fassaden Michaela Mann 15

Einfügen einer Textur Projizierung der Triangulation auf Bild der Digitalkamera eine Dreiecksmasche kann über Vorder- und Hintergrundobjekten liegen Dreiecksmaschen des Vordergrunds weiß färben geeignetes Bild für Textur des Hintergrunds auswählen [Quelle: Früh/Zakhor 2002] [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 16

Texturierte Fassade ohne Nach-bearbeitung mit Nach-bearbeitung [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 17

Schätzung der Fahrtstrecke horizontale Scans werden zur Schätzung verwendet Schätzung ist fehlerhaft => globale Korrektur mittels Monte-Carlo-Localization (MCL) [Quelle:Früh/Zakhor 2003] [Quelle: Früh/Zakhor 2003] Erkennung von Fassaden Michaela Mann 18

Monte-Carlo-Localisation (MCL) Kanten werden aus Luftbild gefiltert: Pixel wird gekennzeichnet, wenn Schwellenwert überschritten Karte wird als globale Referenz für Korrektion verwendet Schätzung der Fahrzeugbewegung wird so angeglichen, dass Scanpoints auf Kante in der Karte liegen [Quelle:Früh/Zakhor 2003] Erkennung von Fassaden Michaela Mann 19

Zusammenfassung schnelles Aufnahmeverfahren geometrische Rekonstruktion von Fassaden und Zuordnung zu Objekten ist bereits möglich Oberfläche des Fassadenmodells besteht aus Dreiecken => noch keine semantischen Anfragen möglich , wie „Wo ist die Tür?“ Erkennung von Fassaden Michaela Mann 20

Literaturangaben Christian Früh und Avideh Zakhor: Data processing algorithms for generating gextured 3D building facade meshes from laser scans and camera images Christian Früh und Avideh Zakhor: Constructing 3D city models by merging aerial and ground views Christian Früh und Avideh Zakhor: Constructing 3D city models by merging ground-based and airborne views   Erkennung von Fassaden Michaela Mann 21