Erkennung von Fassaden

Präsentation zum Thema: "Erkennung von Fassaden"—  Präsentation transkript:

1 Erkennung von Fassaden
[Quelle: Früh/Zakhor 2003] Erkennung von Fassaden Michaela Mann 1

2 Motivation Problem bei 3D-Stadtmodellen: Fassaden nur texturiert
nicht geometrisch ausmodelliert Aufnahmen aus der Luft Fassaden nicht zu erkennen => terrestrische Aufnahmeverfahren Photogrammetrische Aufnahmen Aufnahmen mit Laserscanner Erkennung von Fassaden Michaela Mann 2

3 Verfahren von Früh und Zakhor
Aufnahme der Fassaden durch Laserscanner und Digitalkamera Segmentierung Aufteilung in Vorder- und Hintergrund Füllen der Löcher im Hintergrund-Layer Triangulation und Texturierung Zuordnung der Fassaden zu Objekten Erkennung von Fassaden Michaela Mann 3

4 Aufbau 2 Laserscanner 1 horizontal ausgerichtet
zur Schätzung der Fahrstrecke 1 vertikal ausgerichtet scannt die Gebäudeoberfläche 1 Digitalkamera gegenseitige Orientierung bekannt synchronisiert Aufnahme erfolgt während der Fahrt [Quelle: Früh/Zakhor 2003] Erkennung von Fassaden Michaela Mann 4

5 Segmentierung I zeitliche Reihenfolge entspricht räumlicher Reihenfolge Reihenfolge kann in Kurven vertauscht sein 1 2 Objekt Laser 1 2 Erkennung von Fassaden Michaela Mann 5

6 Segmentierung II Berechnung der kritischen Distanz Translation
Rotation => Entfernen der vertauschten Scans => Aufteilung der Strecke in lineare Segmente 1 2 Erkennung von Fassaden Michaela Mann 6

7 Umwandlung in Tiefenbild
jedem scan point wird ein Pixel zugeordnet Grauwert des Pixels entspricht Tiefe [Quelle: Früh/Zakhor 2002] [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 7

8 Aufteilung in Vorder- und Hintergrund
Annahmen: Hauptstrukturen sind vertikal horizontale Dimension mehrere Meter Bildung eines Histogramms für jede Spalte durch Zusammensetzen entsteht 2D-Histogramm [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 8

9 Aufteilung in Vorder- und Hintergrund
Haupttiefe: Tiefe mit den meisten Pixeln Split-Tiefe : lokales Minimum vor Haupttiefe =>Vordergrund und Hintergrund getrennt [Quelle: Früh/Zakhor 2002] [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 9

10 Aufteilung in Vorder- und Hintergrund
Hintergrund besteht aus Punkten mit Bodenpunkten Hintergrund hat Löcher wo Vordergrund besetzt ist Nachbearbeitung: Entfernen von fehlerhaften Punkten Füllen der Löcher [Quelle: Früh/Zakhor 2002] [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 10

11 Entfernen fehlerhafter Punkte
Fehler entstehen durch Fenster Scanner erkennt Fenster nicht Strahl wird von Wand im Gebäude reflektiert => gemessene Strecke zu lang Punkt wird entfernt, wenn Tiefe des Punktes > Tiefe der Wand Punkt von Wandpunkten umschlossen Fenster Laser Erkennung von Fassaden Michaela Mann 11

12 Füllen der Löcher Schnittpunkt von Boden und Hauptebene
Schnittpunkt wird durch Winkel festgelegt Punkt mit => Bodenpunkt Punkt mit => Gebäudepunkt Boden Gebäude Scanner Erkennung von Fassaden Michaela Mann 12

13 Füllen der Löcher Boden wird durch Ebene approximiert
Füllen der Löcher mit Pixeln mit entsprechendem Tiefenwert Gebäude ist keine Ebene zeilenweiser Durchgang Tiefenwert wird durch Interpolation bestimmt anschließend spaltenweise Interpolation Erkennung von Fassaden Michaela Mann 13

14 Beispiel Hintergrund-layer mit Löchern
[Quelle: Früh/Zakhor 2002] Hintergrund-layer nach Nach-bearbeitung [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 14

15 Maschenbildung Rücktransformation in ein 3D-Bild
Bestimmung eines Schwellenwerts Nachbarpunkte und verbinden, wenn gilt: Aufteilung der Maschen in Dreiecke Erkennung von Fassaden Michaela Mann 15

16 Einfügen einer Textur Projizierung der Triangulation auf Bild der Digitalkamera eine Dreiecksmasche kann über Vorder- und Hintergrundobjekten liegen Dreiecksmaschen des Vordergrunds weiß färben geeignetes Bild für Textur des Hintergrunds auswählen [Quelle: Früh/Zakhor 2002] [Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 16

17 Texturierte Fassade ohne Nach-bearbeitung mit Nach-bearbeitung
[Quelle: Früh/Zakhor 2002] Erkennung von Fassaden Michaela Mann 17

18 Schätzung der Fahrtstrecke
horizontale Scans werden zur Schätzung verwendet Schätzung ist fehlerhaft => globale Korrektur mittels Monte-Carlo-Localization (MCL) [Quelle:Früh/Zakhor 2003] [Quelle: Früh/Zakhor 2003] Erkennung von Fassaden Michaela Mann 18

19 Monte-Carlo-Localisation (MCL)
Kanten werden aus Luftbild gefiltert: Pixel wird gekennzeichnet, wenn Schwellenwert überschritten Karte wird als globale Referenz für Korrektion verwendet Schätzung der Fahrzeugbewegung wird so angeglichen, dass Scanpoints auf Kante in der Karte liegen [Quelle:Früh/Zakhor 2003] Erkennung von Fassaden Michaela Mann 19

20 Zusammenfassung schnelles Aufnahmeverfahren
geometrische Rekonstruktion von Fassaden und Zuordnung zu Objekten ist bereits möglich Oberfläche des Fassadenmodells besteht aus Dreiecken => noch keine semantischen Anfragen möglich , wie „Wo ist die Tür?“ Erkennung von Fassaden Michaela Mann 20

21 Literaturangaben Christian Früh und Avideh Zakhor: Data processing algorithms for generating gextured 3D building facade meshes from laser scans and camera images Christian Früh und Avideh Zakhor: Constructing 3D city models by merging aerial and ground views Christian Früh und Avideh Zakhor: Constructing 3D city models by merging ground-based and airborne views Erkennung von Fassaden Michaela Mann 21