Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Segmentation based Multi-View Stereo Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011.

Ähnliche Präsentationen


Präsentation zum Thema: "Segmentation based Multi-View Stereo Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011."—  Präsentation transkript:

1 Segmentation based Multi-View Stereo Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011

2 MVS allgemein vs. Segmentation Based MVS Generell gilt bei MVS homogene Flächen sind problematisch (keine/wenig Features) Dieses Paper: o nutzt homogene Flächen o benötigt nur wenig Features pro Fläche o Flächen werden über Farbsegmentierung gefunden o "Nebenprodukt": gute Performance Annahme: o Flächen, homogen in Intensitaet und Farbe, bilden Flächen mit einheitlicher Normalen

3 Pipeline / Inhalt Kamera-Kalibrierung Farbsegmentierung Initiale 3D-Seeds 3D-Segmente erstellen aus 1.Farbsegmenten und 3D Seeds 2.nicht zugeordneten Farbsegmenten Oberflächenkonstruktion (PSR)

4 Farbsegmentierung Eigenschaften: Vorverarbeitungsprozess zur Bestimmung von aussagekräftigen Gruppierungen / Regionen des Bildes vielseitig einsetzbar, wenn effizient berechenbar Ziel: charakteristische homogene Regionen Probleme: großflächige Farb- / Intensitätsverläufe Regionen mit hohen Schwankungen lokale Kriterien reichen nicht aus

5 Farbsegmentierung graph-based image segmentation [8]:

6 Farbsegmentierung - Bild als Graph Kantengewichte entsprechen Intensitätsdifferenzen

7 Farbsegmentierung - Hauptkriterium Schmelzkriterium: DIFF(C 1,C 2 ) < MINT(C 1, C 2 ),mit MINT(C 1, C 2 ) = Min(INT(C 1 ),INT(C 2 ))

8 Farbsegmentierung - Algorithmus

9 3D Seeds 3D-Seeds durch guided matching Gegeben: Bilder Ziel: Initiale 3D-Seeds Schritte: 1.Features 2.Matching 3.Triangulation 4.Clustering

10 3D Seeds - Features wähle Reference-Image I r Rest: Target-Image I t unterteile in Rechtecke guided matching Features pro Rechteck

11 3D Seeds - Features wähle Reference-Image I r Rest: Target-Image I t unterteile in Rechtecke guided matching Features pro Rechteck

12 3D Seeds - Features wähle Reference-Image I r Rest: Target-Image I t unterteile in Rechtecke guided matching Features pro Rechteck

13 3D Seeds - Features wähle Reference-Image I r Rest: Target-Image I t unterteile in Rechtecke guided matching Features pro Rechteck

14 3D Seeds - Matching Matchende Features finden: Feature in I r auf epipolare Linie in I t NCC für alle Features der Linie Match, wenn max. Korrelation von I r zu I t und umgekehrt

15 3D Seeds - Matching Matchende Features finden: Feature in I r auf epipolare Linie in I t NCC für alle Features der Linie Match, wenn max. Korrelation von I r zu I t und umgekehrt

16 3D Seeds - Matching Matchende Features finden: Feature in I r auf epipolare Linie in I t NCC für alle Features der Linie Match, wenn max. Korrelation von I r zu I t und umgekehrt

17 3D Seeds - Triangulation 3D-Seed erzeugen: klassische StereoVision Tiefeninformation aus Disparität

18 3D Seeds - Clustering Clustern: viele 3D-Seeds für gleichen Punkt Cluster von Seeds durch einen 3D-Seed ersetzen

19 Segmentation Based MVS (SBMVS) Zusammenspiel der 3D-Seeds und der Farbsegmente Ziel: 3D Segmente erstellen Schritte: 1.aus Farbsegmente und 3D Seeds 2.aus nicht zugeordneten Farbsegmenten

20 SBMVS - Optimale 3D Segmente Zuordnung zwischen: 3D Seed X Farbsegment s i

21 SBMVS - Optimale 3D Segmente Normalvektor n über durchtesten abschätzen (pro Achsen zwischen 0° und 180° in 18° Schritten) gegeben: 3D Koordinate - Fixpunkt 2D Form (Segment) gesucht: Normalvektor n der Fläche / des Segments

22 SBMVS - Optimale 3D Segmente

23 im Detail: alle Pixel p aus s i über n (und die epipolare Geometrie zwischen den Kameras) auf Targetbilder I t abbilden

24 SBMVS - Optimale 3D Segmente Gradientenabstieg von bester Abschätzung aus Abschätzung und Optimierung über alle Targetbilder I t genau ein 3D Segment pro Farbsegment

25 SBMVS - freie Farbsegmente explored - unexplored - explored

26 SBMVS - freie Farbsegmente Schnittpunkt von r und dem benachbarten 3D Segment als neuer 3D Seed Abschätzung und Optimierung von n => 3D Segment

27 Oberflächkonstruktion mit PSR Poisson Surface Reconstruction gegeben: Oberflächen-Samples gesucht: 3D-Mesh umbauen Idee: Indikatorfunktion: Aussen < 0 < Innen Hintergrund: Poisson Gleichung: elliptische partitielle Differentialgleichung oft bei Randwertproblemen verwendet. Ähnlich zur Laplace-Gleichung. Octree als Datenstruktur

28 Poisson Surface Reconstruction Octree erzeugen Vektor-Feld Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen Extrahiere Isofläche

29 Poisson Surface Reconstruction Octree erzeugen Vektor-Feld Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen Extrahiere Isofläche

30 Poisson Surface Reconstruction Octree erzeugen Vektor-Feld Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen Extrahiere Isofläche

31 Poisson Surface Reconstruction Octree erzeugen Vektor-Feld Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen Extrahiere Isofläche

32 Poisson Surface Reconstruction Octree erzeugen Vektor-Feld Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen Extrahiere Isofläche

33 Was bisher geschah... Farbsegmentierung Initiale 3D-Seeds 3D-Segmente erstellen aus 1.Farbsegmente und 3D Seeds 2.nicht zugeordneten Farbsegmenten Oberflächenkonstruktion (PSR)

34 Aussagen der Autoren: Homogene Farb-Regionen werden gut erkannt Genauigkeit mit anderen Verfahren vergleichbar Gute Performance: 35 min vs 3h pro Bild Unsere Bewertung: Vergleich der Performance relativ nichtssagend Genauigkeit nur in einem nicht erklärten Plot erklärt Algorithmen im Fließtext erklärt Ergebnisse

35 Besten Dank! Fragen?

36 Resources Marc Pollefeys. Visual 3D Modeling from Images. University of North Carolina - Chapel Hill, USA. [1] [8] Pedro F. Felzenszwalb and Daniel P. Huttenlocher. Efficient graph- based image segmentation. In IJCV, [9] Y. Furukawa and J. Ponce. Accurate, dense, and robust multi-view stereopsis. In CVPR, pages 1–8, [10] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147–151, [11] R. Hartley and A. Zisserman. Multiple view geometry in computer vision. In Cambridge University Press, [16] S. Kruglyak L. J. Heyer and S. Yooseph. Exploring expression data: Identification and analysis of coexpressed genes. In Genome Research, pages 9:1106–1115, 1999.


Herunterladen ppt "Segmentation based Multi-View Stereo Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011."

Ähnliche Präsentationen


Google-Anzeigen