Vortrag Relative Orientierung

Präsentation zum Thema: "Vortrag Relative Orientierung"—  Präsentation transkript:

1 Vortrag Relative Orientierung
Vertieferpraktikum Photogrammetrie SS 2004 Thema Robuste Schätzung von Geometrieparametern: Relative Orientierung und 3D-Rekonstruktion von Dirk Beilschmidt ©2004 Dirk Beilschmidt

2 Übersicht Einführung Fundamentalmatrix / Essentielle Matrix
Relative Orientierung 3D-Panoramen ©2004 Dirk Beilschmidt

3 Einführung Einführung Fundamentalmatrix / Essentielle Matrix
Relative Orientierung 3D Panoramen ©2004 Dirk Beilschmidt

4 Gegeben : Zwei Bilder mit homologen Punktpaaren
Einführung Gegeben : Zwei Bilder mit homologen Punktpaaren Gesucht : geometrischer Zusammenhänge der beiden Bilder ©2004 Dirk Beilschmidt

5 Einführung ©2004 Dirk Beilschmidt

6 Einführung Ziel : ©2004 Dirk Beilschmidt

7 Fundamentalmatrix Fundamentalmatrix / Essentielle Matrix Einführung
Relative Orientierung 3D Panoramen ©2004 Dirk Beilschmidt

8 Es gilt : Es folgt : Koplanarbedingung durch Spatprodukt : Basis
Fundamentalmatrix Es gilt : Koplanarbedingung durch Spatprodukt : Es folgt : Basis Richtungsvektoren ©2004 Dirk Beilschmidt

9 mit der Fundamentalmatrix F und der schiefsymmetrischen Matrix
Einsetzung liefert : mit der Fundamentalmatrix F und der schiefsymmetrischen Matrix ©2004 Dirk Beilschmidt

10 mit der essentieller Matrix E.
Fundamentalmatrix Vereinfachung bei kalibrierten Kameras : mit der essentieller Matrix E. ©2004 Dirk Beilschmidt

11 Fundamentalmatrix Direkte Lösung für F ©2004 Dirk Beilschmidt

12 Relative Orientierung
Einführung Fundamentalmatrix / Essentielle Matrix Relative Orientierung 3D Panoramen ©2004 Dirk Beilschmidt

13 Relative Orientierung
Allgemeine Parametrisierung des Folgebildanschlusses Parameter : Basis B Rotation D.h. erste Kamera fest und RO gleich der Raumlage der zweiten Kamera. ©2004 Dirk Beilschmidt

14 Relative Orientierung
Orientierungsparameter aus der essentiellen Matrix bestimmen Gegeben : Gesucht : Lösung durch Hartley/Zisserman Algorithmus : Singulärwertzerlegung : Hilfsmatrizen : ©2004 Dirk Beilschmidt

15 Relative Orientierung
Geometrische Lösung für zwei Raumstrahlen Gegeben : zwei Raumstrahlen f und g Gesucht : Punkt mit kürzesten Abstand zu beiden Strahlen f g ©2004 Dirk Beilschmidt

16 Relative Orientierung
Geometrische Lösung für zwei Raumstrahlen Gegeben : zwei Raumstrahlen f und g Gesucht : Punkt mit kürzesten Abstand zu beiden Strahlen Vorgehensweise : Orthogonalitätsbedingung : ©2004 Dirk Beilschmidt

17 Relative Orientierung
Problem : Vier mögliche Lösungen für E Lösung : Nimm die Möglichkeit, bei der so viele Punkte wie möglich vor der Kamera liegen, d.h. z>0 ist. ©2004 Dirk Beilschmidt

18 Relative Orientierung
Quellcodeausschnitt ©2004 Dirk Beilschmidt

19 Relative Orientierung
©2004 Dirk Beilschmidt

20 Relative Orientierung
Probleme SIFT-Matchings enthalten noch viele falsch zugeordnete Punktpaare Schon wenige Fehlzuordnungen führen zu großen Abweichungen der relativen Orientierung → RANSAC Verfahren für eine robuste Schätzung ©2004 Dirk Beilschmidt

21 Relative Orientierung
RANSAC Verfahren für die relative Orientierung Wähle zufällige Mindestanzahl an Punkten für die Berechnung der rel. Orientierung Prüfe die Qualität des Ergebnisses anhand der anderen Punkte höre nach einer bestimmten Anzahl an Iterationen auf und wähle das bis dahin beste Ergebnis ©2004 Dirk Beilschmidt

22 Relative Orientierung
Da Fehlerrate unbekannt : → ca. 500 Iterationen führen bei PCA-SIFT Matching zu stabilen Ergebnissen Nicht alle Punkte aus dem SIFT Matching für Berechnung von E nehmen Auswahlkriterium : ClosestToNextClosest Verhältnis beachten ©2004 Dirk Beilschmidt

23 Relative Orientierung
Vorgehensweise : Bei Auswahl der Minimalpunkte für E, nehme nur zufällige Punkte mit CtNC<0,5 Bei Überprüfung der E-Matrix nutze Punkte mit CtNC<0,95 ©2004 Dirk Beilschmidt

24 Relative Orientierung
Qualitätsprüfung der RO Wie gut ist die berechnete Orientierung? → Idee : Projiziere die 3D Punktwolke zurück ins Bild und überprüfe Abweichungen Berechne normierten geometrischen Abstand von projizierten und tatsächlichen Punkt → Verwerfe alle Punkte mit mehr als bestimmter Abweichung Merke dir richtig zugeordnete Punkte für bestes Ergebnis Nach allen Iterationen berechne E Matrix erneut mit allen richtig zugeordneten Punkten ©2004 Dirk Beilschmidt

25 Relative Orientierung
Ergebnis Essentielle Matrix E, Rotation der zweiten Kamera, die Basis und von Fehlern gereinigte homologe Punktpaare 3D Model : ©2004 Dirk Beilschmidt

26 Relative Orientierung
©2004 Dirk Beilschmidt

27 Einführung Fundamentalmatrix Relative Orientierung 3D Panoramen
©2004 Dirk Beilschmidt

28 3D Panoramen Bisheriger Stand : ©2004 Dirk Beilschmidt

29 Situation : neues Bild soll an 3D Modell angehängt werden
3D Panoramen Situation : neues Bild soll an 3D Modell angehängt werden ©2004 Dirk Beilschmidt

30 Direct Linear Transformation (DLT)
3D Panoramen Direct Linear Transformation (DLT) Gegeben : 3D Objektpunkte Korrespondierende 2D Bildpunkte Gesucht : Kalibrierungsmatrix K Rotationsmatrix R äußere und innere Orientierung Projektionszentrum X0 ©2004 Dirk Beilschmidt

31 Ergebnis durch RANSAC verbesserbar
3D Panoramen Algorithmus : Es gilt : Projektionsmatrix durch Eigenvektor zum kleinsten Singulärwert berechnen → → QR-Zerlegung von BInv liefert R und K, wobei Ergebnis durch RANSAC verbesserbar ©2004 Dirk Beilschmidt

32 3D-Panoramenkonstruktion
Gegeben : Bild, das im 3D-Model schon vorhanden ist Bild, das neu ins 3D-Model eingefügt werden soll Matching homologer Punkte zwischen den Bildern Algorithmus : Berechne Matching von 3D-Model und erstem Bild Berechne Matching von 3D-Model und zweitem Bild Bestimme Orientierungen der beiden Kameras durch DLTs Schneide durch RVS Matchings ins 3D Modell und nimm neue Punkte mit kleinem Fehler ins 3D Modell auf ©2004 Dirk Beilschmidt

33 Erweiterungsmöglichkeiten
3D Panoramen Erweiterungsmöglichkeiten Kameraposition angeben bzw. im Bild markieren Relative Orientierung durch Ausgleichung verbessern (Kovarianzmatrizen u. ä.) → Besonders Ungenauigkeiten des Vorwärtsschnitts benötigen Ausgleichung Performanceverbesserungen ©2004 Dirk Beilschmidt

34 3D Panoramen Ende ©2004 Dirk Beilschmidt