Vortrag Relative Orientierung Vertieferpraktikum Photogrammetrie SS 2004 Thema Robuste Schätzung von Geometrieparametern: Relative Orientierung und 3D-Rekonstruktion von Dirk Beilschmidt ©2004 Dirk Beilschmidt

Übersicht Einführung Fundamentalmatrix / Essentielle Matrix Relative Orientierung 3D-Panoramen ©2004 Dirk Beilschmidt

Einführung Einführung Fundamentalmatrix / Essentielle Matrix Relative Orientierung 3D Panoramen ©2004 Dirk Beilschmidt

Gegeben : Zwei Bilder mit homologen Punktpaaren Einführung Gegeben : Zwei Bilder mit homologen Punktpaaren Gesucht : geometrischer Zusammenhänge der beiden Bilder ©2004 Dirk Beilschmidt

Einführung ©2004 Dirk Beilschmidt

Einführung Ziel : ©2004 Dirk Beilschmidt

Fundamentalmatrix Fundamentalmatrix / Essentielle Matrix Einführung Relative Orientierung 3D Panoramen ©2004 Dirk Beilschmidt

Es gilt : Es folgt : Koplanarbedingung durch Spatprodukt : Basis Fundamentalmatrix Es gilt : Koplanarbedingung durch Spatprodukt : Es folgt : Basis Richtungsvektoren ©2004 Dirk Beilschmidt

mit der Fundamentalmatrix F und der schiefsymmetrischen Matrix Einsetzung liefert : mit der Fundamentalmatrix F und der schiefsymmetrischen Matrix ©2004 Dirk Beilschmidt

mit der essentieller Matrix E. Fundamentalmatrix Vereinfachung bei kalibrierten Kameras : mit der essentieller Matrix E. ©2004 Dirk Beilschmidt

Fundamentalmatrix Direkte Lösung für F ©2004 Dirk Beilschmidt

Relative Orientierung Einführung Fundamentalmatrix / Essentielle Matrix Relative Orientierung 3D Panoramen ©2004 Dirk Beilschmidt

Relative Orientierung Allgemeine Parametrisierung des Folgebildanschlusses Parameter : Basis B Rotation D.h. erste Kamera fest und RO gleich der Raumlage der zweiten Kamera. ©2004 Dirk Beilschmidt

Relative Orientierung Orientierungsparameter aus der essentiellen Matrix bestimmen Gegeben : Gesucht : Lösung durch Hartley/Zisserman Algorithmus : Singulärwertzerlegung : Hilfsmatrizen : ©2004 Dirk Beilschmidt

Relative Orientierung Geometrische Lösung für zwei Raumstrahlen Gegeben : zwei Raumstrahlen f und g Gesucht : Punkt mit kürzesten Abstand zu beiden Strahlen f g ©2004 Dirk Beilschmidt

Relative Orientierung Geometrische Lösung für zwei Raumstrahlen Gegeben : zwei Raumstrahlen f und g Gesucht : Punkt mit kürzesten Abstand zu beiden Strahlen Vorgehensweise : Orthogonalitätsbedingung : ©2004 Dirk Beilschmidt

Relative Orientierung Problem : Vier mögliche Lösungen für E Lösung : Nimm die Möglichkeit, bei der so viele Punkte wie möglich vor der Kamera liegen, d.h. z>0 ist. ©2004 Dirk Beilschmidt

Relative Orientierung Quellcodeausschnitt ©2004 Dirk Beilschmidt

Relative Orientierung ©2004 Dirk Beilschmidt

Relative Orientierung Probleme SIFT-Matchings enthalten noch viele falsch zugeordnete Punktpaare Schon wenige Fehlzuordnungen führen zu großen Abweichungen der relativen Orientierung → RANSAC Verfahren für eine robuste Schätzung ©2004 Dirk Beilschmidt

Relative Orientierung RANSAC Verfahren für die relative Orientierung Wähle zufällige Mindestanzahl an Punkten für die Berechnung der rel. Orientierung Prüfe die Qualität des Ergebnisses anhand der anderen Punkte höre nach einer bestimmten Anzahl an Iterationen auf und wähle das bis dahin beste Ergebnis ©2004 Dirk Beilschmidt

Relative Orientierung Da Fehlerrate unbekannt : → ca. 500 Iterationen führen bei PCA-SIFT Matching zu stabilen Ergebnissen Nicht alle Punkte aus dem SIFT Matching für Berechnung von E nehmen Auswahlkriterium : ClosestToNextClosest Verhältnis beachten ©2004 Dirk Beilschmidt

Relative Orientierung Vorgehensweise : Bei Auswahl der Minimalpunkte für E, nehme nur zufällige Punkte mit CtNC<0,5 Bei Überprüfung der E-Matrix nutze Punkte mit CtNC<0,95 ©2004 Dirk Beilschmidt

Relative Orientierung Qualitätsprüfung der RO Wie gut ist die berechnete Orientierung? → Idee : Projiziere die 3D Punktwolke zurück ins Bild und überprüfe Abweichungen Berechne normierten geometrischen Abstand von projizierten und tatsächlichen Punkt → Verwerfe alle Punkte mit mehr als bestimmter Abweichung Merke dir richtig zugeordnete Punkte für bestes Ergebnis Nach allen Iterationen berechne E Matrix erneut mit allen richtig zugeordneten Punkten ©2004 Dirk Beilschmidt

Relative Orientierung Ergebnis Essentielle Matrix E, Rotation der zweiten Kamera, die Basis und von Fehlern gereinigte homologe Punktpaare 3D Model : ©2004 Dirk Beilschmidt

Relative Orientierung ©2004 Dirk Beilschmidt

Einführung Fundamentalmatrix Relative Orientierung 3D Panoramen ©2004 Dirk Beilschmidt

3D Panoramen Bisheriger Stand : ©2004 Dirk Beilschmidt

Situation : neues Bild soll an 3D Modell angehängt werden 3D Panoramen Situation : neues Bild soll an 3D Modell angehängt werden ©2004 Dirk Beilschmidt

Direct Linear Transformation (DLT) 3D Panoramen Direct Linear Transformation (DLT) Gegeben : 3D Objektpunkte Korrespondierende 2D Bildpunkte Gesucht : Kalibrierungsmatrix K Rotationsmatrix R äußere und innere Orientierung Projektionszentrum X0 ©2004 Dirk Beilschmidt

Ergebnis durch RANSAC verbesserbar 3D Panoramen Algorithmus : Es gilt : Projektionsmatrix durch Eigenvektor zum kleinsten Singulärwert berechnen → → QR-Zerlegung von BInv liefert R und K, wobei Ergebnis durch RANSAC verbesserbar ©2004 Dirk Beilschmidt

3D-Panoramenkonstruktion Gegeben : Bild, das im 3D-Model schon vorhanden ist Bild, das neu ins 3D-Model eingefügt werden soll Matching homologer Punkte zwischen den Bildern Algorithmus : Berechne Matching von 3D-Model und erstem Bild Berechne Matching von 3D-Model und zweitem Bild Bestimme Orientierungen der beiden Kameras durch DLTs Schneide durch RVS Matchings ins 3D Modell und nimm neue Punkte mit kleinem Fehler ins 3D Modell auf ©2004 Dirk Beilschmidt

Erweiterungsmöglichkeiten 3D Panoramen Erweiterungsmöglichkeiten Kameraposition angeben bzw. im Bild markieren Relative Orientierung durch Ausgleichung verbessern (Kovarianzmatrizen u. ä.) → Besonders Ungenauigkeiten des Vorwärtsschnitts benötigen Ausgleichung Performanceverbesserungen ©2004 Dirk Beilschmidt

3D Panoramen Ende ©2004 Dirk Beilschmidt