Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

3D-Objekterkennung in beliebigen Umgebungen durch Segment-Based Stereo Vision von Matthias Dube.

Ähnliche Präsentationen


Präsentation zum Thema: "3D-Objekterkennung in beliebigen Umgebungen durch Segment-Based Stereo Vision von Matthias Dube."—  Präsentation transkript:

1 3D-Objekterkennung in beliebigen Umgebungen durch Segment-Based Stereo Vision von Matthias Dube

2 3D Objekterkennung von Matthias Dube 2 Gliederung Einleitung 3D-Rekonstruktion (Segment-Based Stereo Vision) Konstruktion der Kantenmerkmale Generierung der Objektmodelle Matching Experimentelle Ergebnisse und Schlussfolgerungen

3 3D Objekterkennung von Matthias Dube 3 Einleitung Thema: die modellbasierte Erkennung von 3D-Objekten in beliebigen Umgebungen (d.h. Objekte können gedreht oder teilweise verdeckt sein) Anwendung: z.B. eine gezielte automatische Robotersteuerung Prinzipiell zwei Probleme: Es sollen Objekte beliebiger Form erkannt werden Die Objekte können sich in jeder beliebigen Umgebung befinden Weitere Aspekte für eine praktische Anwendung sind: Die benötigte Rechenzeit Installationskosten

4 3D Objekterkennung von Matthias Dube 4 Einleitung Zur Realisierung eines solchen Systems wird hierbei "Segment-Based Stereo Vision" (SBSV) genutzt Vorteile bei ausreichender Genauigkeit gegenüber anderen Ansätzen: Objekte können beliebig geformt sein Benötigte Rechenkapazität ist relativ gering (gegenüber laser range finders) Geringe Hardwarekosten (s.o.) Annehmbare Komplexität der Algorithmen (gegenüber monokularem Ansatz) Funktioniert auch bei gleichen Objekten verschiedener Größe (s.o.)

5 3D Objekterkennung von Matthias Dube 5 Einleitung Dieses Erkennungssystem wurde bereits im so genannten "VVV-System" integriert. (VVV: Versatile Volumetric Vision... "vielseitige Raumsicht")

6 3D Objekterkennung von Matthias Dube 6 3D Rekonstruktion Boundary Representation (B-rep) Bekannte Datenstruktur zur Repräsentation von 2D- und 3D- Objekten Hier dient sie zur Beschreibung einer Szene und zur Merkmalsdefinition (R)… Region in einem Intensitätsbild (B)… gerichtete Boundary(Kante), die die Region umgibt (S)… gerichtetes Segment einer Kante (P)… Pixel des Segments

7 3D Objekterkennung von Matthias Dube 7 3D Rekonstruktion Bei der Rekonstruktion wird jedes der Eingabe-Bilder in eine 2D B-rep umgewandelt 1. Schritt: Bild-Segmentierung Regionen (R), Kanten (B) 2. Schritt: Kanten-Segmentierung Segmente (S), Pixel (P) Dann wird mittels SBSV-Algorithmus aus dem Paar (Trio) von 2D B-reps ein 3D B-rep erzeugt

8 3D Objekterkennung von Matthias Dube 8 3D Rekonstruktion Bild-Segmentierung Schritt 1: Berechnung der Kantenstärke und -richtung an jedem Pixel (x, y) im Graustufen-Bild. |e(x, y)| = x (x, y) 2 + y (x, y) 2 e(x, y) = tan -1 ( y (x, y) / x (x, y)) + /2 Schritt 2: Extraktion der sog. starken Kanten. (Dadurch können Lücken entstehen.)

9 3D Objekterkennung von Matthias Dube 9 3D Rekonstruktion Schritt 3: Schließen dieser Lücken durch Verlängerung der starken Kanten, d.h. man nutzt ein 3 3-Fenster und maximiert die Funktion h(e 0, e i ) = |e i |cos(e i - e 0 ). - e 0 ist das zu verlängernde Element - e i sind Kandidaten für die Verlängerung von e 0 - h liefert hohe Werte, wenn e i stark ist und die gleiche Richtung wie e 0 hat Wenn ein e i gefunden wurde, setzt man e 0 = e i und wiederholt diesen Schritt solange, bis man auf eine bereits existierende starke oder verlängerte Kante trifft. Entstandene Kanten, die zu klein sind, werden anschließend eliminiert.

10 3D Objekterkennung von Matthias Dube 10 3D Rekonstruktion Kanten-Segmentierung Der SBSV-Algorithmus benötigt eine Unterteilung der Kanten in gerade, konvexe und konkave Segmente, was durch die Extraktion von Merkmalspunkten erreicht wird (Algorithmus von Sugimoto & Tomita) Es gibt vier Arten von Merkmalspunkten (feature points): Eckpunkte (der Normalenvektor verändert sich abrupt) Wendepunkte (Vorzeichen der Krümmung ändert sich) Übergangspunkte (Krümmung geht von null über zu nicht-null) Verzweigungspunkte (Kante verzweigt sich)

11 3D Objekterkennung von Matthias Dube 11 3D Rekonstruktion (b) Bild-Segmentierung (c) Kantensegmentierung und Eliminierung zu kleiner Regionen

12 3D Objekterkennung von Matthias Dube 12 3D Rekonstruktion Segment-Based Stereo Vision Dient der eigentlichen 3D-Rekonstruktion (5 Schritte) Schritt 1: Geometrische Suche nach Korrespondenz-Kandidaten zwischen linker und rechter 2D B-rep. Diese werden als Paare [l, r] von B-rep - Segmenten registriert und ihr "Gleichheitswert" (similarity value) berechnet: S pair (l,r) d l,r ( 1 – ΔI l,r / I max ) - d l,r … Länge des korrespondierenden Stückes - Δ Il,r … Intensitätsunterschied - I max … maximale Intensität

13 3D Objekterkennung von Matthias Dube 13 3D Rekonstruktion Schritt 2: Überprüfung der "Verbundenheit" (connectivity) zwischen den gefundenen Korrespondenzpaaren, d.h. zwei Paare sind verbunden, wenn sie auf der gleichen Kante liegen und ihre Anfangs- bzw. Endpunkte nah beieinander sind Ergebnis ist ein gerichteter Graph der verbundenen Paare Schritt 3: Finden des optimalen Pfades, der folgende Gleichung (globaler Gleichheitswert) maximiert: S path S pair (i)i path

14 3D Objekterkennung von Matthias Dube 14 3D Rekonstruktion (a) Gerichteter Graph der Verbundenheit(b) Suche nach dem optimalen Pfad

15 3D Objekterkennung von Matthias Dube 15 3D Rekonstruktion Schritt 4: Sicherstellen einer eins-zu-eins-Korrespondenz durch Entfernung von multiplen Korrespondenzen Schritt 5: Rekonstruktion der gesamten Szene mittels Parallaxe (Parallaxe: beschreibt die Abweichung zwischen Bildern einer Szene, die von zwei verschiedenen Punkten gemacht wurden.) Durch dieses Verfahren entsteht eine Menge von sog. Datenpunkten. Das sind die Punkte der B-rep inklusive ihrer 3D-Position

16 3D Objekterkennung von Matthias Dube 16 3D Rekonstruktion Entstandene 3D B-rep (Ansicht von oben und vorn)

17 3D Objekterkennung von Matthias Dube 17 Konstruktion der Kantenmerkmale Die Kantenmerkmale (boundary features) bestehen aus zwei Vektoren ausgehend von den Merkmalspunkten. Dabei werden die sich treffenden Segmente durch Geraden bzw. Kreise gefittet. Es gibt zwei Arten von Kantenmerkmalen: Scheitel (BF-Vertex) Bogen (BF-Arc) (für Wende- und Übergangspunkte wegen linearer Abhängigkeit) BF-Vertex besteht aus den zwei Tangential-Vektoren der Segmente, die sich an diesem Merkmalspunkt treffen. BF-Arc besteht aus einem Normalenvektor der Kreisebene und dem Vektor, der vom Kreismittelpunkt zum Merkmalspunkt zeigt.

18 3D Objekterkennung von Matthias Dube 18 Konstruktion der Kantenmerkmale (a) BF-Vertex(b) BF-Arc

19 3D Objekterkennung von Matthias Dube 19 Generierung der Objektmodelle Datenstruktur Auch hier wird die B-rep genutzt. Für gekrümmte Oberflächen werden zusätzlich Gitternetze verwendet. Aufgebaut werden diese Datenstrukturen durch die sog. Modellpunkte. Die Gewinnung dieser Modellpunkte kann entweder CAD-basiert oder durch Sensoren (Laser Range Finder) geschehen Außerdem hat ein Objektmodell eine Sammlung von Modell-BFs, die dann zum Matching mit den Daten-BFs genutzt werden.

20 3D Objekterkennung von Matthias Dube 20 Generierung der Objektmodelle Berechnung der Modell-BFs bei Freiform-Objekten über die Konturen: Um das Objekt wird eine Kugel gelegt, auf der n Sichten diskret verteilt werden. Zu jeder Sicht W i wird die zugehörige Kontur (contour generator) extrahiert, d.h. die Menge von Punkten aus den gescannten Daten, die folgende Gleichung erfüllen: N p W i = 0 N p … Normalenvektor der Oberfläche Projizieren dieser Punktmenge auf ein 2D-Bild (apparent contour) Segmentierung der Kontur Berechnung der Modell-BFs (wie Daten-BFs)

21 3D Objekterkennung von Matthias Dube 21 Generierung der Objektmodelle

22 3D Objekterkennung von Matthias Dube 22 Matching Matching wird nach dem Prinzip der Annahme und Bestätigung vorgenommen. Erkennung des Objektes erfolgt in zwei Phasen Groberkennung (initial matching) … mittels Daten-/Modell-BFs Feinabstimmung (fine adjustment) … mittels Daten Hypothese und Groberkennung Zweck ist die Aufstellung von Hypothesen der möglichen Korrespondenzen zwischen Modellpunkten (Model-BFs) und Datenpunkten (Data-BFs), dabei brauchen BF-Paare, die durch Winkel bzw. Radius nicht übereinstimmen können, nicht betrachtet zu werden.

23 3D Objekterkennung von Matthias Dube 23 Matching Zu diesen Korrespondenzen gehören 4 4-Transformationsmatrizen T' (3 3-Rotationsmatrix R' und Translationvektor t'), die wie folgt berechnet werden: t' = P D - P M V1 D = R' V1 M N D = R' N M ( N = V1 V2 )

24 3D Objekterkennung von Matthias Dube 24 Matching Verifikation und Feinabstimmung In dieser Phase wird überprüft, ob die im vorherigen Schritt gemachten Annahmen richtig waren, und die Exaktheit der Transformationen verbessert (iterativer Prozess aus 4 Schritten über alle Annahmen): Schritt 1: Objektmodell wird in die berechnete Position der aktuellen Hypothese gebracht Schritt 2: Es werden alle sichtbaren Modellpunkte ausgewählt, d.h. Punkte, die folgende Gleichung erfüllen: (P-O) N 0 P… Position des Modellpunktes N… Normalenvektor O… Kameraposition

25 3D Objekterkennung von Matthias Dube 25 Matching Schritt 3: Suche zugehöriger Datenpunkte Sowohl Daten- als auch Modellpunkte werden auf ein 2D-Bild abgebildet. Umgebung der Modellpunkte wird in senkrechter Richtung nach Datenpunkten abgesucht Wird ein Datenpunkt gefunden, dessen 3D- Abstand einen bestimmten Wert nicht überschreitet, kann dieser als der korrespondierende Punkt angesehen werden. Bei Freiform-Objekten wird aufgrund von möglichen Ungenauigkeiten bei der Objekt- modellierung etwas anders vorgegangen: Man fällt ausgehend vom Datenpunkt ein Lot auf die Tangentialebene des Modellpunktes, und der Schnittpunkt ist der zugehörige Korrespondenzpunkt.

26 3D Objekterkennung von Matthias Dube 26 Matching Schritt 4: Update von Position und Orientierung Die optimale Transformationsmatrix T'' wird durch Minimierung der folgenden Gleichung gefunden (Methode der kleinste Quadrate): ² = i=1..n |R''P Mi + t''-P Di |² P Mi /P Di … Modell-/Datenpunkt-Paare n…Anzahl der Paare T = T''T'… Angepasste Position des Objektes Ist der Fehler ² nicht klein genug oder die Zahl der Korrespondenz- paare verglichen mit den Modellpunkten gering, so muss mit T'=T iteriert werden (Wiederholung der Schritte 1 bis 4). Wenn die Iteration keine Verbesserung bringt, kann die aktuelle Annahme als falsch betrachtet werden.

27 3D Objekterkennung von Matthias Dube 27 Matching Wurden alle Annahmen überprüft, wird die mit den meisten Korrespondenzpaaren als Ergebnis genommen. Zur Verbesserung des Algorithmus' wird die Feinabstimmung wiederum in zwei Phasen unterteilt: Anfangsabstimmung (Es werden nur Punkte in der Nähe des jeweiligen BFs abgeglichen) Hauptabstimmung (Mit der verbesserten Transformationsmatrix werden alle Punkte abgestimmt) Dadurch wird vermieden, dass die im Schritt 3 betrachteten Abstände zwischen Daten- und Modellpunkten zu groß werden

28 3D Objekterkennung von Matthias Dube 28 Matching (a) Objektmodell (b) linkes Stereobild (Daten) (c) Iteration in Anfangsabstimmung (d) Iteration in Hauptabstimmung 2D-Beispiel für Feinabstimmung:

29 3D Objekterkennung von Matthias Dube 29 Experimentelle Ergebnisse und Schlussfolgerungen

30 3D Objekterkennung von Matthias Dube 30 Experimentelle Ergebnisse und Schlussfolgerungen TypMVMV MAMA DVDV DADA H(R)T 3D-R. T Init T Fine (a) T-BlockFixed36 – (29.5%) (b) PappeFixed (16.8%) (c) DoseFixed– (14%) (d) BananenFree (6.5%) (e) BananeFree (7.8%) (f) KatzeFree (6.1%) M V, M A / D V, D A … BFs des Modells bzw. der rekonstruierten 3D-Daten H…Anzahl der gemachten Hypothesen im 1. Schritt des Matching (Groberkennung) R…prozentualer Anteil an der Anzahl der möglichen Hypothesen T 3D-R., T Init, T Fine …Rechenzeit in Sek. für 3D-Rekonstruktion, Groberkennung, Feinabstimmung

31 3D Objekterkennung von Matthias Dube 31 Experimentelle Ergebnisse und Schlussfolgerungen Bei der 3D-Rekonstruktion hängt die Rechenzeit von der Größe der Eingangsbilder ab Beim Matching spielt die Komplexität des Modells und der Szene eine entscheidende Rolle Probleme beim Matching: Die Bildauflösung muss hoch genug sein Es dürfen nicht alle BFs verdeckt sein. Aber es reicht ein erkennbarer BF zur Erkennung des ganzen Objekts, auch wenn der Rest verdeckt ist. Fehler bei der Kantenerkennung Zusätzliche Probleme beim Matching mit Freiform-Objekten: Da bei diesen Objekten von Konturen ausgegangen wird, kann es vorkommen, dass bei verschiedenen Positionen fast gleiche Konturen auftreten, was eine eindeutige Positionserkennung unmöglich macht


Herunterladen ppt "3D-Objekterkennung in beliebigen Umgebungen durch Segment-Based Stereo Vision von Matthias Dube."

Ähnliche Präsentationen


Google-Anzeigen