Generative Posenschätzung

Präsentation zum Thema: "Generative Posenschätzung"—  Präsentation transkript:

1 Generative Posenschätzung
IAT-IPK Bildverarbeitungsworkshop, , Dipl.-Inf. The Duy Nguyen

2 Gliederung Vorstellung und Projekte Generative Posenschätzung
Optimierungsprobleme

3 Vorstellung Seit 2012 am IAT
Studium Informatik mit Schwerpunkt „Intelligente Systeme“ Medizinische Bildverarbeitung Computer Vision Maschinelles Lernen Optimierung Arbeit auf Projekt SFB 1026-C4 „Human Centred Automation“ Kompetenzen Generative Posenschätzung und Erkennung Modellierung als Optimierungsproblem

4 Generative Posenschätzung: Analysis-by-Synthesis
Pons-Moll & Rosenhahn.

5 Generative Posenschätzung
Finde bestpassende Modellparameter anhand gegebener Bilddaten Wie wird das Modell beschrieben? - 2D oder 3D? Kinematisch oder 6DoF? Form? Wie wird „bestpassend“ definiert? – Tiefenbildvergleich? Silhouettenvergleich? Mit welchem Algorithmus werden Parameter optimiert? – Gradientenbasiert? Diskret? Stochastisch? Welche „Tricks“ können angewendet werden? – Umformen des Problems? Einschränkung des Suchraumes? Initialisierung? Mehrstufige Optimierung?

6 2D Tracking mit diskreter Optimierung
Bild: Silhouette Modell: Kinematische Kette Modellbild: Silhouette der kinematischen Kette Ähnlichkeit: Überlappende Pixel

7 Diskrete Optimierung Modell C3 C4 C7 C8 B1 B2 B3 B4 A1 A2

8 Beschleunigung durch A* Suche
𝐹 1 ≈ 𝐴 1 + 𝐵 2 + 𝐶 3 Save result ! 𝐹 2 ≈ 𝐴 1 + 𝐵 2 + 𝐶 4 Modell F1 F2 C3 C4 C7 C8 B1 B2 B3 B4 A1 A2

9 3D Tracking mit PSO Bild: Tiefenbild
Modell: Kinematischer Baum mit Ellipsoiden als Körperteilen Modellbild: Künstlich erzeugtes Tiefenbild Ähnlichkeit: Tiefenabstände und Überlappende Pixel

10 Künstliches Tiefenbild
Wrapper 1 image plane depth value Wrapper 2 Bei mehreren Objekten in der Linie muss das mit der kleinsten Tiefe genommen werden  min Funktion! Parallelisiert mit CUDA

11 Partikel Schwarm Optimierung (PSO)
Verbreitet für MoCap und hochdimensionaler Optimierung Benötigt keine Berechnung des Gradienten (günstig für min Funktion) Robuster gegen lokale Minima aufgrund mehrerer Suchhypothesen f(x) x

12 Partikel Schwarm Optimierung (PSO)
Verbreitet für MoCap und hochdimensionaler Optimierung Benötigt keine Berechnung des Gradienten (günstig für min Funktion) Robuster gegen lokale Minima aufgrund mehrerer Suchhypothesen f(x) x

13 Partikel Schwarm Optimierung (PSO)
Verbreitet für MoCap und hochdimensionaler Optimierung Benötigt keine Berechnung des Gradienten (günstig für min Funktion) Robuster gegen lokale Minima aufgrund mehrerer Suchhypothesen f(x) x

14 Optimierungsprobleme
Generalisierung der Posenschätzung Modellierung von Problemen als Optimierungsproblem Wie das Problem als Funktion beschreiben? Welche Eigenschaften hat das Problem? Wie das Problem vereinfachen? Welche Lösungsalgorithmen anwenden? Welche Tricks anwenden? 𝑥 ∗ = min 𝑥 𝑓(𝑥) s.t. 𝑚𝑖𝑛≤𝑔 𝑥 ≤𝑚𝑎𝑥

15 Vielen Dank