Generative Posenschätzung IAT-IPK Bildverarbeitungsworkshop, 08.04.2016, Dipl.-Inf. The Duy Nguyen
Gliederung Vorstellung und Projekte Generative Posenschätzung Optimierungsprobleme
Vorstellung Seit 2012 am IAT Studium Informatik mit Schwerpunkt „Intelligente Systeme“ Medizinische Bildverarbeitung Computer Vision Maschinelles Lernen Optimierung Arbeit auf Projekt SFB 1026-C4 „Human Centred Automation“ Kompetenzen Generative Posenschätzung und Erkennung Modellierung als Optimierungsproblem
Generative Posenschätzung: Analysis-by-Synthesis Pons-Moll & Rosenhahn.
Generative Posenschätzung Finde bestpassende Modellparameter anhand gegebener Bilddaten Wie wird das Modell beschrieben? - 2D oder 3D? Kinematisch oder 6DoF? Form? Wie wird „bestpassend“ definiert? – Tiefenbildvergleich? Silhouettenvergleich? Mit welchem Algorithmus werden Parameter optimiert? – Gradientenbasiert? Diskret? Stochastisch? Welche „Tricks“ können angewendet werden? – Umformen des Problems? Einschränkung des Suchraumes? Initialisierung? Mehrstufige Optimierung?
2D Tracking mit diskreter Optimierung Bild: Silhouette Modell: Kinematische Kette Modellbild: Silhouette der kinematischen Kette Ähnlichkeit: Überlappende Pixel
Diskrete Optimierung Modell C3 C4 C7 C8 B1 B2 B3 B4 A1 A2
Beschleunigung durch A* Suche 𝐹 1 ≈ 𝐴 1 + 𝐵 2 + 𝐶 3 Save result ! 𝐹 2 ≈ 𝐴 1 + 𝐵 2 + 𝐶 4 Modell F1 F2 C3 C4 C7 C8 B1 B2 B3 B4 A1 A2
3D Tracking mit PSO Bild: Tiefenbild Modell: Kinematischer Baum mit Ellipsoiden als Körperteilen Modellbild: Künstlich erzeugtes Tiefenbild Ähnlichkeit: Tiefenabstände und Überlappende Pixel
Künstliches Tiefenbild Wrapper 1 image plane depth value Wrapper 2 Bei mehreren Objekten in der Linie muss das mit der kleinsten Tiefe genommen werden min Funktion! Parallelisiert mit CUDA
Partikel Schwarm Optimierung (PSO) Verbreitet für MoCap und hochdimensionaler Optimierung Benötigt keine Berechnung des Gradienten (günstig für min Funktion) Robuster gegen lokale Minima aufgrund mehrerer Suchhypothesen f(x) x
Partikel Schwarm Optimierung (PSO) Verbreitet für MoCap und hochdimensionaler Optimierung Benötigt keine Berechnung des Gradienten (günstig für min Funktion) Robuster gegen lokale Minima aufgrund mehrerer Suchhypothesen f(x) x
Partikel Schwarm Optimierung (PSO) Verbreitet für MoCap und hochdimensionaler Optimierung Benötigt keine Berechnung des Gradienten (günstig für min Funktion) Robuster gegen lokale Minima aufgrund mehrerer Suchhypothesen f(x) x
Optimierungsprobleme Generalisierung der Posenschätzung Modellierung von Problemen als Optimierungsproblem Wie das Problem als Funktion beschreiben? Welche Eigenschaften hat das Problem? Wie das Problem vereinfachen? Welche Lösungsalgorithmen anwenden? Welche Tricks anwenden? 𝑥 ∗ = min 𝑥 𝑓(𝑥) s.t. 𝑚𝑖𝑛≤𝑔 𝑥 ≤𝑚𝑎𝑥
Vielen Dank