Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Human Action Recognition Using Temporal Templates Jonas von Beck.

Ähnliche Präsentationen


Präsentation zum Thema: "Human Action Recognition Using Temporal Templates Jonas von Beck."—  Präsentation transkript:

1 Human Action Recognition Using Temporal Templates Jonas von Beck

2 Übersicht 1.Motivation 2.Einführung 3.Temporal Templates 4.Grundlagen der Bilderkennung 5.Implementierung des Verfahrens 6.Fazit 7.Anwendungen

3 1. Motivation Bewegungsmuster lassen sich durch die Bewegung an sich erkennen. Man erkennt trotz miserabler Bildqualität eine sich setzende Person. Frame

4 2. Einführung 1.Aufnahme der Bildsequenz 2.Reduzieren der Auflösung 3.Bewegung extrahiert & Binärbild oder Graustufen- bilder erzeugen 4.Berechnung invarianter Merkmale 5.Ablage oder Abgleich mit Datenbank

5 3. Temporal Templates Es werden Informationen über Bewegung festgehalten. Diese werden in einem Binärbild oder Graustufenbild festgehalten. Bewegung: Wo? Wie?

6 3.1. Motion-Energy Images (MEI) Generierung eines Binärbildes wobei Bewegung weiß dargestellt wird Hier Bewegungserkennung durch Differenzbilder D.h. Aufeinanderfolgende Frames werden differenziert Um Rauschen entgegenzuwirken wird die Auflösung herabgesetzt.

7 An den Stellen wo Bewegung stattfindet, färbt sich das MEI weiß.

8 3.2. Motion-History Images (MHI) Erweiterung von MEI Graustufenbild, bei der frühere Bewegung dunkler dargestellt wird Dadurch zusätzliche Information über Richtung der Bewegung

9 HinsetzenMHI Arme SchwenkenMHI HinknienMHI Durch die Graustufen lässt sich erkennen, wie die Bewegung stattgefunden hat.

10 4. Grundlagen aus der Bilderkennung οZiel: Merkmale extrahieren die unabhängig von Position, Rotation oder Skalierung sind. Die gleiche Bewegung aus verschiedenen Sichtweisen. (z.B. wenn Person weiter Weg)

11 4.1. Invariante Merkmale Allgemeine Merkmale: Fläche der Form Umfang der Form Minimum Bounding Rectangle (MBR) Best Ellipse Fit Invariante Merkmale: Verhältnis Höhe/Breite: |log(H/B)| Füllungsgrad Kompaktheit: Fläche/Umfang² Elongierttheit: (1- Nebenachse/Hauptachse) des BEF Und weitere MBR BEF

12 Momente Durch Momente lassen sich Objektform und Intensitätsverläufe eindeutig darstellen. Dazu werden aus der Bildfunktion B(x,y) die Momente m p,q gebildet.

13 Momente Die Ordnung des Moments berechnet sich aus (p+q) m 0,0 = Summe der Pixelwerte. (Fläche bei Binärbild) m 1,0 = Zeilenmoment erster Ordnung m 0,1 = Spaltenmoment erster Ordnung Daraus lässt sich der Schwerpunkt des Bildes berechnen

14 Hu-Momente Mit Hilfe des Schwerpunkts können die zentralen Momente μ p,q definiert werden Hu hat die unskalierten zentralen Momente normiert

15 Hu-Momente Hu hat mit den normierten zentralen Momenten 7 Merkmale entwickelt, die invariant gegen Translation, Rotation, und Größenskalierung sind. Die Merkmale werden in einen Vektor (x 1 x 2 x 3 x 4 x 5 x 6 x 7 ) T gepackt.

16 Die 7 invarianten Hu-Momente

17 4.2. Klassifizierung Aus den Trainingsdaten wird ein Merkmalsvektor nach Hu erstellt und in einer Datenbank den Einzelnen Bewegungen zugeordnet. Die Eingabedaten müssen Klassifiziert werden. Dafür werden diese mit der Datenbank abgeglichen.

18 4.2. Klassifizierung Am einfachsten ist es einen Mittelwert x der Trainingsdaten zu berechnen Abgleich erfolgt dann durch suchen der kleinsten euklidischen Norm im R 7 Leider gibt es dabei einige Nachteile und Probleme

19 Probleme bei euklid. x1x1 t1t1 t2t2 x2x2 t 1 und t 2 sind gleich weit von Verschiedenen Mittelwerten entfernt. Dennoch sollten beide unterschiedlich gewichtet werden, da das obere Merkmal eine größere Streuung hat als das Untere.

20 Probleme bei euklid. Realistischere Abstandsmessung x Trainingsdaten Testwerte t1t1 t2t2 t 2 ist zwar näher an x, t 1 ist aber eher im Streuungsbereich

21 Mittelwert und Varianz Mittelwert = E[x] Standartabweichung = Sqr(Var[x]) Gilt für Vektor 1. Dimension Abweichungen lassen sich skalieren, so dass diese Einheitlich sind. Standarisierte Distanz r:

22 Standarisierte Distanz t sei zu Klassifizierender Vektor mit den 7 Hu-Momenten t i = i-ter Eintrag im Vektor t x i,j = Mittelwert des Merkmals i aus der Klasse (Bewegung) j s i,j = Standardabweichung des Merkmals i aus der Klasse j Wir berechnen die Standarisierte Distanz Wenn die Distanz so berechnet wird, haben die unterschiedlichen Streuungen der Merkmale keinen Einfluss auf die Klassifizierung

23 Kovarianzen Verschiedene Momente können zueinander Abhängig sein. (korreliert) Wir berechnen also paarweise die Kovarianz der Momente. Eine Kovarianzmatrix mit allen Kovarianzen wird aufgestellt

24 Kovarianzen

25 Die Kovarianzmatrix Mahalanobisdistanz Mit dieser Matrix lassen sich Distanzen unabhängig von Streuung und Korrelation zwischen Merkmalen berechnen

26 5.1. Trainieren des Systems Es werden 18 Aerobicübungen aufgenommen und die Zugehörigen MEIs und MHIs Generiert. Dies wir für Verschiedene Blick- winkel von -90° bis 90° (30°Schritte) getan.

27 5.1. Trainieren des Systems MEIs und MHIs werden über einen Zeitraum von r bis r+Δr rückwirkend erzeugt, da Bewegungen unterschiedlich schnell durchgeführt werden können. Zu den erhaltenen Daten werden die Statistischen Daten berechnet und in der Datenbank abgelegt.

28 5.2. Test mit einer Kamera Um das System zu testen werden die Übungen von einer Weiteren Person Wiederholt. Aufnahmewinkel 30° Wieder werden MEI und MHI erstellt, die statistischen Daten berechnet. Dann folgt der Abgleich mit der Datenbank durch Mahalanobis Distanzen.

29 Die Tabelle zeigt die Distanz zur nahesten Bewegung, sowie die Nummer dieser. Zudem die Distanz zur Korrekten Bewegung und die durchschnittliche Distanz, sowie der Rang der Korrekten Bewegung.

30 5.2. Test mit einer Kamera Bei den Bewegungen die falsch erkannt wurden, ist dies auf die Ähnlichkeit zurückzuführen. Auch wurde die Bewegung durch die andere Person nicht identisch durchgeführt Testbewegung bester Match korrekter Match

31 5.3. Test mit mehreren Kameras Einige Bewegungen die von einem Sichtwinkel ähnlich MEIs und MHIs haben, können von einem anderen Winkel unterschiedlich aussehen. Der gleich Test wird mit zwei Kameras wiederholt die in einem Winkel von 90° zueinander stehen.

32 Das Ergebnis sieht mit zwei Kameras deutlich besser aus. Es muss berücksichtigt werden, dass jede Bewegung nur wenig trainiert wurde. Dennoch gibt es andere Probleme die eine Ursache sein könnten

33 6.1. Probleme / Nachteile 1. Bewegungserkennung: Bewegung im Hintergrund Bewegung der Kamera Einfarbige Kleidung Helligkeitsschwankungen 2.Verdeckung durch Personen Objekte 3.Kombinierte Bewegungen Werfen eines Balls Bewegung des Oberkörpers beim gehen

34 6.2. Vorteile 1.Sehr geringer Berechnungsaufwand 2.Funktioniert auch bei sehr schlechter Bildqualität

35 7. Anwendungen 1.Als Teil von anderen Bildsequenz- erkennungsprogrammen 2.KidsRoom Interaktiver Spielraum


Herunterladen ppt "Human Action Recognition Using Temporal Templates Jonas von Beck."

Ähnliche Präsentationen


Google-Anzeigen