Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

PictureRubber Stefan Benischke, Eric Jahn, Erik Müller 26.01.2011 Spezielle Kapitel Grafische Datenverarbeitung Erfurt University of Applied Sciences Wintersemester.

Ähnliche Präsentationen


Präsentation zum Thema: "PictureRubber Stefan Benischke, Eric Jahn, Erik Müller 26.01.2011 Spezielle Kapitel Grafische Datenverarbeitung Erfurt University of Applied Sciences Wintersemester."—  Präsentation transkript:

1 PictureRubber Stefan Benischke, Eric Jahn, Erik Müller Spezielle Kapitel Grafische Datenverarbeitung Erfurt University of Applied Sciences Wintersemester 2010/2011

2 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 2 / 17 Gliederung 1.Demonstration 2.Aufgabenverteilung 3.Spielprinzip / Einsatz 4.Technische Herausforderungen 1.Kinect 2.Performance der Bildermanipulation 3.Dynamische Integration von Bildern / Videos

3 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 3 / Demonstration

4 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 4 / Aufgabenverteilung Stefan Benischke Kinect-Integration CLNUI-Framework Dynamischen Content-Import Menü / Programmlogik Eric Jahn Shaderimplementation und –integration Gestenhandling Erik Müller Kinect-Integration OpenNI & NITE Gestenerkennung Texturing

5 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 5 / Spielprinzip / Einsatz Spielprinzip: durch Interaktionen mit der Hand können Bilder/Bildbereiche wegradiert werden Einsatz: interaktive Touren durch Gebäude Entwicklung eines Objektes darstellen Bilderspiele

6 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 6 / Technische Herausforderungen I Problem: versch. SDK-, API- und Treiberversionen für Kinect Code Laboratories: CL NUI Plattform o gute Treiberunterstützung (Motor, Tiefenbild, Ton) o schlechte Unterstützung durch das Framework OpenNI o Plattform und SDK zur Ansteuerung verschiedener Sensoren o C# Wrapper OpenNI.net NITE o PrimeSense Dienstschicht für OpenNI o C# Wrapper ManagedNite (kompiliert für XNA 3.1)

7 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 7 / Technische Herausforderungen II

8 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 8 / Technische Herausforderungen III Lösung: Trial & Error verschiedener Treiberversionen und SDKs Zusammenspiel aus: o OpenNI (unstable) o Modified Kinect Sensor Plugin o PrimeSense NITE Stable Zugriff auf Sensordaten sowie Funktionen des NITE-Frameworks (z.B. Hand- und Gestenerkennung) Glätten der Handbewegung durch Mittelwertberechnung Weitere Stabilisierung durch Anpassung der PointDenoiser- Distanzen

9 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 9 / Technische Herausforderungen I Performance der Bildermanipulation: Anspruch möglichst Echtzeit Möglichkeiten: o Get/Set-Pixel o Byte-Operationen o Shader

10 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 10 / Technische Herausforderungen II Get/Set-Pixel Array-Operation zu langsam Byte-Operationen schneller als Get/Set-Pixel allerdings für jedes Bild ein Byte-Array viele for-Schleifen und Vergleiche Shader sehr schnell wenig Code Verfahren: Render To Texture

11 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 11 / Technische Herausforderungen III Entscheidung für Umsetzung mittels Shader sehr performant und Echtzeit Shader 1: erfassen der Mouseposition bei jedem Update daraus wird Texturvorlage generiert Shader 2: löschen der Texturbereiche anhand der Vorlage

12 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 12 / Technische Herausforderungen IV Probleme bei Shader-Umsetzung: Umrechnung der Mauskoordinaten auf Fensterkoordinaten Löschen der RenderTargets nach Änderungen am Fenster Anlegen einer Kopie mithilfe von GetData() und SetData() Zustandsänderungen im Shader nicht feststellbar jede Textur muss überprüft werden, ob der betroffene Bereich gelöscht werden kann

13 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 13 / Technische Herausforderungen I Dynamische Integration der Bilddaten Normalerweise: Integration sämtlicher verwendeter Bilder über Content Importer bzw. ContentProject Ansatz: Bilder dynamisch zur Laufzeit aus Ordner einlesen Lösung: Texture2D.FromStream()

14 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 14 / Technische Herausforderungen II Dynamische Integration der Videodaten Normalerweise: Integration sämtlicher verwendeter Videos über Content Importer bzw. ContentProject Ansatz: Ähnlich wie bei der Bildintegration Lösung: ausstehend statische Integration umgesetzt Probleme: aus Performancegründen nicht integriert

15 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 15 / 17 Ausblick Mehrbenutzerunterstützung Radieren auf Videos Kinect-Ansteuerung verbessern Motoransteuerung Mikrofonunterstützung

16 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 16 / 17 Fragen

17 Stefan Benischke, Eric Jahn, Erik Müller - PictureRubber 17 / 17 Vielen Dank für Ihre Aufmerksamkeit


Herunterladen ppt "PictureRubber Stefan Benischke, Eric Jahn, Erik Müller 26.01.2011 Spezielle Kapitel Grafische Datenverarbeitung Erfurt University of Applied Sciences Wintersemester."

Ähnliche Präsentationen


Google-Anzeigen