Heinrich Hertz Institut für Nachrichtentechnik Berlin

Präsentation zum Thema: "Heinrich Hertz Institut für Nachrichtentechnik Berlin"—  Präsentation transkript:

1 Schneller hybrider Disparitätsschätzer für ein 3D-Echtzeit-Videokonferenzsystem
Heinrich Hertz Institut für Nachrichtentechnik Berlin Nicole Brandenburg and Serap Askar

2 Überblick 3D-Echtzeit-Videokonferenzsystem
Konzept der Disparitätsschätzung Struktur des schnellen hybriden Disparitätsschätzers Nachverarbeitung Ergebnisse Zusammenfassung

3 Steuerung der virtuellen Kamerabewegung durch Head Tracking
3D Echtzeit-Videokonferenzsystem Konferenzteilnehmer an verschiedenen Orten Virtuelle Kamera Bewegungs-Parallaxe Steuerung der virtuellen Kamerabewegung durch Head Tracking Virtual Scene Display produce an accurate and correct perspective view of the presented conferee This slide shows the idea of a 3-way video conferencing system The three conferees in the virtual scene are placed around a round table. In contrast to the slide I showed at the beginning, there is only one local conferee which sits in front of the display and two remote conferees which appear in the display. The position of the virtual camera shows the viewpoint of the local conferee. If the local conferee moves his head the virtual camera changes and the virtual scene and the two remote conferees are viewed from a different angle. This so called motion parallax gives the impression of a 3D scene though it is a 2D display. The calculation of the virtual views of the remote conferees is an important task in the VIRTUE project. I now want to show a mock-up of the VIRTUE demonstrator.

4 3D Echtzeit-Videokonferenzsystem
Synthese einer virtuellen Ansicht ?

5 Hautfarben-Segmentierung
Konzept der Disparitätsschätzung linkes Bild rechtes Bild Rektifikation Rektifikation Hautfarben-Segmentierung Hybrider rekusiver Disparitätschätzer Konsistenztest Segmentgestützte Nachverarbeitung Segmentgestützte Nachverarbeitung Segmentgestützte Interpolation Segmentgestützte Interpolation L -> R Disparität R -> L Disparität

6 Struktur des hybriden Disparitätsschätzers
Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

7 Block-Rekursion 3 Kandidaten werden getestet
vertikal zeitlich horizontal Vorgängerbild aktuelles Bild Keine Definition eines Suchbereichs um die Kandidaten Auswahl des besten Kandidaten mittels DBD

8 Struktur des hybriden Disparitätsschätzers
Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

9 Pixel-Rekursion Initialisierung von zwei pixel-rekursiven Prozessen
Berechnung der Update-Vektoren mit Hilfe des optischen Flusses Auswahl des besten Update-Vektors anhand der DPD update vector d incremental update initial vector d Start-Vektor

10 Struktur des hybriden Disparitätsschätzers
Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

11 Ergebnisse des HRM Große Verdeckungen ! Falsche Disparitäten !
Originalbilder Falsche Disparitäten ! L->R R->L Disparitäten

12 Konsistenztest Vergleich der L->R und R->L Disparitäten
Ersetzen der unzuverlässigen Disparitäten Hier die schlechte Interpolation überblenden

13 Segmentierung der Hände mittels Hautfarbe
Segmentierung innerhalb der Bounding Boxen Tracking der Bounding Boxen Unterabtastung Hautfarbensegmentierung mit Region Growing Tracken der Bounding Boxen Bounding Boxen

14 Segmentgestützte Nachverarbeitung
Verwendung von Disparitäten des gleichen Objekts Disparitäten Handmaske Disparitäten Handmaske Disparitätssprünge bleiben erhalten Handmasken + gute Interpolation

15 Dense Field Interpolation
Segmentgestütztes Interpolieren der Disparitäten sparse field 4x4 dense field

16 Experimentelle Ergebnisse
ohne Nachverarbeitung Einfache Nachverarbeitung Segmentgestützte Nachverarbeitung

17 Experimentelle Ergebnisse
ohne Nachverarbeitung einfache Nachverarbeitung segmentgestützte Nachverarbeitung

18 Rechenzeiten für ITU-Rec. 601, 25 Hz, 1:1
Pentium III, 700 MHz Rastergröße aktuell Ziel 4x4 87 ms < 40 ms 8x8 22 ms ---- Zeiten enthalten: a) unabhängige L  R and R  L Schätzung b) Konsistenztest c) Interpolation der unzuverlässigen Disparitäten The VIRTUE (VIRtual Team User Environment) consortium consists of two leading industry corporations, two internationally renowned research institutes, and two Universities with highly respected research capabilities.

19 Zusammenfassung Schneller hybrider Disparitätsschätzer
Blockrekursion : Auswahl aus drei Kandidaten Pixelrekursion : Nutzung des optischen Flusses Nachverarbeitung Verwerfen unzuverlässiger Disparitäten Segmentgestütztes Füllen der Löcher Segmentgestützte Dense Field Berechnung Echtzeitfähigkeit Echtzeitfähig für ein 8x8 Grid, optimierbar für 4x4

20 Ende