Schneller hybrider Disparitätsschätzer für ein 3D-Echtzeit-Videokonferenzsystem Heinrich Hertz Institut für Nachrichtentechnik Berlin Nicole Brandenburg and Serap Askar

Überblick 3D-Echtzeit-Videokonferenzsystem Konzept der Disparitätsschätzung Struktur des schnellen hybriden Disparitätsschätzers Nachverarbeitung Ergebnisse Zusammenfassung

Steuerung der virtuellen Kamerabewegung durch Head Tracking 3D Echtzeit-Videokonferenzsystem Konferenzteilnehmer an verschiedenen Orten Virtuelle Kamera Bewegungs-Parallaxe Steuerung der virtuellen Kamerabewegung durch Head Tracking Virtual Scene Display produce an accurate and correct perspective view of the presented conferee This slide shows the idea of a 3-way video conferencing system The three conferees in the virtual scene are placed around a round table. In contrast to the slide I showed at the beginning, there is only one local conferee which sits in front of the display and two remote conferees which appear in the display. The position of the virtual camera shows the viewpoint of the local conferee. If the local conferee moves his head the virtual camera changes and the virtual scene and the two remote conferees are viewed from a different angle. This so called motion parallax gives the impression of a 3D scene though it is a 2D display. The calculation of the virtual views of the remote conferees is an important task in the VIRTUE project. I now want to show a mock-up of the VIRTUE demonstrator.

3D Echtzeit-Videokonferenzsystem Synthese einer virtuellen Ansicht ?

Hautfarben-Segmentierung Konzept der Disparitätsschätzung linkes Bild rechtes Bild Rektifikation Rektifikation Hautfarben-Segmentierung Hybrider rekusiver Disparitätschätzer Konsistenztest Segmentgestützte Nachverarbeitung Segmentgestützte Nachverarbeitung Segmentgestützte Interpolation Segmentgestützte Interpolation L -> R Disparität R -> L Disparität

Struktur des hybriden Disparitätsschätzers Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

Block-Rekursion 3 Kandidaten werden getestet vertikal zeitlich horizontal Vorgängerbild aktuelles Bild Keine Definition eines Suchbereichs um die Kandidaten Auswahl des besten Kandidaten mittels DBD

Struktur des hybriden Disparitätsschätzers Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

Pixel-Rekursion Initialisierung von zwei pixel-rekursiven Prozessen Berechnung der Update-Vektoren mit Hilfe des optischen Flusses Auswahl des besten Update-Vektors anhand der DPD update vector d incremental update initial vector d Start-Vektor

Struktur des hybriden Disparitätsschätzers Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

Ergebnisse des HRM Große Verdeckungen ! Falsche Disparitäten ! Originalbilder Falsche Disparitäten ! L->R R->L Disparitäten

Konsistenztest Vergleich der L->R und R->L Disparitäten Ersetzen der unzuverlässigen Disparitäten Hier die schlechte Interpolation überblenden

Segmentierung der Hände mittels Hautfarbe Segmentierung innerhalb der Bounding Boxen Tracking der Bounding Boxen Unterabtastung Hautfarbensegmentierung mit Region Growing Tracken der Bounding Boxen Bounding Boxen

Segmentgestützte Nachverarbeitung Verwendung von Disparitäten des gleichen Objekts Disparitäten Handmaske Disparitäten Handmaske Disparitätssprünge bleiben erhalten Handmasken + gute Interpolation

Dense Field Interpolation Segmentgestütztes Interpolieren der Disparitäten sparse field 4x4 dense field

Experimentelle Ergebnisse ohne Nachverarbeitung Einfache Nachverarbeitung Segmentgestützte Nachverarbeitung

Experimentelle Ergebnisse ohne Nachverarbeitung einfache Nachverarbeitung segmentgestützte Nachverarbeitung

Rechenzeiten für ITU-Rec. 601, 25 Hz, 1:1 Pentium III, 700 MHz Rastergröße aktuell Ziel 4x4 87 ms < 40 ms 8x8 22 ms ---- Zeiten enthalten: a) unabhängige L  R and R  L Schätzung b) Konsistenztest c) Interpolation der unzuverlässigen Disparitäten The VIRTUE (VIRtual Team User Environment) consortium consists of two leading industry corporations, two internationally renowned research institutes, and two Universities with highly respected research capabilities.

Zusammenfassung Schneller hybrider Disparitätsschätzer Blockrekursion : Auswahl aus drei Kandidaten Pixelrekursion : Nutzung des optischen Flusses Nachverarbeitung Verwerfen unzuverlässiger Disparitäten Segmentgestütztes Füllen der Löcher Segmentgestützte Dense Field Berechnung Echtzeitfähigkeit Echtzeitfähig für ein 8x8 Grid, optimierbar für 4x4

Ende