Ähnlichkeitssuche durch Gestaltcharakterisierung auf 3D Datenbanken Daniel A. Keim, Dietmar Saupe, Benjamin Bustos, Tobias Schreck, Dejan V. Vranić

Universität Konstanz, FB Informatik und Informationswissenschaft Projektteilnehmer Multimedia Signal Processing Group (SA 449/10-1) Prof. Dr. Dietmar Saupe Dr. Dejan V. Vranić (WissAng, 04/2002-03/2004) Databases, Data Mining and Visualization Group (KE 740/6-1) Prof. Dr. Daniel Keim Tobias Schreck (WissAng, Beginn: 11/2002) Benjamin Bustos (Forschungsstudent, Beginn: 10/2002) Universität Konstanz, FB Informatik und Informationswissenschaft

Projektüberblick Featuredefinition und Evaluierung Selektion und Kombination von Feature Vektoren Effiziente Anfragebearbeitung SOM-basiertes Retrievalsystem

1. Featuredefinition und Evaluierung (1) FV Extraktion Normalisierung: PCA-Varianten Geometriebasiert: Volumina, Voxelisierung, Momente, Funktionen auf der Kugelfläche Bildbasiert: Silhouette und Tiefenpuffer Representation im Orts- und im Frequenzbereich Untersuchte Eigenschaften Invarianz bzgl. Translation, Rotation, Skalierung Robustheit bzgl. Auflösung Robustheit bzgl. Rauschen Effizienz der Featureextraktion Effektivität des Retrieval

1. Featuredefinition und Evaluierung (2) Rotationsinvarianz und Kugelfunktionen bzgl. verschiedenen Radien Vranic (2003) Funkhouser et al (2003) D. VRANIC: An Improvement of Rotation Invariant 3D Shape Descriptor Based on Functions on Concentric Spheres. IEEE International Conference on Image Processing (ICIP 2003) (Barcelona, Spain, September 2003).

1. Featuredefinition und Evaluierung (3) Experimentelle Untersuchungen: Im Durchschnitt gute Retrievalqualität durch PCA-gestützte und bildbasierte Verfahren Kein klarer Gewinner über alle Objektklassen hinweg Effiziente Extraktion möglich B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D.VRANIC: An Experimental Comparison of Feature-Based 3D Retrieval Methods. Poster Paper. 2nd International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT’04) (Thessaloniki, Greece, September 2004).

1. Featuredefinition und Evaluierung (4) Dissertation von Dejan Vranić 12/2003: Definition und Implementierungsdetails zu 12 Algorithmen Vergleich mit 7 konkurrierenden Verfahren Sensitivitätsanalysen Statische Kombinationen Evaluierung auf 4 Referenzdatenbanken D. VRANIC: 3D Model Retrieval (PhD Thesis), University Leipzig, 2004

2. Selektion und Kombination (1) Feature Selektionsproblem

2. Selektion und Kombination (2) Idee: Schätze erwartete Retrievalqualität auf einer Testdatenbank Selektiere oder Kombiniere anhand des Schätzwertes Indikatorfunktionen: Entropie Purity (max. Klassengröße) Ranking k = 7 B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D. VRANIC: Automatic Selection and Combination of Descriptors for Effective 3D Similarity Search. IEEE International Workshop on Multimedia Content-based Analysis and Retrieval (MCBAR’2004) (Miami, Florida, USA, December 2004).

2. Selektion und Kombination (3) Dynamische Selektion: Selektiere FV, der den Indikator maximiert Verbesserung gegenüber Depth Buffer FV Robustes k-Intervall B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D. VRANIC: Using Entropy Impurity for Improved 3D Object Similarity Search. IEEE International Conference on Multimedia and Expo (ICME’04) (Taipei/Taiwan, June 2004).

2. Selektion und Kombination (4) Dynamische Kombination: Nutze Indikator zur Bildung einer gewichteten Kombination 30% Verbesserung gegenüber Depth Buffer FV Dynamische Kombination nahe an optimaler Selektion

3. Effiziente Anfragebearbeitung (1) Effizienzproblem: Hochdimensionale Featurevektoren (>100d je FV)  Curse of dimensionality Dynamische Gewichtung von Kombinationen  Struktur der Distanzfunktion variabel  Räumliche Indexierungstechniken (R-Tree, X-Tree, SS-Tree ...) versagen Idee: Verwende Pivot-basierte metrische Indexstruktur Erzeuge zur Anfragezeit die Distanzmatrix Dq : P x (DB-P) aus der Menge gegebener FV-spezifischer Distanzmatrizen Verwende Dq zur Reduktion der Kandidatenmenge B. BUSTOS, D. KEIM, T. SCHRECK: A pivot-based index structure for combination of feature vectors. 20th Annual ACM Symposium on Applied Computing, Multimedia & Visualization Track (SAC-MMV'05) (Santa Fe, New Mexico, March 2005)

3. Effiziente Anfragebearbeitung (2) Experiment: 4 Featurevektoren, total 89d Evaluierung auf 2 Hauptspeicherbasierten Datenbanken: Ausschlussbedingung greift (Selektivität gut) Speedup Faktoren von bis zu 7 gegenüber dem sequentiellen Scan möglich

4. Interaktives Retrievalsystem (1) Smoothed density histogram Selbstorganisierende Karte (SOM) als Überblicksinstrument B. BUSTOS, D. KEIM, C. PANSE, T. SCHRECK: 2D Maps for Visual Analysis and Retrieval in Large Multi-Feature 3D Model Databases. Poster Paper. IEEE Visualization Conference (VIS’2004) (Austin, Texas, USA, October 2004).

4. Interaktives Retrievalsystem (2) U-Matrix Response surface SOM als Anfrageinstrument

4. Interaktives Retrievalsystem (3) U-Matrizen zu vier verschiedenen Featurevektoren Markierung: Best matching units zu einer Anfrageklassse mit 26 Objekten SOM in der FV Evaluierung

Danksagung

Vielen Dank für Ihre Aufmerksamkeit! Ende Vielen Dank für Ihre Aufmerksamkeit! Fragen?

Ausgewählte Publikationen B. BUSTOS, D. KEIM, T. SCHRECK: A pivot-based index structure for combination of feature vectors, Proc. 20th Annual ACM Symposium on Applied Computing, Multimedia & Visualization Track (SAC-MMV'05)", to appear 2005 B. BUSTOS, D. KEIM, C. PANSE, T. SCHRECK: 2DMaps for Visual Analysis and Retrieval in Large Multi-Feature 3D Model Databases. In IEEE Visualization Conference (VIS’2004), Poster Paper (Austin, Texas, USA, October 2004). B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D. VRANIC: Automatic Selection and Combination of Descriptors for Effective 3D Similarity Search. In IEEE International Workshop on Multimedia Content- based Analysis and Retrieval (MCBAR’2004) (Miami, Florida, USA, December 2004). B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D. VRANIC: Using Entropy Impurity for Improved 3D Object Similarity Search. In Proc. IEEE International Conference on Multimedia and Expo (ICME’04) (Taipei/Taiwan, June 2004). B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D.VRANIC: An Experimental Comparison of Feature-Based 3D Retrieval Methods. In Second International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT’04) (Thessaloniki, Greece, September 2004). D. VRANIC: An Improvement of Rotation Invariant 3D Shape Descriptor Based on Functions on Concentric Spheres. In Proceedings of the IEEE International Conference on Image Processing (ICIP 2003) (Barcelona, Spain, September 2003), vol. III, pp. 757–760. D. VRANIC: 3D Model Retrieval (PhD Thesis), University Leipzig, 2004