BTW, 26. Februar 2003Übertragung von Rangordnungen1 Ein Ansatz zur Übertragung von Rangordnungen bei der Suche auf strukturierten Daten Andreas Henrich.

Präsentation zum Thema: "BTW, 26. Februar 2003Übertragung von Rangordnungen1 Ein Ansatz zur Übertragung von Rangordnungen bei der Suche auf strukturierten Daten Andreas Henrich."—  Präsentation transkript:

1 BTW, 26. Februar 2003Übertragung von Rangordnungen1 Ein Ansatz zur Übertragung von Rangordnungen bei der Suche auf strukturierten Daten Andreas Henrich und Günter Robbert Angewandte Informatik I Softwaretechnik und Informationssysteme Fakultät für Mathematik und Physik Universität Bayreuth

2 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 2 Übersicht Ähnlichkeitsanfragen auf strukturierten Dokumenten Anfragebeispiel Problemstellung Übertragung von Rangordnungen: Mögliche Semantiken Algorithmus RSV-Transfer Prototypische Implementierung: Systemarchitektur Experimentelle Ergebnisse Ausblick

3 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 3 Thema: Ähnlichkeitsanfragen auf strukturierten Dokumenten Struktur Medienobjekte Segmentierung

4 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 4 Ein Beispieldokument Thesis : document Einleitung : chunk In dieser Arbeit … Hauptteil : chunkSchluss : chunk HT1 : chunkHT2 : chunk Ferner … In Zukunft … Wir sehen … Außer … Hier … Am Ende …

5 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 5 Beispielanfrage Anfrage: Suche alle Bilder, die ein bestimmtes Logo enthalten und deren Text in der Umgebung inhaltlich einem gegebenen Beispieltext ähnelt. Anfrage: Suche alle Bilder, die ein bestimmtes Logo enthalten und deren Text in der Umgebung inhaltlich einem gegebenen Beispieltext ähnelt. Maximumsemantik -Semantik 1. 2. 6. 5. 3. 4.

6 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 6 Beteiligte Komponenten Ranker zur Erzeugung initialer Ströme Beispiel: Bilder nach Farbähnlichkeit zu Anfragebild sortiert Verfahren und Indexstrukturen für Ranker: invertierte Listen, R-Baum, X-Baum, LSD h -Baum, VA-File, … Combiner zur Kombination mehrerer Rangordnungen: Buckley-Lewit, Nosferatu, Quick-Combine, J*, … Transferer Übertragung von Rangordnungen zu verbundenen Objekten bisher höchsten implizit in Combinern Einführung eines expliziten RSV-Transfer-Algorithmus

7 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 7 Problem: Semantik der Übertragung der Rangordnungen einfaches Beispiel: Suche alle Bilder, die ein Segment enthalten, dass ähnlich zu einem gegebenen Logo ist die Ordnung auf den Segmenten erfolgt i.d.R. über ein Ähnlichkeitsmaß retrieval status value (RSV) Idee: Rangordnung der Bilder durch Übertragung der RSV-Werte der Segmente bestimmen! Aber wie? Mehrere Semantiken denkbar: RSV-Wert eines Bildes = maximaler RSV-Wert eines Segmentes RSV-Wert eines Bildes = RSV-Wert eines Segmentes …

8 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 8 denkbare Übertragungssemantiken: Maximum: Minimum: Durchschnitt: gewichteter Durchschnitt: … Wir fordern lediglich:

9 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 9 Transferer: grundsätzliches Vorgehen einfache Beispielanfrage: Gesucht werden die Bilder, die ein Segment enthalten, das einem gegebenen Logo ähnlich ist Annahme: Bildsegmente werden von einem Eingabestrom bereits nach Ähnlichkeit sortiert geliefert z.B. durch eine mehrdimensionale Zugriffsstruktur für Farbähnlichkeit z.B. durch eine Kombination von Rangordnungen für Farbe, Textur, … Dieser Eingabestrom kann inkrementell verarbeitet werden: Initialisierung und dann: GetNext

10 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 10 Transferer: grundsätzliches Vorgehen Nimm das erste Segment aus dem Eingabestrom Bestimme das zugehörige Bild Berechne den Ähnlichkeitswert RSV d für dieses Bild Ordne das Bild in eine Prioritätswarteschlange AL ein while (RSV d -Wert des 1. Eintrags in AL > RSV r -Wert des nächsten Elements im Eingabestrom ) do gibt das Bild im Ausgabestrom aus betrachte das nächste Bildsegment auf dem Eingabestrom bestimme das zugehörige Bild 1. Fall: dieses Bild ist bereits betrachtet worden ( nicht das ähnlichste Segment des Bildes) 2. Fall: dieses Bild wurde noch nicht betrachtet

11 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 11 RSV-Transfer- Algorithmus Tagungsband

12 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 12 RSV-Transfer-Algorithmus: Anmerkungen Wichtige Eigenschaft des Algorithmus: Inkrementell anwendbar Spezialfall Maximumsemantik: Erlaubt Vereinfachungen des Algorithmus Statt RSV d (o d ) zu berechnen kann beim 1. verbundenen Objekt o r zu o d direkt RSV r (o r ) genutzt werden Weitere Vereinfachung: Schleife zur Betrachtung mehrerer o d Objekte kann bei einer 1:n- Beziehung zwischen den Objekttypen entfallen

13 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 13 Systemarchitektur (1) Grundlegende Ideen: Alle Daten werden in externen Datenquellen verwaltet Alle Anfragekomponenten arbeiten stream-orientiert Retrievalfunktionalität wird oberhalb der Datenquellen realisiert Prototyp stellt API für Entwicklung neuer Retrievaldienste bereit Bereitstellung von Interfaces für die Erweiterbarkeit der Retrievalfunktionalität Implementierung des Prototypen in Java

14 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 14 Systemarchitektur (2)

15 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 15 Systemarchitektur (3) Featureextraktoren, Metriken: für die inhaltsbasierte Suche auf multimedialen Daten Hauptkomponenten für Anfrageverarbeitung: Prototypische Implementierung von: Ranker, Combiner, Transferer, … Alle Komponenten erweitern Interface Stream: Konstruktor: kreiert einen neuen Stream Init-Methode: initialisiert einen Stream getNext-Methode: liefert das nächste Element eines Streams

16 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 16 Systemarchitektur (4) Metadaten-Repository: enthält alle Daten zur Verwaltung von Streams und Durchführung von Anfragen Wrapper (zur Systemerweiterung): Datenquellenwrapper: Anbindung externer Datenquellen für die Suche Zugriffsstrukturenwrapper: Integration externer Zugriffsstrukturen für performante Ähnlichkeitssuche Streamwrapper: Anbindung externer Streams (externe Retrievalsysteme)

17 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 17 Experimentelle Ergebnisse (1) EckdatenTestkollektion: Strukturierte Dokumente einer Computerzeitschrift: 2213 Artikel 29414 Textblöcke ca. 5000 Bilder ca. 20000 Bildsegmente Verwendete Indexstrukturen: Zwei LSD h -Bäume : 10-dimensionale Vektoren für Farbcharakteristika 4-dimensionale Vektoren für Texturcharakteristika

18 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 18 Experimentelle Ergebnisse (2)

19 BTW, 26. Februar 2003 Übertragung von Rangordnungen S. 19 Ausblick Ansatz für Übertragung von Rangordnungen: RSV-Transfer Algorithmus Prototypisch implementiert und evaluiert Zur Zeit Gegenstand unserer Forschungen: Optimierungen am Prototyp Messungen bezüglich der Ergebnisqualität (INEX) Entwicklung einer graphischen Oberfläche für Anfragen