MMQL – Multimedia Query Language Eine Anfragesprache für Multimedia-Ähnlichkeitsanfragen Christian Mantei

Christian Mantei - MMQL2 Gliederung Multimedia Datenmodell MMQL - Anfragen MMQL – Syntax / Beispiele Zusammenfassung Ausblick

Christian Mantei - MMQL3 Multimedia Datenmodell I Multimedia Description Model (MDM): Strukturelle Beschreibung Multimedia Interpretation Model (MIM): Semantische Interpretation Multimedia Presentation Model (MPM): Zeitliche und räumliche Beschreibung

Christian Mantei - MMQL4 Multimedia Datenmodell II MDM Unterstützt Mechanismen zur Definition und Manipulation struktureller Beschreibungen in Raw Objects (RO) Unterteilung des Dokuments in relevante Teile, sog. Media Objects (MO): Bildausschnitte, strukturelle Bestandteile eines RO (Bild aus einem Video) Komposition von MOs zu komplexen Objekten (CXO)

Christian Mantei - MMQL5 Description Model

Christian Mantei - MMQL6 Multimedia Datenmodell III MIM Präsentation der Objekte aus dem MDM in zwei Stufen: Feature Level und Concept Level Feature Level: Interpretation über physische Eigenschaften (Farbverteilung, Formen, Texturen, Bewegungsvektoren...) Concept Level: Konzept: Kombination verschiedener Features von Objekten, Membership-Funktionen

Christian Mantei - MMQL7 Concept Level

Christian Mantei - MMQL8 Multimedia Datenmodell IV MPM Definition zeitlicher und räumlicher Beziehungen zwischen Objekten des MDM Möglichkeiten zur Erstellung von Multimedia Präsentationen

Christian Mantei - MMQL9

Christian Mantei - MMQL10 Multimedia Query Language Anfrage-Kriterien: Features: Farbe, räumliche Anordnung, Bewegung Konzepte: suche nach definierten Konzepten in Dokumenten Objekt-Struktur: z.B. Bilder eines Videos Raum-Zeit Aspekte: wann liegt die Kugel rechts vom Quader unsichere Anfragen: Wichtungsgrad der Teilanfragen unpräzise Anfragen: Erkennungsgrad der Ergebnisse

Christian Mantei - MMQL11 Anfrage-Formulierung I Query ::= select from where select-stmnt ::= [n-hits] from-stmnt ::= CLASS, DCLASS, U, I, X condition ::= einfach vs. komplex

Christian Mantei - MMQL12 Anfrage-Formulierung II Operatoren: sim: Ähnlichkeitsbestimmung zwischen Feature-Werten match: Erkennungsgrad Objekt – Konzept in: an welcher Stelle einer geordneten Liste der Wert eingereiht ist/wird and: beide Erkennungsgrade sollten hoch sein or: einer der Erkennungsgrade muss hoch sein not: übliche Negation

Christian Mantei - MMQL13 Anfrage-Formulierung III Selektoren: o.feature(fid): Feature-Wert eines Objektes v.rec-degree: Erkennungsgrad eines Wertes mo.part-of: originales Objekt von dem Media-Objekt v.attribute: Feld eines strukturierten Wertes o.method(args): methodische Einschätzung eines Objektes

Christian Mantei - MMQL14 Beispiele I select 10 R.oid from REGIONS as R where R.feature(color) sim red, 0.7 and R.feature(shape) sim circle, 0.3;

Christian Mantei - MMQL15 Beispiele II select S.oid from SHOTS where S.oid in ( select F.part-of from FRAMES as F where F.oid match CHURCHES) and S.rec-degree > 0.7;

Christian Mantei - MMQL16 Weitere Möglichkeiten Definition von Funktionen für räumliche Beziehungen zwischen Objekten (left_to, right_to, position...) Finden von mehreren Regionen in Bildern und Vergleich ihrer räumlichen Position zueinander Bsp.: Finde alle Bilder in denen ein Kreis rechts neben einem Viereck ist

Christian Mantei - MMQL17 Zusammenfassung Anfrageergebnisse mit Ähnlichkeitsmaß Berücksichtigung von Konzepten und strukturierten Objekten Bearbeitung von unpräzisen und unsicheren Anfragen möglich Ergebnis: geordnetes Paar (Objekt, Ähnlichkeitsmaß) Ähnlichkeitsmaß = Grad der Übereinstimmung zwischen Anfrage und Objekt

Christian Mantei - MMQL18 Ausblick Entwicklung von Konzepten zur Datenhaltung Daten verwalten und Strategien der Speicherung Effektive und effiziente Anfrage- Bearbeitungsalgorithmen entwickeln Weitere Implementierungen des Systems, um das beschriebene Modell zu unterstützen