- Studienarbeit - Entwurf und Umsetzung von kombinierten Anfragen für die Ähnlichkeitssuche auf digitalen Bilder auf der Basis von Regionen und Features Bearbeiter: Ralph Spickermann Betreuer: Holger Meyer Temenushka Ignatova Stand: 25.04.2006

Gliederung Grundlagen/Aufgabenstellung Regionenbasierte Repräsentationen Konzeptuelles Datenmodell Prototypische Implementierung Aktueller Stand

1. Grundlagen/Aufgabenstellung Nutzung von Bildern für die verschiedensten Zwecke Organisation in Bilddatenbanken immer wichtiger Beispiele: ClipArt-Sammlungen, Museen, eNoteHistory Aber: sensorische Lücke semantische Lücke

1. Grundlagen/Aufgabenstellung Anfrage nach Bildinhalten nötig, um semantische Lücke zu schließen Nutzung von Features zur Bildbeschreibung (Farbe, Form, Textur, ..) Erweiterung zum regionenbasierten System durch Extraktion von markanten Bildteilen Festlegen von räumlichen Beziehungen (Abstand, Hierarchie, Überlappung, ..)

1. Grundlagen/Aufgabenstellung

1. Grundlagen/Aufgabenstellung

1. Grundlagen/Aufgabenstellung Untersuchung der Möglichkeiten, Regionen und Features in einer Anfrage zu verbinden Recherche bestehender Darstellungen und Systeme Anfrage = zu einer gegebenen Vorgabe passende Bilder aus einer Bildsammlung finden Dazu Definition von Ähnlichkeit notwendig

1. Grundlagen/Aufgabenstellung Ähnlichkeit ist ein Maß für die Distanz zweier Features in einem Featureraum Oft basierend auf einer Metrik Beispiele für Distanzfunktionen: Diskrete Metrik Lp-Distanz Bottleneck-Distanz Earth Mover's Distance (EMD)

2. Regionenbasierte Repräsentationen 2.1. 2D-String Effiziente Darstellung räumlicher Beziehungen Segmentierung von Bildern, anschließend Anordnung der Regionen in x- und y-Richtung Effiziente Suche auf so entstandenem zweidimensionalen String möglich

2. Regionenbasierte Repräsentationen Stringdarstellung: (u,v) = (C<A<D<B, D<C<A=B)

2. Regionenbasierte Repräsentationen Matching von 2D-Strings: Exaktes Matching: Gleiche Objekte Gleiche Beziehungen zwischen den Objekten Angenähertes Matching: Nicht zwangsweise Übereinstimmung der Teilstrings nötig Ähnlichkeit zwischen Strings wird berechnet

2. Regionenbasierte Repräsentationen 2.2. Attributierter Relationaler Graph (ARG) Basiert auf Grundlagen der Graphentheorie Graph G = (V,E,A) mit V = Knotenmenge, entspricht den Regionen E = Kantenmenge, entspricht Beziehungen zwischen Regionen A = Attributmenge mit Attributen, welche sowohl Knoten als auch Kanten zugeordnet sein können

2. Regionenbasierte Repräsentationen

2. Regionenbasierte Repräsentationen Matching von ARGs: Exaktes Matching: Basiert auf Graphenisomorphismus bijektive Abbildung von einem Graphen G1 zu einem Graphen G2 Angenähertes Matching: Nutzung eines Fehlermodells Gesucht sind minimale Kosten für Änderungs-operationen, damit ein Graph in den anderen überführt wird

3. Konzeptuelles Datenmodell Ziel: Erstellung eines Frameworks, welches Anfragen nach Features sowie nach Regionen miteinander verbindet Dazu Abbildung der grundlegenden Komponenten auf abstrakte Klassen Komponenten: Feature, Region, Relation, Bild

3. Konzeptuelles Datenmodell

3. Konzeptuelles Datenmodell Versuch der Anwendung des Frameworks auf bestehende Repräsentationen 2D-String ARG

3. Konzeptuelles Datenmodell Abbildung auf ARG: Vom Konzept der ziemlich nah am Framework Knoten = Region Kante = Relation Attribut = Feature

3. Konzeptuelles Datenmodell

3. Konzeptuelles Datenmodell Abbildung auf 2D-String: Region = Region Abbildung der räumlichen Anordnung auf Feature mit RangX und RangY Beziehungen wie north-of, south-of, .. werden als Relation modelliert, welche die Ränge vergleicht

3. Konzeptuelles Datenmodell

4. Prototypische Implementierung Anwendung des Frameworks anhand eines Beispieles Nutzung einer geeigneten Bildsammlung Extraktion von Regionen und Features Features: dominante Farbe, Regionenzentrum, umschließendes Rechteck Beziehungen: Himmelsrichtungen, Abstand, Überlappung, Enthaltensein

4. Prototypische Implementierung

5. Aktueller Stand Theoretischer Teil so gut wie fertig Konzeptueller Teil so gut wie fertig, muss noch geschrieben werden Momentan Implementierung In Java Suche nach geeigneter Bildsammlung Schreiben der Klassen und Methoden Implementierung in DB2

- THE END - Vielen Dank!