EDIOD Editing Images on Desktop Zur Integration semantischer Beschreibungen in Bilddateien Magisterarbeit von Jan Schnasse

Präsentation zum Thema: "EDIOD Editing Images on Desktop Zur Integration semantischer Beschreibungen in Bilddateien Magisterarbeit von Jan Schnasse"—  Präsentation transkript:

1 EDIOD Editing Images on Desktop Zur Integration semantischer Beschreibungen in Bilddateien Magisterarbeit von Jan Schnasse http://lehre.hki.uni-koeln.de/~schnasse/ediod/

2 Einleitung Bilddaten nehmen bei der Bereitstellung geisteswissenschaftlicher Quellen im WWW eine herausragende Stellung ein. Zum heutigen Zeitpunkt ist im geisteswissenschaftlichen Kontext die Erschließung von Bilddaten durch Menschengenerierte Metadaten der Normalfall. Die Arbeit beschäftigt sich mit der Frage, inwiefern sich Probleme im Umgang mit Bildern durch das Verspeichern von Metadaten direkt in der Bilddatei lösen lassen. Ein Softwaretool zur Verspeicherung von XML Daten in PNG Bildern, dass eine semantische Bildsuche erlaubt, wird vorgestellt.

3 Theoretische Überlegungen

4 Aufbau 1.Probleme bei der Bearbeitung geisteswissenschaftlicher Quellen in herkömmlichen Datenbanksystemen 2.Verfahren zur Bestimmung und Unterscheidung von räumlichen Verhältnissen von Bildobjekten 3.Entwurf eines XML-Schemas zur Einbindung von bildbeschreibenden Metadaten 4.Verspeicherung von Metadaten in PNG Bildern 5.Bestehende Metadatenstandards

5 Probleme bei der Bearbeitung geisteswissenschaftlicher Quellen in herkömmlichen Datenbanksystemen Datensätze bleiben unvollständig bestimmt, da sie nur von dem Forschungsdiskurs bestimmt werden, der Zugangsberechtigung hat. Der Quellenwert eines Objektes lässt sich für bestimmte Forschungsgebiete nicht im Voraus bestimmen. Geisteswissenschaftliche Quellen sind oft heterogen. Ein Problem ist die Verteiltheit der Objekte eines Forschungsgebietes auf verschiedene Institutionen. Aufgrund der schnellen Entwicklung des IT-Sektors müssen die Daten auch in neue Umgebungen integrierbar sein.

6 Datenbanksysteme Relationale Datenbanken Nicht geeignet für eine Datensammlung, bei der nicht alle Merkmale im Voraus bekannt sind. Objektorientierte Datenbanken Objektorientierte Datenbanken erlauben beim Entwurf der Datenbank eigene Objekte zu definieren. Das objektorientierte Modell erlaubt es, Daten sei nah am realen Objekt zu modellieren. Objektrelationale Datenbanken Mit Objektrelationale Datenbanken wird der Versuch unternommen das Relationale System um objektorientiere Features zu erweitern.

7 Datenbanksysteme Verteilte Datenbanken Verteilte Datenbanken versuchen einen Zugriff auf mehrere physikalisch getrennte Datenbanken zu gewährleisten. Web-Datenbanken Eine Datenbank, die sich über das WWW bedienen läßt.

8 Lösungsansatz: Selbstbeschreibende Objekte Ein Selbstbeschreibendes Objekt enthält neben den Daten, die das eigentliche Objekt konstituieren weitere Daten, die die inhaltliche Interpretation der Objektdaten erleichtern oder ermöglichen. Im Fall von Bilddaten wäre eine Bildbeschreibung hinzuzufügen; einzelne Objekte könnten durch Polygonzüge identifiziert werden. Durch die Kombination mehrerer Selbstbeschreibender Objekte in einer Webseite können komplexe Objektstrukturen abgebildet werden.

9 Verfahren zur Bestimmung und Unterscheidung von räumlichen Verhältnissen von Bildobjekten Gesucht ist eine Bildsuche, die räumliche Beziehungen zwischen Objekten mit einbezieht. Die Identifizierung verschiedener Objekte erfolgt durch Polygonzüge. Bounding-Boxes und Rectangles Bounding Boxes werden v.a. in der Spiele- und Grafikprogrammierung angewandt, um zu überprüfen, ob Objekte sich überlappen. Oriented bounding boxes (OBB) können beliebig im Raum liegen, aligned bounding boxes (AABB) sind an den Achsen des Koordinatensystems ausgerichtet.

10 Verfahren zur Bestimmung und Unterscheidung von räumlichen Verhältnissen von Bildobjekten Es wird der Versuch unternommen, menschliche Beschreibungen von Bildern algorithmisch zu erzeugen. Probleme: Bounding Boxes nicht für alles geeignet Techniken der Bildverarbeitung versprechen größere Erfolge, müssen aber noch erforscht werden.

11 Entwurf eines XML-Schemas zur Einbindung von bildbeschreibenden Metadaten Immer wenn ein Datenformat erweiterbar bleiben soll, bietet sich der Entwurf in XML (Extensible Markup Language) an. Entwurf eines Arbeitsschemas: Das Schema soll es ermöglichen an verschiedenen Stellen benutzerdefinierte Daten einzubinden. Ein bildbeschreibendes Dokument besteht aus einem Header gefolgt von beliebig vielen Objekten. sci Element für strukturierte Beschreibungen desc für natürlichsprachliche Bildbeschreibungen Polygon Element

12 Entwurf eines XML-Schemas zur Einbindung von bildbeschreibenden Metadaten zu beachten: Inhaltsmodell any Defaultwerte setzen Namespaces vorschreiben Erweiterungen: image Element layer Atrribut higherResolutionImage Element

13 Verspeicherung von Metadaten in PNG Bildern Für eine Verspeicherung von textueller Information eignet sich neben dem PNG Bildformat auch das TIFF. Vorteil PNG-Format: ist in fast jedem Browser darstellbar Aufbau eines PNG-Bildes: PNGs verspeichern die in ihnen enthaltenen Daten in aufeinanderfolgenden Einheiten, den sogenannten Chunks. Jeder Chunk besteht aus vier voneinander unterschiedenen Elementen: length, type, data, CRC. Jedes PNG Bild besteht aus der PNG-Signatur gefolgt von mindestens drei Chunks: dem IHDR(Image Header Chunk), dem IDAT(Image Data Chunk) und dem IEND (Image End) Chunk.

14 Möglichkeiten zur Verspeicherung eigener Daten in PNG Die PNG-Spezifikation sieht mehrere Möglichkeiten vor, Metadaten zu den Bilddaten zu verspeichern. Eine ist die Definition eines eigenen Chunks, z.B. sdIM für selfdescribing-image-metadata. Weitere Möglichkeiten zur Verspeicherung textueller Information, bietet die Benutzung und Erweiterung schon vorhandener Chunks. Für textuelle Informationen sieht die PNG-Spezifikation drei unterschiedliche Chunks vor: tEXt, zTXt und iTXt. Für alle Textchunks steht ein Set von 10 Keywords zur Verfügung, die standardmäßig zu verarbeiten sind: Author, Title, Description, Creation Time, Copyright, Disclaimer, Warning, Software, Source, Comment.

15 Bestehende Metadatenstandards MPEG-7 definiert u.a. Möglichkeiten zur Auszeichnung von Multimediadaten. DDL (Data Definition Language) ermöglicht Definition von Descriptoren und Description Schemes. Annotationstypen, die MPEG-7 bereitstellt: FreeTextAnnotation entspricht dem desc Element StructuredAnnotation bietet Subelemente wie: who, whatObject, whatAction, where, when, why, how Unterhalb der Subelemente befindet immer natürlichsprachlicher Text KeywordAnnotation erlaubt die Definition von Schlüsselworten, die für die Bildsuche nützlich sein könnten

16 Beispiel für StructuredAnnotation Papst Gregor kniet betend vor dem Altar während der Messe mit einer Gebärde des Erstaunens

17 Dublin Core standardisiert eine Gruppe von 15 Elementen, die eine einfache Beschreibung von Digitalen Ressourcen ermöglichen (etwa Author, Title etc.). Die Empfohlene Implementierung von Dublin Core soll in RDF (Resource Description Framework) erfolgen. RDF hat eine eigene Schema Sprache. RDF Schema erlaubt es extrem abstrakte Beschreibungen von Ressourcen anzulegen. Validierbares XML aus beliebigen Namensräumen kann eingebunden werden. Bestehende Metadatenstandards

18 CIDOC CRM (CIDOC Conceptual Reference Model) stellt eine Ontologie zur Beschreibung von Materialien des Kulturellen Erbes zur Verfügung. Der Standard soll als Orientierung für den Aufbau von Informationssystemen dienen. Die Interoperabilität zwischen unterschiedlichen Systemen wird unterstützt. Bestehende Datenbanksysteme orientieren sich an CIDOC. CIDOC kann in RDF implementiert werden, jedoch nicht in XML. CIDOC eignet sich eher für die Beschreibung von Dingen einer realen Welt. Bestehende Metadatenstandards

19 Schluss Für den Zugriff auf die Materialien eignen sich Datenbanken, die eine objektorientierte Modellierung und Verspeicherung ermöglichen, derzeit am besten. Offene Datenformate fördern die Interoperabilität zwischen unterschiedlichen Datenbanksystemen. Selbstbeschreibende Objekte unterstützen die semantische Suche und verbessern die Duplizierbarkeit von Datenbankwissen.

20 Schluss XML Dokumente lassen sich in PNGs verspeichern; mit Hilfe von XML Schema lässt sich ein Datenformat definieren, das Platz für die Einbindung unterschiedlicher Metadaten bereitstellt. Teilausschnitte von Bildern können mit Hilfe von Polygonzügen ebenfalls ausgezeichnet werden und in räumliche Beziehungen miteinander gestellt werden.

21 Beispiel Screenshot