Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Information Systems & Semantic Web University of Koblenz Landau, Germany Vorlesung Multimedia-Datenbanken Dr. Ansgar Scherp Dr. Marcin Grzegorzek Antje.

Ähnliche Präsentationen


Präsentation zum Thema: "Information Systems & Semantic Web University of Koblenz Landau, Germany Vorlesung Multimedia-Datenbanken Dr. Ansgar Scherp Dr. Marcin Grzegorzek Antje."—  Präsentation transkript:

1 Information Systems & Semantic Web University of Koblenz Landau, Germany Vorlesung Multimedia-Datenbanken Dr. Ansgar Scherp Dr. Marcin Grzegorzek Antje Schultz, Stephan Wirth und Stefan Wirtz

2 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de2 Organisatorisches Beginn der Übung: 5.5.2009 (Di) Raum: A 213 Übung ist circa alle zwei Wochen und dauert dann 90 Minuten. An den anderen Dienstagen ist 90 Minuten Vorlesung. Die Vorlesung entfällt am 1. Juni (Feiertag). Weiteres wird auf der Webseite/Klips bekannt gegeben. Ingo Schmitt: Ähnlichkeitssuche in Multimedia-Datenbanken, Oldenbourg, 2006 Vorlesung INSS05 ist Wahlpflicht für den Master – auch als Wahl- oder Wahlpflicht im Bachelor belegbar.

3 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de3 Prüfungsleistungen Zulassung zur Klausur: 2er Gruppen Erreichen von mindestens 2/3 der Gesamtpunkte aus den Übungsaufgaben, um zur Klausur zugelassen zu werden. Es gibt sehr kurz vor der Klausur ein zusätzliches Übungsblatt – so dass man mehr als 100% der Punkte erreichen kann Klausur: Klausur: Di 21.07.2009, 16:15 (A 213, 1 Zeitstunde) Klausur und Nachklausur verlangen jeweils Anmeldung. Die Teilnahme an der Nachklausur setzt die Teilnahme an der Klausur voraus. Erfahrungsgemäß korreliert der Erfolg in der Klausur stark mit der regelmäßigen Teilnahme an Übung und Vorlesung.

4 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de4 Fahrplan I. Motivation & Grundlagen (Sub. Kap.1) Besondere Anforderungen Abgrenzung zu klassischen Datenbankmanagement II. Wiederholung (Sub. Kap.2, Kap.3) Relationale Datenbanken Objektorientierte Datenbanken III. Information Retrieval Information-Retrieval-Modelle (Schm. Kap.2) Bewertung, Relevance-Feedback (Schm. Kap.2) Speicherstrukturen (Sub. Kap.6.4) IV. Multimedia-Retrieval (Schm. Kap.3) Ablauf (Schm. Kap.3.1 - Kap.3.3) Multimedia-Strukturen (Sub. Kap.7.1, Kap.8.2) V. Feature-Transformationsverfahren & Indizierung (Schm. Kap.4) Diskrete Fourier- Transformation/Wavelet-Transformation VI. Distanzfunktionen & Ähnlichkeitsmaße (Schm. Kap.5, Kap.6) VII. Datenstrukturen (Schm. Kap.7) Indizierung von Audio und Video (Sub. Kap.8, Kap.9) Verschiedene Baumstrukturen VIII. Metadaten MPEG-7 COMM – Core Ontology of Multimedia

5 Information Systems & Semantic Web University of Koblenz Landau, Germany Vorlesung Multimedia-Datenbanken Folien nach Ingo Schmitt, Literatur: Ähnlichkeitssuche in Multimedia- Datenbanken, Oldenbourg, 2006 Prof. Dr. Steffen Staab

6 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de6 1. Einleitung und Begriffe Grundlegende Datenbankbegriffe Aufgaben eines Datenbank-Management-Systems Benutzergruppen eines Datenbanksystems Multimedia-Datenbank-Management-Systeme Multimedia-Anwendungen Forschungsthemen

7 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de7 1.1 Grundlegende Datenbankbegriffe Datenbank (DB) Datenbank-Management-System (DBMS) Datenbank-System (DBS=DB+DBMS) Datenbankmodell Datendefinitionssprache (DDL) Datenmanipulationssprache (DML) Anfragesprache

8 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de8 Grobarchitektur eines DBS

9 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de9 Datenunabhängigkeit Physische Datenunabhängigkeit Konzeptionelle Sicht ist unabhängig von der für die Speicherung der Daten gewählten internen Datenstruktur Logische Datenunabhängigkeit Datenbank wird von Änderungen und Erweiterungen der Anwendungsschnittstelle entkoppelt (und umgekehrt)

10 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de10 Die Abstraktionsebenen eines DBMS Datenunabhängigkeit: physische Unabhängigkeit logische Datenunabhängigkeit Sicht 1 (Verwaltung)Sicht k (Bibliothek)... Physische Ebene Logische Ebene

11 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de11 Drei-Ebenen-Schema-Architektur I

12 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de12 Drei-Ebenen-Schema-Architektur II Konzeptuelles Schema Beschreibt eine von der konkreten internen Realisierung der Datenspeicherung abstrahierte Gesamtsicht auf den gespeicherten Datenbestand Internes Schema Legt die konkret zur Implementierung der Datenbank intern genutzten Datenstrukturen fest. Externe Schemata Legen anwendungsspezifische Sichten auf die Datenbank fest

13 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de13 Datenmodellierung Ausschnitt der realen Welt Konzeptuelles Schema (ER-Modell) Relationales Schema Objektorientiertes Schema Netzwerk Schema Intellektuelle Modellierung Semi-automatische Transformation

14 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de14 Modellierung einer Beispielanwendung reale Welt: Hochschule Studenten, Vorlesungen, Professoren... Konzeptuelle Modellierung Studenten Professoren lesen Vorlesungen MatrNr Name PersNr Name VorlNr Titel hören SWS Semester

15 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de15 Das relationale Datenmodell Studenten MatrNrName 26120 25403... Fichte Jonas... hören MatrNrVorlNr 25403 26120... 5022 5001... Vorlesungen NrTitel 5001 5022... Grundzüge Glaube und Wissen... Select Name From Studenten, hören, Vorlesungen Where Studenten.MatrNr = hören.MatrNr and hören.VorlNr = Vorlesungen.Nr and Vorlesungen.Titel = `Grundzüge´; updateVorlesungen setTitel = `Grundzüge der Logik´ whereNr = 5001;

16 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de16 1.2 Aufgaben eines DBMS Integration Operation Schemakatalog Benutzersichten Integritätssicherung Zugriffskontrolle Transaktionen Synchronisation Datensicherung

17 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de17 1.3 Benutzergruppen eines Datenbanksystems Datenbankadministrator Definiert und verwaltet das konzeptionelle und das interne Schema einer Datenbank ist für alle datenbanksystemseitigen und anwendungsunabhängigen Aspekte einer speziellen Datenbank verantwortlich Anwendungsadministrator Erstellt und wartet externe Schemata für ein spezielles Anwendungsgebiet.Oft sind Datenbank- und Anwendungsadministrator ein und dieselbe Person

18 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de18 1.3 Benutzergruppen eines Datenbanksystems Anwendungsprogrammierer Erstellen auf Basis eines externen Schemas Anwendungsprogramme bilden zwischen Anwendungs- und DB-Semantik ab Anwender Benutzer der Anwendungsprogramme benötigen normalerweise kein Datenbankwissen

19 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de19 1.4 Multimedia-Datenbanksysteme Medium Duden: Mittelglied, Mittler oder Mittelsperson Medium vermittelt zwischen zwei oder mehreren Kommunikationspartnern Sender erzeugt Signale auf Medium Empfänger (Rezeptor) nimmt Signale auf zur Interpretation Wandlung Weiterleitung Medium ist Nachrichtenträger

20 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de20 1.4 Multimedia-Datenbanksysteme (ii) Signal nach Bauer, Goos: der eine Nachricht übertragene (und damit Information wiedergebende) Verlauf einer physikalischen Größe

21 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de21 Physikalisch (konkrete) Medien z.B. Schall in festen, flüssigen oder gasförmigen Stoffen z.B. elektromagnetische Wellen bilden Basis für abstrakte Medien

22 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de22 Abstrakte Medien bauen auf anderen Medien auf Hierarchien nutzen andere Sender / Medium / Empfänger-Einheiten als Medium z.B. Folien als Medium (reflektierende Oberfläche / Licht / reflektierende Oberfläche)

23 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de23 Weitere Eigenschaften von Medien Darstellungsmächtigkeit z.B. Geruch versus Bild Medienumsetzung oft möglich Komposition möglich Multimedia

24 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de24 Weitere Einteilungen nach Sinnesorganen visuell (optisch) sprachlich Text Piktogramme nicht-sprachlich Grafiken Photos Rauchzeichen akustisch Sprache Musik Maschinengeräusche haptisch (tasten) gustorisch (schmecken) olfaktorisch (riechen)

25 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de25 Weitere Einteilungen (2) nach Zeit zeitinvariant (statisch): Text, Bild, Photos,... discrete media zeitgebunden (dynamisch): gesprochene Sprache, Video continuous media

26 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de26 Medien auf Computern Text Photo, Grafik, Rasterbild,... (Image) Tonaufnahmen (Audio) Bewegtbild (Video) VITA = Video + Image + Text + Audio

27 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de27 Multimedia vs. Multimodal Multimedia Text, Graphics Animation Video Multimodale Interaktion Visuell: Bildschirm, Tastatur, Maus Sprache: Spracherkennung, Sprachsynthese Haptisch: Haptische Rückkopplung (manche Drehregler, Force-feedback joystick) Eine Modalität: Sehen

28 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de28 Weitere Begriffe Dokument: logisch zusammenhängender, digital kodierter Text (auch Text-Dokument genannt) Multimedia-Dokument: enthält neben Text Daten anderer Medientypen Medien-Objekt: computerverwaltete logische Informationseinheit in einem Medium (nicht auf Text beschränkt) Multimedia-Objekt: computerverwaltete logische Informationseinheit in einem oder mehreren Medien (mindestens ein diskretes und ein kontinuierliches Medium) Medien-Daten bzw. Multimedia-Daten: heterogene Menge von Medien-Objekten bzw. Multimedia-Objekten

29 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de29 Weitere Begriffe (2) BegriffTextVideo/Bild/Audio Dokument+- Multimedia-Dokument+optional (kombiniert) Medien-Objekt+ (ein Typ) Multimedia-Objekt+ (kombiniert)

30 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de30 Multimedia-Datenbank-Management-Systeme (MMDBMS) interdisziplinär: Netzwerkmanagement, Betriebssystem, Speicher und deren Verwaltung, Computergrafik,... Positionspapier auf SIGMOD'85 von S. Christodoulakis Aufgaben eines MMDBMS (neben denen eines DBMS): Verwaltung unformatierter Daten Verwaltung neuartiger Geräte zur Darstellung und Speicherung unformatierter Daten

31 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de31 Teilprobleme nach [Chris85] Software-Architektur: Erweiterung, Neuentwicklung oder Zusammenfassung Inhaltsadressierung: content based retrieval Performance Benutzerschnittstelle: Unterstützung verschiedener Ein- /Ausgabegeräte Operationen zur Extraktion und Medienumsetzung

32 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de32 Teilprobleme nach [Chris85] (2) Mehrbenutzerbetrieb, Recovery, Zugriffskontrolle, Versionen Speichergeräte mit großer Kapazität inklusive Redundanzkontrolle Information Retrieval einsetzbare Prototypen

33 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de33 Multimedia-Datenbank-Management-System MMDBMS = DBMS + Multimedia-Datenbankmodell Medien-Typen (Darstellung + Operationen) Substitutions- und Synchronisationsbeziehungen Information Retrieval (inhaltsbasierte Suche)

34 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de34 Multimedia-Datenbank-Management-System (2) Datenunabhängigkeit Medienabstraktion Unabhängigkeit von Speicherformaten Unabhängigkeit von Speichergeräten Präsentationsunabhängigkeit

35 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de35 Multimedia-Datenbank-Management-System (3) Speicher- und Ein-/Ausgabegeräte Zeitaspekt (etwa Echtzeit für dynamische Medien) Benutzerschnittstellen

36 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de36 1.5 Multimedia-Anwendungen passive, aktive, statische und dynamische Anwendungen Anwendungsbeispiele durchgängige Beispielanwendung Vorlesung: Interaktive Multimediasysteme

37 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de37 Passive, aktive, statische und dynamische Anwendungen passive Anwendung Anwendung wartet auf Benutzerrecherchen aktive Anwendung startet von sich aus Ausgabe statische Anwendung mehr lesen als editieren dynamische Anwendung mehr editieren als lesen

38 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de38 Anwendungsbeispiele statisch/passiv Archivierung, movie-on-demand statisch/aktiv Unterrichtung, Werbung und Unterhaltung dynamisch/passiv Gestaltung: Entwurf und Publikation, Reiseplanung dynamisch/aktiv Überwachung: besonderes Problem ist Erkennung gleicher Realwelt-Objekte

39 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de39 Durchgängige Beispielanwendung Polizeiaktion: großflächige Drogenoperation verdächtige Mitglieder eines Drogenrings werden beobachtet

40 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de40 Durchgängige Beispielanwendung (2) folgende Geräte werden eingesetzt: Videoüberwachungskameras erzeugen 6 Monate lang viele Millionen Videoframes (ca. 50-100 Kameras) Telefonabhörung Photographien große Anzahl von Dokumenten, z.B. Notizbücher strukturierte relationale Daten z.B. Banktransaktionen, Telefonbücher geografisches Informationssystem: Straßennetz, Berge,...

41 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de41 Polizei-Informationssystem

42 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de42 Beispielanfragen Image-Query Suche alle Bilder, die dieselbe Person zeigen wie auf diesem Bild! entweder über Beschreibungsinformationen oder Bildverarbeitung Audio-Query Kann Person zu gesprochener Stimme identifiziert werden? Hat die selbe Person andere Gespräche geführt? über Sprachvektoren

43 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de43 Beispielanfragen (2) Text-Query Finde alle Dokumente, bei denen es um Drogenkartell- Finanztransaktionen mit Firma ABC geht! Semantik berücksichtigen (keine reine Stichwortsuche) Video-Query Finde alle Videosegmente, wo das Angriffsopfer erscheint!

44 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de44 Beispielanfragen (3) heterogene Query Finde alle Personen, die des versuchten Mordes in Nordamerika überführt wurden und elektronische Geldüberweisung auf deren Konto von der ABC Corp. kommen! mehrere heterogene Datenbanken

45 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de45 Beispielanfragen (4) heterogene Multimedia-Query Finde alle Personen, die mit Jose Smith photographiert wurden und als versuchte Mörder in Nordamerika überführt wurden und von ABC Corp. Geld bekommen haben!

46 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de46 Beispielanfragen (5) komplexe heterogene Multimedia-Query Finde alle Personen, die Kontakt zu Jose Smith hatten

47 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de47 ISWeb Forschungsthemen Metadatenformate COMM – Core Ontology for Multimedia Events – Repräsentation von Ereignissen der realen Welt Social Media Analyse und Verstehen von User Generated Content für das Notfallmanagement => Collective Intelligence Wie nutzt man soziale Verbindungen und Tags um Multimediadaten besser zu finden? http://mytag.uni-koblenz.de SAMT-2008 – 3rd Int. Conference on Semantic and Digital Media Technology, Koblenz, Dec 3-5, 2008

48 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de48 ISWeb Aktivitäten Projekt WeKnowIt, http://www.weknowit.eu/http://www.weknowit.eu/ Thema: Kollektive Intelligenz (Nutzungmachung von User Generated Content) 10 internationale Partner HiWis gesucht! Mail an scherp@uni-koblenz.de SSMS09 Summer School on Multimedia Semantics Ende August in Koblenz http://www.smart-society.net/ssms09/ Workshop on Events in Multimedia (EiMM) bei der ACM Multimedia Konferenz in Peking 2009 http://www.uni-koblenz.de/confsec/eimm09/

49 ISWeb - Information Systems & Semantic Web Steffen Staab staab@uni-koblenz.de49 Zukünftige Aktivitäten Studien-/Diplomarbeiten HiWi-Tätigkeiten Fragen Sie uns? mich Dr. Marcin Gregorzek


Herunterladen ppt "Information Systems & Semantic Web University of Koblenz Landau, Germany Vorlesung Multimedia-Datenbanken Dr. Ansgar Scherp Dr. Marcin Grzegorzek Antje."

Ähnliche Präsentationen


Google-Anzeigen