Seminar Enterprise Application Integration Data Fusion Steffen Koch Betreuer: Holger Schwarz Universität Stuttgart SS 2000 Seminar SS2000 - Data Fusion

Übersicht Motivation Data Fusion/Informationsfusion Datenintegration/ -mangement KDD und Data Mining Datenfusion Anwendungsfelder der Informationsfusion Anforderungen TSIMMIS - The Stanford IBM Manager of Multiple Information Sources Das „TSIMMIS Mediation System“ Zusammenfassung von TSIMMIS Einschätzung des TSIMMIS Systems Andere Ansätze zur Informationsintegration Informationsfusion - ein Ausblick Literaturhinweise Seminar SS2000 - Data Fusion

Motivation Inzwischen effiziente Speicherung großer Datenmengen möglich Zugriff auf weltweit verteilte Informationen durch moderne Kommunikationsmedien (Internet) Neue Nutzungspotentiale für unternehmensinterne Informationssysteme durch Integration externer Informationen Probleme: Auffinden relevanter Daten heterogene Datenbestände Redundanzen, Inkonsistenzen Aktualität, Vertrauenswürdigkeit kein effizienter Zugriff unzureichend strukturierte Daten versteckte Information/implizites Wissens in Daten Seminar SS2000 - Data Fusion

Der Begriff „Data Fusion“ bzw. „Informationsfusion“ = Informationsfusion Data Mining/ Knowledge Discovery in Databases(KDD) Datenintegration und -management Datenfusion Seminar SS2000 - Data Fusion

Datenintegration und - management Ziel: Überwindung von Heterogenitäten auf verschiedenen Ebenen unterschiedliche Datenmodelle verschiedene Datentypen andere Einheiten, die den Daten zugrunde liegen semistrukturierte Daten Allgemeine Vorgehensweise: Transformation in gemeinsames Datenmodell Erkennung von Übereinstimmungen in den Schemata Seminar SS2000 - Data Fusion

KDD und Data Mining Ziel von KDD: Identifikation neuer, potentiell nützlicher und verständlicher Muster in Datenbeständen. KDD läuft iterativ und interaktiv in mehreren Schritten ab: 1. Festlegung Problembereiche/Zielen 2. Datensammlung/ -bereinigung 3. Auswahl/Parametrisierung der Analysefunktionen 4. Data Mining 5. Bewertung/Interpretation der Ergebnisse 6. Nutzung des gefundenen Wissens Seminar SS2000 - Data Fusion

Datenfusion Grundsätzlich: Die Kombination von Daten aus verschiedenen (heterogenen) Quellen Anwendungsgebiete der Datenfusion: Multi-Sensor Fusion Image Fusion Multiple Source Interrogation Seminar SS2000 - Data Fusion

Anwendungsfelder der Informationsfusion Überall dort, wo Daten aus unterschiedlichen Quellen kombiniert und daraus neue Informationen abgeleitet werden sollen Anwendungsszenario: Betrieb einer großen Telekommunikationsanlage Integration und Verdichtung dieser Datenbestände für: Dispositive Bereiche Marketing Netzwerkmanagement Systemmanagement Kundendaten Verbindungsdaten Daten zum Kommunikationsnetz Produktdaten Seminar SS2000 - Data Fusion

Übersicht Motivation Data Fusion/Informationsfusion Datenintegration/ -mangement KDD und Data Mining Datenfusion Anwendungsfelder der Informationsfusion Anforderungen TSIMMIS - The Stanford IBM Manager of Multiple Information Sources Das „TSIMMIS Mediation System“ Zusammenfassung von TSIMMIS Einschätzung des TSIMMIS Systems Andere Ansätze zur Informationsintegration Informationsfusion - ein Ausblick Literaturhinweise Seminar SS2000 - Data Fusion

Anforderungen der Informationsfusion (1) Datenzugriff: Transparenter Zugriff auf Daten Verarbeitung von Daten mit vorgegebener Struktur Verarbeitung und Optimierung von Anfragen Datenintegration Integrierte Sicht auf Daten durch homogenes Datenmodell Behebung von Konflikte auf Schema- und Instanzebene Repräsentation und Verwaltung quellübergreifender Beziehungen Seminar SS2000 - Data Fusion

Anforderungen der Informationsfusion (2) Analyse und Verdichtung Gewinnung von Daten einer „höheren“ Qualität durch Extrahieren von Zusammenhängen und Abstraktionen, durch Filterung und Verdichtung der Daten Präsentation und Weiterverarbeitung Repräsentation von Metainformationen Verwaltung von Metainformationen durch das System Sukzessive Anpassung/Erweiterung der Metainformationen während des Fusionsprozesses Seminar SS2000 - Data Fusion

Anforderungen im Datenbankbereich Intelligente Unterstützung des Integrationsprozesses Realisierung eines effizienten Datenzugriffs Integration semistrukturierter Daten Gewinnung von Metainformationen Realisierung in DBMS durch „offenen“ Optimierer Integrationsmöglichkeiten Unterstützung von „Ranking“ Repository für Metainformationen Sampling Seminar SS2000 - Data Fusion

Anforderungen im KDD-Bereich Behandlung verschiedener Datentypen Behandlung unsicherer/vager Daten Effizienz/Skalierbarkeit der Verfahren Verbesserung Aussagefähigkeit/Verständlichkeit der Daten Seminar SS2000 - Data Fusion

Anforderungen an Systemarchitektur Unterstützung iterativer/interaktiver Arbeitsweisen Anpassungsfähigkeit/Erweiterbarkeit des Systems Nutzerunterstützung bei Auswahl/Anwendung von Fusionsmethoden Seminar SS2000 - Data Fusion

Übersicht Motivation Data Fusion/Informationsfusion Datenintegration/ -mangement KDD und Data Mining Datenfusion Anwendungsfelder der Informationsfusion Anforderungen TSIMMIS - The Stanford IBM Manager of Multiple Information Sources Das „TSIMMIS Mediation System“ Zusammenfassung von TSIMMIS Einschätzung des TSIMMIS Systems Andere Ansätze zur Informationsintegration Informationsfusion - ein Ausblick Literaturhinweise Seminar SS2000 - Data Fusion

Das „TSIMMIS Mediation System“ MSL oder LOREL Komponenten von TSIMMIS: OEM (Object Exchange Model) Mediatoren MSL (Mediator Specification Language) Wrapper LOREL (Lightweight Object REpository Language) Mediator Mediator- Generator MSL Wrapper Wrapper- Generator Information Source Seminar SS2000 - Data Fusion

Das Mediator Konzept Ermöglicht integrierte Sicht auf Information aus unterschiedlichen Datenquellen, die sich auf ein und dasselbe Objekt beziehen. Anforderungen an Mediatoren: Unterstützung breiter Vielfalt von Datenstrukturen Behandlung unzureichender/vager Daten Verwaltung von Metainformationen Anforderungen an Anfragesprache: Erstellung von Mediatoren Kopplung von Mediatoren an vorhandene Kopplung von Datenquellen an bereits vorhandene Mediatoren Mediatoren in TSIMMIS: Berücksichtigung von „Fähigkeiten“ der Datenquellen Zugriff auf Daten über Wrapper Query Mediator Mediator Wrapper Wrapper Source Source Seminar SS2000 - Data Fusion

OEM (Object Exchange Model) Konzepte von OEM: OEM ist selbsterklärend Flexibilität Objektorientiertheit OEM ist logisches Datenmodell OEM-Objekt: OID: label type value OEM-Objektstruktur: library set ... book set author string Aho title string Compilers... Seminar SS2000 - Data Fusion

OEM als logisches Datenmodell OEM - logisches Datenmodell auf Basis der Prädikatenlogik erster Stufe Betrachtung von Labels als Prädikate, die ObjektIDs mit anderen ObjektIDs oder atomaren Werten verknüpfen. Beispiele: Prädikat library(B) nimmt als Wert ObjektIDs aus „Value“-Feld an Prädikat book(B,X) identifiziert Menge von Paaren (b,x) b: ID des Buch-Objekts x: ObjektID aus Wertemenge von Buch Seminar SS2000 - Data Fusion

MSL (Mediator Specification Language) erlaubt deklarative Spezifikation von Mediatoren logische, objektorientierte Anfragesprache für OEM Anfragen haben Form von Regeln: Regelkopf „:-“ Regelkorpus Beispiel: <booktitle X>:-<library{<book{<title X><author „Aho“>}>}>@s1 Regelkopf Regelkorpus Seminar SS2000 - Data Fusion

Aufbau von Mediatoren in TSIMMIS View Expander Plan Generator Execution Engine Query Source Queries Plan Physical Logical Source Descriptions Matcher Sequencer Optimizer Physical Plan Logical Plan Seminar SS2000 - Data Fusion

Templates zur Beschreibung von „Source Capabilities“ Verwendung von Templates für die Beschreibung der „Fähigkeiten“ zur Anfragebeantwortung von Quellen Templates für s1 und s2: T11: X:-X:<entry {<title $T><author A><abs B>}>@s1 T21: X:-X:<entry {<title T><conf $C>}>@s2 T22: X:-X:<entry {<title $T><conf C>}>@s2 gegeben: liefert: T A,B C T T C Seminar SS2000 - Data Fusion

Wrapper in TSIMMIS Wrapper bilden Schnittstellen zu den heterogenen Datenquellen: Umwandlung von Anfragen in Quellanfragen Rückgabe von OEM Objekten Wrapper sind mit benutzerdefinierten Funktionen für jedes Template ausgestattet. Rest der Definition wie Mediator! Seminar SS2000 - Data Fusion

Generierung von Mediatoren/Wrappern in TSIMMIS In TSIMMIS stehen Tools für automatische Generierung von Mediatoren/Wrappern zur Verfügung Mediator Generator Wrapper Generator Seminar SS2000 - Data Fusion

LOREL (Lightweight Object Repository Language) LOREL ist OQL-basierte Anfragesprache für OEM-Modell In TSIMMIS end-user Anfragesprache Anfragesprache für das LORE lightweight Datenbanksystem zur Speicherung von OEM-Objekten Beispiel: Finde Bücher die von Aho verfasst wurden SELECT library.book.title (FROM library) WHERE library.book.author = „Aho“ Wichtiger Unterschied zu OQL und SQL: „partial match“ Semantik Seminar SS2000 - Data Fusion

Zusammenfassung von TSIMMIS Wichtigste Merkmale von TSIMMIS: Nutzung von OEM-Modell Konzept von Mediatoren und Wrappern MSL LOREL Seminar SS2000 - Data Fusion

Einschätzung des TSIMMIS Systems TSIMMIS ist ein System zur Informationsintegration. Vorteile: transparenter Zugriff auf heterogene verteilte Daten Verarbeitung semistrukturierter Daten Anfrageoptimierung Ausweitung der Anfragemächtigkeit Speicherung von Metadaten in ObjektIDs Anpassungfähigkeit/Erweiterbarkeit Nachteile: keine Möglichkeit eines globalen Zugriffs auf lokale Optimierung Darstellung von semantischen Zusammenhängen kompliziert Seminar SS2000 - Data Fusion

Andere Ansätze zur Informationsintegration Ansätze bisher: Ansätze zur Integration von strukturierten Datenbanken Abhängig von Datenmodellen mit großer „Semantik“ Alternativen zu TSIMMIS sind z.B: The Information Manifold SIMS Unterschiede zu TSIMMIS: „Beurteilungsphase“ anstatt View Expander Capability Records anstatt Templates (bei IM) Wrapper schlanke Module, die nur direkte Anfragen zulassen (bei IM) Seminar SS2000 - Data Fusion

Übersicht Motivation Data Fusion/Informationsfusion Datenintegration/ -mangement KDD und Data Mining Datenfusion Anwendungsfelder der Informationsfusion Anforderungen TSIMMIS - The Stanford IBM Manager of Multiple Information Sources Das „TSIMMIS Mediation System“ Zusammenfassung von TSIMMIS Einschätzung des TSIMMIS Systems Andere Ansätze zur Informationsintegration Informationsfusion - ein Ausblick Literaturhinweise Seminar SS2000 - Data Fusion

Informationsfusion - Ausblick Stetig wachsende Menge an verfügbarer Information Problematik der effizienten Nutzung Enormer Bedarf an Lösungen der intelligenten Informationfusion Rege Forschungstätigkeit, erste Produkte (DataJoiner von IBM, OLECOM von Microsoft) Es steht zu erwarten, dass es viele innovative Lösungsansätze oder Teillösungen auf dem Gebiet der Informationsfusion geben wird und muss! Seminar SS2000 - Data Fusion

Literatur Stefan Conrad, Gunter Saake, Kai-Uwe Sattler (1999). Informationsfusion - Herausforderungen an die Datenbanktechnologie. In: A.P. Buchmann (Hrsg.) Datenbanksysteme in Büro, Technik und Wissenschaft, Freiburg, 1.- 3. März 1999, Springer, 1999. Seiten 307-316 Hector Garcia-Molina, Yannis Papakonstantinou, Dallan Quass, Anand Rajaraman, Yehoshua Sagiv, Jeffrey Ullman, Vasilis Vassalos, Jennifer Widom (1997) The TSIMMIS Approach to Mediation: Data Models and Languages. In: Journal of Intelligent Systems, Volume 8, Number 2, March/ April 1997. Seiten 117-132. Seminar SS2000 - Data Fusion