BTW '01 - 08. März 2001Verteilte Metadatenverwaltung1 Verteilte Metadatenverwaltung für die Anfragebearbeitung auf Internet-Datenquellen Markus Keidl 1.

Präsentation zum Thema: "BTW '01 - 08. März 2001Verteilte Metadatenverwaltung1 Verteilte Metadatenverwaltung für die Anfragebearbeitung auf Internet-Datenquellen Markus Keidl 1."—  Präsentation transkript:

1 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung1 Verteilte Metadatenverwaltung für die Anfragebearbeitung auf Internet-Datenquellen Markus Keidl 1 Alexander Kreutz 1 Alfons Kemper 1 Donald Kossmann 2 BTW 2001 – Sitzung: Datenbanken im Internet 1 Universität Passau D-94030 Passau @db.fmi.uni-passau.de 2 TU München D-81667 München Kossmann@in.tum.de

2 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung2 Gliederung Motivation Die Metadatenverwaltung MDV Architektur Publish/Subscribe-Mechanismus Regelsystem Vorfilter-Algorithmus Zusammenfassung

3 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung3 Motivation Ressourcenverwaltung für Internet- Anfragebearbeitung in ObjectGlobe Anforderungen: große Zahl von Klienten 3-Schichten-Architektur Informationen nahe bei den Klienten Caching, Replikation Aktualität der Information

4 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung4 wrap_S thumbnail wrap_S thumbnail Fct-Provider S Data-Provider A Data-Provider B Das ObjectGlobe-System Lade Operator Cycle-Provider

5 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung5 Die Metadatenverwaltung Metadaten im RDF-Format Metadaten-Schema mit RDF Schema 3-Schichten-Architektur: Ö-MDVs, L-MDVs und MDV-Klienten Caching/Replikation auf lokaler Ebene Aktualität durch Publish/Subscribe- Mechanismus

6 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung6 RDF RDF = Resource Description Framework Dokumente enthalten Ressources, Properties und Values ( Objekten, Instanzvariablen, Werten) RDF Schema: Klassenhierarchie Zukünftiger Standard für Metadaten (MDV ist aber nicht darauf festgelegt)

7 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung7 RDF - Beispiel Beispiel: 2000 Hotels

8 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung8 Architektur der MDV Ö-MDV L-MDV Publish/Subscribe Optimierer Backbone

9 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung9 Architektur - Ö-MDVs Öffentlichen MDVs (Ö-MDVs): Backbone aus Ö-MDVs speichern globale Metadaten repliziert innerhalb des Backbones

10 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung10 Architektur der MDV Ö-MDV L-MDV Publish/Subscribe Optimierer Backbone

11 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung11 Architektur - L-MDVs Lokale MDVs (L-MDVs): liegen nahe bei den Klienten abonnieren globale Metadaten Caching speichern lokale Metadaten Anfrageauswertung: abonnierte und lokale Metadaten Hinzufügen von L-MDVs Skalierbarkeit

12 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung12 Architektur der MDV Ö-MDV L-MDV Publish/Subscribe Optimierer Backbone

13 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung13 Architektur - MDV-Klienten MDV-Klienten stellen Anfragen an L-MDVs browsen Metadaten an Ö-MDVs und L-MDVs modifizieren die Abonnement-Regeln ihrer L-MDV

14 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung14 Publish/Subscribe-Mechanismus Lokale MDVs abonnieren Metadaten Regeln Beispielregel: searchPartition p registerp wherep.cardinality > '1000' and p.theme.themeName = 'Hotels' Registrieren, Ändern oder Löschen von RDF-Dokumenten Auswertung Problem: Große Menge von Regeln

15 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung15 Vorfilter Basierend auf Standard-RDBMS Idee: Auswerten einer Regel-Teilmenge Zerlegung in Atome: RDF Dokumente Regeln auslösende und abhängige Regeln Bestimmung ausgelöster Regeln Inkrementelle Auswertung der Regeln Ziel: Index auf gesamte Regelmenge

16 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung16 Idee: Vorfilter-Algorithmus object_idclasspredicatevalue doc.rdf#partPartitionrdf#subjectdoc.rdf#part Partitioncardinality2000 doc.rdf#partPartitionthemedoc.rdf#theme Themerdf#subjectdoc.rdf#theme ThemethemeNameHotels RDF-DokumentRegel 2000 Hotels searchPartition p registerp where p.cardinality > '1000' and p.theme.themeName = 'Hotels' Menge aller Abonnement- Regeln Zerlegung

17 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung17 Publish/Subscribe mit Vorfilter Registrierung eines RDF Dokuments Zerlegung des RDF Dokuments Vorfilter-Lauf Regeln, die neue Metadaten abonnieren + neue Metadaten Regeln L-MDVs Benachrichtigung der L-MDVs

18 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung18 Zerlegung: RDF-Dokument 2000 Hotels object_idclasspredicatevalue doc.rdf#partPartitionrdf#subjectdoc.rdf#part Partitioncardinality2000 doc.rdf#partPartitionthemedoc.rdf#theme Themerdf#subjectdoc.rdf#theme ThemethemeNameHotels

19 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung19 Zerlegung: RDF-Dokument 2000 Hotels object_idclasspredicatevalue doc.rdf#partPartitionrdf#subjectdoc.rdf#part Partitioncardinality2000 doc.rdf#partPartitionthemedoc.rdf#theme Themerdf#subjectdoc.rdf#theme ThemethemeNameHotels

20 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung20 Zerlegung: Regeln search Partition p register p where p.cardinality > '1000' and p.theme.themeName = 'Hotels' A: search Partition p register p B: search Partition p register p where p.cardinality > '1000' C: search Theme t register t where t.themeName = 'Hotels' D: search Regel(C) d register d E: search Regel(A) a, Regel(D) d register a where a.theme = g F: search Regel(E) e, Regel(B) b register e where e = b

21 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung21 Zerlegung: Regel - Ergebnis Regel A Partition Regel E a.theme = d themeName = 'Hotels' Regel C Theme Partition Regel B cardinality > '1000' Regel F e = b Regel D

22 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung22 Zerlegung: Auslösende Regeln search Partition p register p where p.cardinality > '1000' search Theme t register t where t.themeName = 'Hotels' search Partition p register p PrefilterRulesGT query_idclasspredicatevalue 1Partitioncardinality1000 PrefilterRulesEQ query_idclasspredicatevalue 2ThemethemeNameHotels PrefilterRules query_idclass 3Partition > =

23 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung23 Vorfilter Basierend auf Standard-RDBMS Idee: Auswerten einer Regel-Teilmenge Zerlegung in Atome: RDF Dokumente Regeln auslösende und abhängige Regeln Bestimmung ausgelöster Regeln Inkrementelle Auswertung der Regeln Ziel: Index auf gesamte Regelmenge

24 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung24 Vorfilter Basierend auf Standard-RDBMS Idee: Auswerten einer Regel-Teilmenge Zerlegung in Atome: RDF Dokumente Regeln auslösende und abhängige Regeln Bestimmung ausgelöster Regeln Inkrementelle Auswertung der Regeln Ziel: Index auf gesamte Regelmenge

25 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung25 Bestimmung ausgelöster Regeln object_idclasspredicatevalue doc.rdf#partPartitionrdf#subjectdoc.rdf#part Partitioncardinality2000 doc.rdf#partPartitionthemedoc.rdf#theme Themerdf#subjectdoc.rdf#theme ThemethemeNameHotels object_idquery_id Join PrefilterRules query_idclass 3Partition PrefilterRulesGT query_idclasspredicatevalue 1Partitioncardinality1000 PrefilterRulesEQ query_idclasspredicatevalue 2ThemethemeNameHotels

26 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung26 Bestimmung ausgelöster Regeln object_idclasspredicatevalue doc.rdf#partPartitionrdf#subjectdoc.rdf#part Partitioncardinality2000 doc.rdf#partPartitionthemedoc.rdf#theme Themerdf#subjectdoc.rdf#theme ThemethemeNameHotels object_idquery_id doc.rdf#part1 Join PrefilterRulesGT query_idclasspredicatevalue 1Partitioncardinality1000 PrefilterRulesEQ query_idclasspredicatevalue 2ThemethemeNameHotels PrefilterRules query_idclass 3Partition

27 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung27 Bestimmung ausgelöster Regeln object_idclasspredicatevalue doc.rdf#partPartitionrdf#subjectdoc.rdf#part Partitioncardinality2000 doc.rdf#partPartitionthemedoc.rdf#theme Themerdf#subjectdoc.rdf#theme ThemethemeNameHotels object_idquery_id doc.rdf#part1 Join PrefilterRulesGT query_idclasspredicatevalue 1Partitioncardinality1000 PrefilterRulesEQ query_idclasspredicatevalue 2ThemethemeNameHotels PrefilterRules query_idclass 3Partition

28 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung28 Bestimmung ausgelöster Regeln object_idclasspredicatevalue doc.rdf#partPartitionrdf#subjectdoc.rdf#part Partitioncardinality2000 doc.rdf#partPartitionthemedoc.rdf#theme Themerdf#subjectdoc.rdf#theme ThemethemeNameHotels object_idquery_id doc.rdf#part1 doc.rdf#theme2 Join PrefilterRulesGT query_idclasspredicatevalue 1Partitioncardinality1000 PrefilterRulesEQ query_idclasspredicatevalue 2ThemethemeNameHotels PrefilterRules query_idclass 3Partition

29 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung29 Bestimmung ausgelöster Regeln object_idclasspredicatevalue doc.rdf#partPartitionrdf#subjectdoc.rdf#part Partitioncardinality2000 doc.rdf#partPartitionthemedoc.rdf#theme Themerdf#subjectdoc.rdf#theme ThemethemeNameHotels object_idquery_id doc.rdf#part1 doc.rdf#theme2 doc.rdf#part3 Join PrefilterRulesGT query_idclasspredicatevalue 1Partitioncardinality1000 PrefilterRulesEQ query_idclasspredicatevalue 2ThemethemeNameHotels PrefilterRules query_idclass 3Partition

30 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung30 Vorfilter Basierend auf Standard-RDBMS Idee: Auswerten einer Regel-Teilmenge Zerlegung in Atome: RDF Dokumente Regeln auslösende und abhängige Regeln Bestimmung ausgelöster Regeln Inkrementelle Auswertung der Regeln Ziel: Index auf gesamte Regelmenge

31 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung31 Vorfilter Basierend auf Standard-RDBMS Idee: Auswerten einer Regel-Teilmenge Zerlegung in Atome: RDF Dokumente Regeln auslösende und abhängige Regeln Bestimmung ausgelöster Regeln Inkrementelle Auswertung der Regeln Ziel: Index auf gesamte Regelmenge

32 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung32 Inkrementelle Auswertung ausgelöste Regeln Auswerten aller abhängigen Regeln object_idquery_id doc.rdf#part1 doc.rdf#theme2 doc.rdf#part3 inkrementelle Auswertung soweit möglich

33 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung33 Inkrementelle Auswertung Regel A Partition Regel E a.theme = d themeName = 'Hotels' Regel C ThemePartition Regel B cardinality > '1000' Regel F e = b Regel D

34 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung34 Inkrementelle Auswertung Regel A Partition Regel E a.theme = d themeName = 'Hotels' Regel C ThemePartition Regel B cardinality > '1000' Regel F e = b Regel D

35 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung35 Inkrementelle Auswertung Regel A Partition Regel E a.theme = d themeName = 'Hotels' Regel C ThemePartition Regel B cardinality > '1000' Regel F e = b Regel D

36 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung36 Inkrementelle Auswertung Regel A Partition Regel E a.theme = d themeName = 'Hotels' Regel C ThemePartition Regel B cardinality > '1000' Regel F e = b Regel D

37 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung37 Verwandte Arbeiten - 1 Metadaten: Equal Time For Data on the Internet with WebSemantics [Mihaila, Raschid, Tomasic; EDBT '98] Automatic Deployment of Application-Specific Metadata and Code in MOCHA [Rodriguez-Martinez, Roussopoulos; EDBT '00] Universal Description, Discovery, and Integration (UDDI) [Ariba, Inc., IBM, Microsoft; http://www.uddi.org] Publish/Subscribe: Efficient Matching for Web-Based Publish/Subscribe Systems [Pereira, Fabret, Llirbat, Shasha; CoopIS '00] Matching Events in a Content-Based Subscription System [Aguilera, Strom, Sturman, Astley, Chandra; PODC '99] The SIFT Information Dissemination System [Yan, Garcia-Molina; TODS '99] Efficient Filtering of XML Documents for Selective Dissemination of Information [Altinel, Franklin; VLDB '00]

38 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung38 Verwandte Arbeiten - 2 Continuous Queries: NiagaraCQ: A Scalable Continuous Query System for Internet Databases [Chen, DeWitt, Tian, Wang; SIGMOD '00] Continual Queries for Internet Scale Event-Driven Information Delivery [Liu, Pu, Tang; IEEE TKDE '99] Materialized Views und Semantic Caching: Maintaining Views Incrementally [Gupta, Mumick, Subrahmanian; SIGMOD '93] Efficiently Updating Materialized Views [Blakeley, Larson, Tompa; SIGMOD '00] Semantic Data Caching and Replacement [Dar, Franklin, Jónsson, Srivastava, Tan; VLDB '96]

39 BTW '01 - 08. März 2001Verteilte Metadatenverwaltung39 Zusammenfassung Metadatenverwaltung MDV Architektur: Ö-MDVs, L-MDVs, Klienten Publish/Subscribe-Mechanismus Vorfilter-Algorithmus: Zerlegung von RDF-Dokumenten Zerlegung von Regeln Bestimmung ausgelöster Regeln Inkrementelle Auswertung