Informationsintegration Schema Matching 10.1.2006 Felix Naumann.

Präsentation zum Thema: "Informationsintegration Schema Matching 10.1.2006 Felix Naumann."—  Präsentation transkript:

1 Informationsintegration Schema Matching 10.1.2006 Felix Naumann

2 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/062 Überblick Klassifikation von Schema Matching Methoden [RB01] Label-basiert Instanz-basiert Struktur-basiert Mischformen Globales Matching Stable Marriage

3 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/063 Wdh: Schema Mapping im Kontext 1. Schema Matching & Korrespondenzen 2. Schema Mapping 3. Mapping Interpretation 4. Daten- transformation

4 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/064 Schema Matching – Motivation Große Schemas > 100 Tabellen, viele Attribute Bildschirm nicht lang genug Unübersichtliche Schemas Tiefe Schachtelungen Fremdschlüssel Bildschirm nicht breit genug XML Schema Fremde Schemas Unbekannte Synonyme Irreführende Schemas Unbekannte Homonyme Fremdsprachliche Schemas Kryptische Schemas |Attributnamen| 8 Zeichen |Tabellennamen| 8 Zeichen

5 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/065 Man beachte die Scrollbar! Man beachte die Schachtelungstiefe!

6 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/066 Schema Matching – Motivation Die Folgen Falsche Korrespondenzen (false positives) Fehlende Korrespondenzen (false negatives) Frustration User verlieren sich im Schema User verstehen Semantik der Schemas nicht

7 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/067 Schema Matching Klassifikation nach [RB01]

8 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/068 Schema Matching Klassifikation Schema Matching basierend auf Namen der Schemaelemente (label-based) Darunterliegende Daten (instance-based) Struktur des Schemas (structure-based) Mischformen

9 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/069 Schema Matching – Label- based Gegeben zwei Schemata mit Attributmengen A und B Kernidee: Bilde Kreuzprodukt aller Attribute aus A und B. Für jedes Paar vergleiche Ähnlichkeit bezgl. Attributnamen (Label). Z.B. Edit-distance Ähnlichste Paare sind Matches Probleme: Effizienz Auswahl der besten Matches (globales Matching) Iterativ? Stable Marriage? Synonyme und Homonyme werden nicht erkannt

10 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0610 Schema Matching – Label- based Stand der Technik in kommerziellen Produkten Label-based Namensgleichheit Kein globales Matching Keine Ähnlichkeitsmaße Kein Instanz-basiertes Matching

11 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0611 Schema Matching – Instance- based Gegeben zwei Schemata mit Attributmengen A und B, jeweils mit darunterliegenden Daten. Kernidee Für jedes Attribute extrahiere interessante Eigenschaften der Daten Buchstabenverteilung, Länge, etc. Bilde Kreuzprodukt aller Attribute aus A und B. Für jedes Paar vergleiche Ähnlichkeit bzgl. der Eigenschaften Probleme Auswahl der Eigenschaften Datenmenge: Sampling Vergleichsmethode, z.B. Naive Bayes Gewichtung (Maschinelles Lernen)

12 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0612 Instance-based Schema Matching Instance-based Schema Matching: Correspondences based on similar data values or their properties Conventional solution: Vertical Comparison of columns = Attribute classification [ICDE02] Our solution: Horizontal Comparison of rows = Duplicate detection (despite missing attribute correspondences) [ICDE05]

13 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0613 Duplicate-driven Schema Matching ABCDE MaxMichelm601- 4839204... BFEG Michelmaxm601- 4839204UNIX... Temporary matching AB BF CE DG E ? ?

14 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0614 Duplicate-driven Schema Matching ABCDE MaxMichelm601- 4839204 SamAdamsm541- 8127100541- 8121164 BFEG Michelmaxm601- 4839204UNIX Adamsbeer541- 8127164WinXP Temporary matching AB BF CE DG E ? ? ? ? Assumptions There is data in both DBs. There are (at least a few) duplicates in both DBs. Equal or similar values reflect same semantics of attributes.

15 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0615 Duplicate-driven Schema Matching 1. Duplicate detection Goal: Find the top-k duplicates. Problems Correspondences unknown Possibly small intensional overlap 2. Schema Matching Goal: Derive attribute correspondences from attribute values. Problems Attribute values only similar, not equal Synonyms and homonyms in values

16 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0616 Duplicate Detection in Unaligned Tables Cosine measure with TFIDF weights Tuple as vector of term weights Term weights is high if term appears often in tuple (TF) and it appears in only few tuples (IDF). Tuple similarity is the cosine of the angle of both (normalized) vectors. 1 123 Max 601 : 0 0.21 0.3 0.14 : 0.06 0 0.28 0.16 : 123Max Michelmax@michel.com601- 4839204 1Max Michel601- 4839204max@michel.com

17 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0617 Schema Matching Given the top K duplicates. Find a (global) matching I.e., each attribute has 0 or 1 correspondence. Temporary matching AB BF CE DG E Formalized by similarity matrix ABCDE B 0.220.920.0700 F 0.60 0.0700 E 0000.580.64 G 00.070 0.02 Average SoftTFIDF

18 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0618 2. Schema Matching – Similarity Measure Fieldwise Comparison Compare attribute values of record pairs. Similarity measure: Edit-distance vs. SoftTFIDF Edit distance Minimal number of edit operations (substitute, insert, delete); several variations exist SoftTFIDF Soft variation of TFIDF that also considers similar terms

19 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0619 Graph Matching Given: Similarity matrix = weighted bipartite graph Find: Maximal weight matching Alternative: Matching with stable marriage property Outlook Produce mappings and not just correspondences 0.640.58000 E 000.070.60 F G B 0.020.070 0 EDCBA 00 0.920.22

20 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0620 Schema Matching – Structure- based Gegeben zwei Schemata mit Elementmengen A und B. Kernidee Nutze (komplexe) Struktur des Schemas aus. Hierarchieebene Elementtyp (Attribut, Relation,...) Nachbarschaftsbeziehungen

21 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0621 Schema Matching – Structure- based Beispiel: Similarity Flooding nach [MGMR02] Gegeben initiale Ähnlichkeit zwischen Schemaelementen (z.B. durch edit- distance oder durch Analyse der darunterliegenden Daten) Lasse Ähnlichkeiten abfärben auf die Nachbarn Nachbarn sind durch Struktur definiert Sind alle Nachbarn von x und y ähnlich zueinander, sind (vielleicht) auch x und y ein match. Analogie: Man flutet das Netzwerk der Ähnlichkeiten bis ein Gleichgewicht erreicht ist.

22 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0622 Schema Matching – Mischformen Hybrid Gleichzeitige Anwendung mehrerer Techniken Bsp: Instance-based + Datentypvergleich Composite Repertoire bekannter Techniken (inkl. hybrider Techniken) Kombination dieser unabhängigen Verfahren Bsp: Durch Gewichtung Bsp: Durch automatisches Lernen Des besten Verfahrens Einer guten Gewichtung

23 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0623 Schema Matching in Clio

24 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0624 Schema Matching – Weitere Anwendungen Herkömmlich: Korrespondenzen finden Schlüssel – Fremdschlüssel finden Ähnliche Attribute innerhalb eines Schemas sind gute Kandidaten Höher-stufige Korrespondenzen finden Ähnlichkeiten von Tabellen durch Aggregation der Matches ihrer Attribute

25 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0625 Schema Matching – Erweiterungen 1:n, n:1 matches Vorname, Nachname Name Viele Kombinationsmöglichkeiten Viele Funktionen denkbar: Mathematische Operatoren, Konkatenation, etc. Name Vorname, Nachname Viele Kombinationsmöglichkeiten Parsingregeln finden! Global matching Matche nicht nur einzelne Attribute (oder Attributmengen) Sondern komplette Tabellen oder komplette Schemata Stable Marriage Problem

26 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0626 Schema Matching – Erweiterungen n:1 und 1:n Matches Viele Kombinationsmöglichkeiten Viele Funktionen denkbar Parsingregeln Matching in komplexen Schemata Ziel: Finde Mapping, nicht Korrespondenzen Globales Matching Matche Tabellen und Schemata, nicht nur Attribute Stable Marriage bzw. Maximum Weighted Matching Vorname Name Nachname Vorname Name Nachname A C B D 1.0 0.81 0.54 0.27

27 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0627 Überblick Klassifikation von Schema Matching Methoden [RB01] Label-basiert Instanz-basiert Struktur-basiert Mischformen Globales Matching Stable Marriage

28 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0628 Schema Matching – Stable Marriage Gegeben n Frauen (Attribute in Schema A) und m Männer (Attribute in Schema B) Monogamie Je eine Frau kann nur mit je einem Mann verheiratet sein (nur 1:1 matches) Jede Frau hat eine Rangliste der Männer und umgekehrt Bei Schema Matching Attribut-Ähnlichkeit gemäß eines der vorigen Verfahren Rangliste ist (normalerweise) symmetrisch Gesucht: Paarung (globales Matching), so dass niemals gilt f 1 heiratet m 1, f 2 heiratet m 2, aber f 1 bevorzugt m 2 und m 2 bevorzugt f 1 (Instabil!)

29 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0629 Stable Marriage – Beispiel Männer (1-4)Frauen (A-D) 1: B, D, A, CA: 2, 1, 4, 3 2: C, A, D, BB: 4, 3, 1, 2 3: B, C, A, DC: 1, 4, 3, 2 4: D, A, C, BD: 2, 1, 4, 3 Beispiel aus: David Toth, "The Stable Marriage Problem: More Marital Happiness than Reality TV" April 25, 2003, Connecticut College, New London, CT, USA,

30 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0630 Stable Marriage – Beispiel Männer (1-4)Frauen (A-D) 1: B, D, A, CA: 2, 1, 4, 3 2: C, A, D, BB: 4, 3, 1, 2 3: B, C, A, DC: 1, 4, 3, 2 4: D, A, C, BD: 2, 1, 4, 3 1 stellt Antrag an B, sie willigt ein: (1, B)

31 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0631 Stable Marriage – Beispiel Männer (1-4)Frauen (A-D) 1: B, D, A, CA: 2, 1, 4, 3 2: C, A, D, BB: 4, 3, 1, 2 3: B, C, A, DC: 1, 4, 3, 2 4: D, A, C, BD: 2, 1, 4, 3 1 stellt Antrag an B, sie willigt ein: (1, B) 2 stellt Antrag an C, sie willigt ein: (1, B) (2, C)

32 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0632 Stable Marriage – Beispiel Männer (1-4)Frauen (A-D) 1: B, D, A, CA: 2, 1, 4, 3 2: C, A, D, BB: 4, 3, 1, 2 3: B, C, A, DC: 1, 4, 3, 2 4: D, A, C, BD: 2, 1, 4, 3 1 stellt Antrag an B, sie willigt ein: (1, B) 2 stellt Antrag an C, sie willigt ein: (1, B) (2, C) 3 stellt Antrag an B, sie willigt ein & verlässt 1: (2, C) (3, B)

33 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0633 Stable Marriage – Beispiel Männer (1-4) Frauen (A-D) 1: B, D, A, CA: 2, 1, 4, 3 2: C, A, D, BB: 4, 3, 1, 2 3: B, C, A, DC: 1, 4, 3, 2 4: D, A, C, BD: 2, 1, 4, 3 1 stellt Antrag an B, sie willigt ein : (1, B) 2 stellt Antrag an C, sie willigt ein : (1, B) (2, C) 3 stellt Antrag an B, sie willigt ein & verlässt 1: (2, C) (3, B) 1 stellt Antrag an D, sie willigt ein : (1, D) (2, C) (3, B)

34 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0634 Stable Marriage – Beispiel Männer (1-4) Frauen (A-D) 1: B, D, A, CA: 2, 1, 4, 3 2: C, A, D, BB: 4, 3, 1, 2 3: B, C, A, DC: 1, 4, 3, 2 4: D, A, C, BD: 2, 1, 4, 3 1 stellt Antrag an B, sie willigt ein : (1, B) 2 stellt Antrag an C, sie willigt ein : (1, B) (2, C) 3 stellt Antrag an B, sie willigt ein & verlässt 1: (2, C) (3, B) 1 stellt Antrag an D, sie willigt ein : (1, D) (2, C) (3, B) 4 stellt Antrag an D, sie lehnt ab : (1, D) (2, C) (3, B)

35 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0635 Stable Marriage – Beispiel Männer (1-4) Frauen (A-D) 1: B, D, A, CA: 2, 1, 4, 3 2: C, A, D, BB: 4, 3, 1, 2 3: B, C, A, DC: 1, 4, 3, 2 4: D, A, C, BD: 2, 1, 4, 3 1 stellt Antrag an B, sie willigt ein : (1, B) 2 stellt Antrag an C, sie willigt ein : (1, B) (2, C) 3 stellt Antrag an B, sie willigt ein & verlässt 1: (2, C) (3, B) 1 stellt Antrag an D, sie willigt ein : (1, D) (2, C) (3, B) 4 stellt Antrag an D, sie lehnt ab: (1, D) (2, C) (3, B) 4 stellt Antrag an A, sie willigt ein : (1, D) (2, C) (3, B) (4, A)

36 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0636 Maximum Weighted Matching Alternative zu Stable Marriage Suche matching mit maximalem Gewicht in bipartiten Graphen Bipartit: Knoten in zwei Klassen (Quelle & Ziel) Kanten nur zwischen Knoten verschiedener Klassen (Korrespondenzen) Maximiere Summe der einzelnen Gewichte/Ähnlichkeiten

37 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0637 Diskussion: Globales Matching Personal Name Telefon Alter Adresse Gehalt Person Name Street ID Age Phone Kinderzahl 0.1 0.9 0.6 1 0.8

38 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0638 Diskussion: Globales Matching Personal Name Telefon Alter Adresse Gehalt Produkt Name Bezeichnung ID Gewicht Volumen Lagermenge 0.1 0.9 0.2 0.3 0.01

39 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0639 Zusammenfassung Schema Matching basierend auf Namen der Schemaelemente (label-based) Darunterliegende Daten (instance-based) Struktur des Schemas (structure-based) Mischformen, Meta-Matcher Globales Matching

40 10.1.2006Felix Naumann, VL Informationsintegration, WS 05/0640 Literatur Artikel mit der Klassifikation: [RB01] Erhard Rahm and Philip Bernstein, A survey of approaches to automatic schema matching, VLDB Journal 10(4), 2001. Spezielle Algorithmen [MGMR02] Sergey Melnik, Hector Garcia-Molina, Erhard Rahm: Similarity Flooding: A Versatile Graph Matching Algorithm and Its Application to Schema Matching. ICDE 2002: 117-128Hector Garcia-MolinaErhard RahmICDE 2002 [MH03] Jayant Madhavan, Alon Y. Halevy: Composing Mappings Among Data Sources. VLDB 2003: 572-583.Alon Y. HalevyVLDB 2003 uvm.