A Social Tagging Environment for Web Information Extraction

Präsentation zum Thema: "A Social Tagging Environment for Web Information Extraction"—  Präsentation transkript:

1 A Social Tagging Environment for Web Information Extraction
Diplomand: Wenyu Cai Matrikelnummer: Erstgutachter: Prof. Dr. Rainer Malaka Zweitgutachter: Prof. Dr. Martin Gogolla

2 Einleitung Motivation:
Die relevanten strukturellen Daten einfach und effektiv aus semi-strukturierten und unstrukturierten Web Dokumenten zu identifizieren, annotieren und extrahieren. Fragestellung: Wie kann man mittels Social Tagging, Tag- Empfehlungen und modernen Webtechniken eine Social Tagging Umgebung zu Unterstützung von Web Informationsextraktion aufbauen.

3 Einleitung Ergebnis: Ein Social Tagging Umgebung wurde für Web Information Extraction entworfen und implementiert und evaluiert. Aufbau der Arbeit: Stand der Forschung Konzeption Umsetzung eines Tagging Systems für Web Information Extraction Evaluation

4 Stand der Forschung Social Software und Kollektive Intelligenz
Social/Collaborative Tagging Semantische Annotation Web Informationsextraktion

5 Social Software und Kollektive Intelligenz
„Internetbasierte Anwendungen, die Informations-, Identitäts- und Beziehungsmanagement in den (Teil-)Öffentlichkeiten hypertextueller und sozialer Netzwerke unterstützen“1. Kollektive Intelligenz „Das Ganze ist mehr als die Summe seiner Teile“2.

6 Social/Collaborative Tagging
Social Tagging R = (r1,...,rl): Menge der verschlagworteten Ressource. T = (t1,...,tm): Menge der vergebenen Schlagwörter. U = (u1,...,un) Menge der Nutzer. Folksonomy Die Menge aller Tags, die einer bestimmten Ressource von allen Nutzers zugewiesen wurden.

7 Social/Collaborative Tagging
Folksonomy „folk“ (Volk) und „taxonomy“ (Taxonomie, Klassifikation). die Ordnung ist nicht vornher festgelegt. keine formellen Beziehungen in einer Folksonomie. Vier zentrale Merkmale3: Tagging is done independently; Tags are aggregated. Relationships are inferred. Any inference methode is valid. (Tag-Zähler, Co-occurence, Clustering)

8 Social/Collaborative Tagging
Tag-Empfehlung Algorithmus von Yahoo!4 Auffindung und Wiederfindung von Ressourcen Popularität, Co-ocurrence und Normalisierung von Tags

9 Social/Collaborative Tagging
Einsatzgebiete und Systembeispiele Managing Personal Information, z.B „Labels“ in Google Mail; Social Bookmarking, z.B del.icio.us; Collecting and Sharing Digital Objects, z.B YouTube, Flickr, LibraryThing; E-Commerce, z.B Etsy, Buzzillions; Other Uses, z.B ESP Game, Diigo.

10 Social/Collaborative Tagging
Wesentliche Vorteile Erleichterung der Zusammenarbeit; Gewinnung von deskriptiven Metadaten; Verbesserung der Auffindbarkeit; Erhöhung der Beteiligung; Erkennung der „Patterns“; Erweiterung existierender Klassifikation; Chance für Innovation.

11 Semantische Annotation
Professionelle Annotation manuell von von Experten; sehr teuer (zeit-/arbeitsintensiv). Automatische Annotation automatisch durch computerlinguistische Methoden; nicht immer zutreffend und oft nicht ausreichend. Soziale Annotation Kollektive Intelligenz Vorteile von Social Tagging

12 Semantische Annotation
Taxonomie Hierarchie von Begriffen (Über/Unterordnung); keine Beziehungen zwischen Elementen; aufwendig und wenig fexibel. Ontologie formale Spezifikation einer Konzeptualisierung; ein Netz von Hierarchien mit logischer Beziehungen; teuer und wenig fexibel. Folksonomie freies Tagging und kollektive Intelligenz; jedes Schlussfolgerungsverfahren ist zulässig.

13 Semantische Annotation
Web Annotation Inhaltsbezogene bzw, textuelle Annotation Strukturelle Annotation Abbildung 2.9: Text-Markierung und Kontext-Menü in Thresher

14 Web Informationsextraktion
versucht nicht, die Input-Texte bzw. Quellen zu verstehen; analysiert Teilbereiche von jedem Dokument, welche relevante Informationen enthalten Wrapper eine Reihe von Extraktionsregeln und Code; manuell, überwacht (semi-automatischer) oder automatisch generieren

15 Web Informationsextraktion
Klassifikationen Sprachbasiert: Programmiersprachen unterstützen Wrapper Generierung; guten Programmierkenntnis notwendig; sehr hohen manuellen Arbeitsaufwand. HTML-basiert: Analyse von HTML Dokumenten anhand der HTML-Struktur- Eigenschaften; unstrukturiert und semi-strukturiert; täglich neu und ständig Veränderung. NLP-basiert: für freie, natürlichsprachliche Texte; vollgrammatikalische Sätze erfordert; nicht sehr gut für Web IE.

16 Web Informationsextraktion
Klassifikationen Wrapper-Induction-basiert: Extraktionsregeln werden von einer Reihe von Trainingsbeispielen abgeleitet; große Menge von Trainingsbeispieln erfordert. Modell-basiert: die Struktur von den Zielobjekten ist gegeben; versucht Seiten zu finden, die eine absolut konforme Teilstruktur dazu aufweisen; große Menge von strukturierter Daten notwendig; Ontologie-basiert: die Techniken des Semantic Webs noch nicht sehr verbreitet; zum aktuellen Zeitpunkt noch uneffizient.

17 Web Informationsextraktion
Problemklassen Auffinden der Webseiten durch das Verfolgen von Hyperlinks; Unsaubere HTML-Struktur; Das Hyperlink Dilemma; Struktur Synthese Problem; Data Mapping und Data Integration Problem Das „Deep Web“; Die Flexibilität des Webs.

18 Web Informationsextraktion
Nutzung visueller Information Abbildung: Visuelle Extraktion Umgebung von Lixto

19 Zusammenfassung manuelle und überwachte Bearbeitungen kostet sehr hohen Arbeitsaufwand große Menge von Bespieldaten für verschiedene Informationsquellen sind notwendig; häufige Veränderung von Webseiten erhöhtet Arbeitsaufwand. Social Tagging als Hilfsmittel; Relevante Webinhalte werden durch kollektive menschliche Intelligenz klassifiziert; immer aktuellen Metadaten werden von sozialer Annotation erstellt.

20 Konzeption Grundidee

21 Konzeption Systemübersicht

22 Umsetzung Analyse Systementwurf Implementierung
Nutzung des Tagging Systems

23 Analyse Client-Server Architektur Funktionale Anforderungen Interaktionen und die strukturellen Informationen

24 Systementwurf Systemarchithektur

25 Systementwurf Clientseitige Interaktionen

26 Systementwurf Serverseitige Funktionalitäten

27 Systementwurf Datenmodelle

28 Implementierung Technologieentscheidung

29 Implementierung Klassenstruktur

30 Nutzung des Tagging Systems

31 Evaluation Nutzungssituation

32 Evaluation Empfehlungsanalyse Schritte/Tags Preisinfo
Computernetzwerke Buch Preis Schritt 1 1,0 0,33 0,60 5,0 Schritt 2 0,5 0,10 Schritt 3 0,41 0,51 Schritt 4 0,18

33 (Personendarstellung)
Evaluation Empfehlungsanalyse Webseite Die empfohlenen Tags W1 (Fußball) fussball, belgien, ergebnis, privatliga, tabelle W2 (Wettervorhersagen) wetter, bremen, temperatur, vorsage, wetterbericht W3 (Personendarstellung) gernot (Personname), lebenslauf, adresse, telefon, karriere W4 (Bücher) preis, buch, computernetzwerke, preisinfo, wesley W5 (Filme) 007, schauspieler, film, superstar, connery

34 Fazit und Ausblick

35 Quelle Jan Schmidt: Social Software: Onlinegestütztes Informations-, Identitäts- und Beziehungsmanagement. In: Forschungsjournal Neue Soziale Bewegungen, Nr 2/2006 von Aristoteles ( v. Chr.), er war der erste große Systematiker unter den Philosophen und gilt als Begründer der abendländischen Wissenschaft. Smith, G. (2008). Tagging: People-powered Metadata for the Social Web (1ed.). New Riders Press. Xu, Z., Y. Fu, J. Mao, and D. Su (2006). Towards the semantic web: Collaborative tag suggestions. WWW 2006 Tagging Workshop Proceedings.

36 Vielen Dank!