Universität Bremen FB3 AG-Digitale Medien Diplomarbeit Abschlussvortrag A Social Tagging Environment for Web Information Extraction Diplomand: Wenyu Cai.

Präsentation zum Thema: "Universität Bremen FB3 AG-Digitale Medien Diplomarbeit Abschlussvortrag A Social Tagging Environment for Web Information Extraction Diplomand: Wenyu Cai."—  Präsentation transkript:

1 Universität Bremen FB3 AG-Digitale Medien Diplomarbeit Abschlussvortrag A Social Tagging Environment for Web Information Extraction Diplomand: Wenyu Cai Matrikelnummer: 1621677 E-Mail: jacob@tzi.de Erstgutachter: Prof. Dr. Rainer Malaka Zweitgutachter: Prof. Dr. Martin Gogolla

2 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 2 Einleitung  Motivation:  Die relevanten strukturellen Daten einfach und effektiv aus semi-strukturierten und unstrukturierten Web Dokumenten zu identifizieren, annotieren und extrahieren.  Fragestellung:  Wie kann man mittels Social Tagging, Tag-Empfehlungen und modernen Webtechniken eine Social Tagging Umgebung zu Unterstützung von Web Informationsextraktion aufbauen.

3 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 3 Einleitung  Ergebnis:  Ein Social Tagging Umgebung wurde für Web Information Extraction entworfen und umgesetzt und evaluiert.  Aufbau der Arbeit:  Stand der Forschung  Konzeption  Umsetzung  Evaluation

4 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 4 Stand der Forschung 1.Social Software und Kollektive Intelligenz 2.Social/Collaborative Tagging 3.Semantische Annotation 4.Web Informationsextraktion

5 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 5 Social Software und Kollektive Intelligenz  Social Software „Internetbasierte Anwendungen, die Informations-, Identitäts- und Beziehungsmanagement in den (Teil-)Ö ff entlichkeiten hypertextueller und sozialer Netzwerke unterstützen“ 1.  Kollektive Intelligenz „ Das Ganze ist mehr als die Summe seiner Teile“ 2.

6 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 6 Social/Collaborative Tagging  Social Tagging R = (r 1,...,r l ): Menge der verschlagworteten Ressource. T = (t 1,...,t m ): Menge der vergebenen Schlagwörter. U = (u 1,...,u n ) Menge der Nutzer.  Folksonomy Die Menge aller Tags, die einer bestimmten Ressource von allen Nutzers zugewiesen wurden.

7 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 7 Social/Collaborative Tagging  Folksonomy „folk“ (Volk) und „taxonomy“ (Taxonomie, Klassifikation). die Ordnung ist nicht vornher festgelegt. keine formellen Beziehungen in einer Folksonomie. Vier zentrale Merkmale 3 : 1. Tagging is done independently; 2. Tags are aggregated. 3. Relationships are inferred. 4. Any inference methode is valid. (Tag-Zähler, Co-occurence, Clustering)

8 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 8 Social/Collaborative Tagging  Tag-Empfehlung  Algorithmus von Yahoo! 4  Auffindung und Wiederfindung von Ressourcen  Popularität, Co-ocurrence und Normalisierung von Tags

9 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 9 Social/Collaborative Tagging  Einsatzgebiete und Systembeispiele 1.Managing Personal Information, z.B „Labels“ in Google Mail; 2.Social Bookmarking, z.B del.icio.us; 3.Collecting and Sharing Digital Objects, z.B YouTube, Flickr, LibraryThing; 4.E-Commerce, z.B Etsy, Buzzillions; 5.Other Uses, z.B ESP Game, Diigo.

10 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 10 Social/Collaborative Tagging  Wesentliche Vorteile 4 1.Erleichterung der Zusammenarbeit; 2.Gewinnung von deskriptiven Metadaten; 3.Verbesserung der Au ffi ndbarkeit; 4.Erhöhung der Beteiligung; 5.Erkennung der „Patterns“; 6.Erweiterung existierender Klassifikation; 7.Chance für Innovation.

11 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 11 Semantische Annotation  Professionelle Annotation  manuell von von Experten;  sehr teuer (zeit-/arbeitsintensiv).  Automatische Annotation  automatisch durch computerlinguistische Methoden;  nicht immer zutre ff end und oft nicht ausreichend.  Soziale Annotation  Kollektive Intelligenz  Vorteile von Social Tagging

12 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 12 Semantische Annotation  Taxonomie  Hierarchie von Begri ff en (Über/Unterordnung);  keine Beziehungen zwischen Elementen;  aufwendig und wenig fexibel.  Ontologie  formale Spezifikation einer Konzeptualisierung;  ein Netz von Hierarchien mit logischer Beziehungen;  teuer und wenig fexibel.  Folksonomie  freies Tagging und kollektive Intelligenz;  jedes Schlussfolgerungsverfahren ist zulässig.

13 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 13 Semantische Annotation  Web Annotation  Inhaltsbezogene bzw, textuelle Annotation  Strukturelle Annotation Abbildung 2.9: Text-Markierung und Kontext-Menü in Thresher

14 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 14 Web Informationsextraktion  Informationsextraktion  versucht nicht, die Input-Texte bzw. Quellen zu verstehen;  analysiert Teilbereiche von jedem Dokument, welche relevante Informationen enthalten  Wrapper  eine Reihe von Extraktionsregeln und Code;  manuell, überwacht (semi-automatischer) oder automatisch generieren

15 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 15 Web Informationsextraktion  Klassifikationen 5 1.Sprachbasiert: Programmiersprachen unterstützen Wrapper Generierung; guten Programmierkenntnis notwendig; sehr hohen manuellen Arbeitsaufwand. 2.HTML-basiert: Analyse von HTML Dokumenten anhand der HTML-Struktur- Eigenschaften; unstrukturiert und semi-strukturiert; täglich neu und ständig Veränderung. 3.NLP-basiert: für freie, natürlichsprachliche Texte; vollgrammatikalische Sätze erfordert; nicht sehr gut für Web IE.

16 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 16 Web Informationsextraktion  Klassifikationen 4.Wrapper-Induction-basiert: Extraktionsregeln werden von einer Reihe von Trainingsbeispielen abgeleitet; große Menge von Trainingsbeispieln erfordert. 5.Modell-basiert: die Struktur von den Zielobjekten ist gegeben; versucht Seiten zu finden, die eine absolut konforme Teilstruktur dazu aufweisen; große Menge von strukturierter Daten notwendig; 6.Ontologie-basiert: die Techniken des Semantic Webs noch nicht sehr verbreitet; zum aktuellen Zeitpunkt noch une ffi zient.

17 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 17 Web Informationsextraktion  Problemklassen 6  Au ffi nden der Webseiten durch das Verfolgen von Hyperlinks;  Unsaubere HTML-Struktur;  Das Hyperlink Dilemma;  Struktur Synthese Problem;  Data Mapping und Data Integration Problem  Das „Deep Web“ 7 ;  Die Flexibilität des Webs 8.

18 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 18 Web Informationsextraktion  Nutzung visueller Information Abbildung: Visuelle Extraktion Umgebung von Lixto

19 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 19 Zusammenfassung  manuelle und überwachte Bearbeitungen kostet sehr hohen Arbeitsaufwand  große Menge von Bespieldaten für verschiedene Informationsquellen sind notwendig;  häufige Veränderung von Webseiten erhöhtet Arbeitsaufwand.  Social Tagging als Hilfsmittel;  Relevante Webinhalte werden durch kollektive menschliche Intelligenz klassifiziert und durch Schlagworteingabe semantisch zusammengefasst;  immer aktuellen Metadaten werden von sozialer Annotation erstellt.

20 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 20 Konzeption  Grundidee

21 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 21 Konzeption  Systemübersicht

22 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 22 Umsetzung  Analyse  Systementwurf  Implementierung  Nutzung des Tagging Systems

23 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 23 Analyse  Client-Server Architektur C/S bzw. B/S Architektur  Funktionale Anforderungen 1.strukturelle und textuelle Annotation direkt auf der Webseite; 2.die strukturellen Informationen sammeln; 3.interaktive Dialog für die Schlagworteingabe und Tag- Empfehlung; 4.die strukturellen Informationen mit Relationen von Nutzer, Tags und Ressourcen speichern; 5.für ausgewählte Webinhalte die empfohlenen Tags generieren; 6.Kommando steuerte Kommunikation; 7.asynchrone und Cross-Domain Datenübertragung.

24 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 24 Analyse  Interaktionen und die strukturellen Informationen InteraktionenArt von AuswahlDie strukturellen Informationen Strukturelle Selektion SingleURL, XPath dieses Knotens, Position dieses Knoten Multi URL, XPath gemeinsamer Vater-Knoten, alle ausgewählten Kinder-Knoten, Position des visuellen Bereichs auf der Webseite Textuelle Markierung Single URL, XPath eingeordnetes Knoten, Zeichen-O ff set (Start und End), ausgewählter Textinhalt Multi besteht aus mehreren Single-Auswahl von textueller Markierung

25 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 25 Systementwurf  Systemarchithektur

26 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 26 Systementwurf  Clientseitige Interaktionen

27 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 27 Systementwurf  Serverseitige Funktionalitäten 1.Neu Anmelden / Einloggen / Ausloggen; 2.Einfügen / Löschen / Modifizieren von Annotation; 3.Laden Tagging History; 4.Tag-Empfehlung;

28 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 28 Systementwurf  Datenmodelle

29 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 29 Implementierung  Frontend :  Javascript, Bookmarklet  Backend:  Java(-Servlet), Hibernate, Mysql, Tomcat  Kommunikation:  XMLHttpRequest, JSON(P)

30 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 30 Nutzung des Tagging Systems

31 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 31 Evaluation  Empirisches Verfahren  Online-Befragung und Tagging-Experiment  Nutzungssituation und Empfehlungsanalyse

32 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 32 Evaluation  Nutzungssituation Ergebnisse durch Cut-O ff Wert von „4“ und „5“

33 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 33 Evaluation  Empfehlungsanalyse Schritte/TagsPreisinfoComputernetzwerkeBuchPreis Schritt 11,00,330,605,0 Schritt 20,50,330,10 Schritt 30,410,51 Schritt 40,18

34 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 34 Evaluation  Empfehlungsanalyse WebseiteDie empfohlenen Tags W1 (Fußball) fussball, belgien, ergebnis, privatliga, tabelle W2 (Wettervorhersagen) wetter, bremen, temperatur, vorsage, wetterbericht W3 (Personendarstellung) gernot (Personname), lebenslauf, adresse, telefon, karriere W4 (Bücher) preis, buch, computernetzwerke, preisinfo, wesley W5 (Filme) 007, schauspieler, film, superstar, connery

35 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 35 Fazit und Ausblick  Der aktuelle Stand der Forschung analysiert;  Eine neues Konzept von Social Tagging als Hilfsmittel für Web Informationsextraktion vorgestellt;  Eine Social Tagging Umgebung wurde mit integriertem Empfehlungssystem erfolgreich umgesetzt und evaluiert;  zur Verbesserung kann die Tagging-Umgebung als ein Spiel Endnutzer motivieren;  In der Zukunft: vereinfachte und verbesserte Web Interaktion; semantischen Technologie und IE-Verfahren macht das WWW noch intelligent.

36 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 36 Quelle 1.Jan Schmidt: Social Software: Onlinegestütztes Informations-, Identitäts- und Beziehungsmanagement. In: Forschungsjournal Neue Soziale Bewegungen, Nr 2/2006 2.von Aristoteles (384 - 322 v. Chr.), er war der erste große Systematiker unter den Philosophen und gilt als Begründer der abendländischen Wissenschaft. 3.Smith, G. (2008). Tagging: People-powered Metadata for the Social Web (1ed.). New Riders Press. 4.Xu, Z., Y. Fu, J. Mao, and D. Su (2006). Towards the semantic web: Collaborative tag suggestions. WWW 2006 Tagging Workshop Proceedings. 5.Laender, A. H. F., B. A. Ribeiro-Neto, A. S. da Silva, and J. S. Teixeira (2002,June). A brief survey of web data extraction tools. 6.Myllymaki, J. (2001). E ff ective web data extraction with standard xml technologies. International World Wide Web Conference. 7.Bergman, M. K. (2001). The deep web: Surfacing hidden value. 8.X., G., Z. M., and A. P. (2003, October). Learning information extraction patterns from tabular web pages without manual labelling. IEEE/WIC International Conference.

37 Universität Bremen FB3 AG-Digitale Medien Prof. Dr. Rainer Malaka Diplomarbeit Abschlussvortrag 37 Vielen Dank!