Institut für Informatik Hauptseminar „Data Science“: Mining Social Media Hauptseminar SS 2016 Ansprechpartner: Prof. Thomas Seidl Dr. Tobias Emrich Johannes.

Präsentation zum Thema: "Institut für Informatik Hauptseminar „Data Science“: Mining Social Media Hauptseminar SS 2016 Ansprechpartner: Prof. Thomas Seidl Dr. Tobias Emrich Johannes."—  Präsentation transkript:

1 Institut für Informatik Hauptseminar „Data Science“: Mining Social Media Hauptseminar SS 2016 Ansprechpartner: Prof. Thomas Seidl Dr. Tobias Emrich Johannes Niedermayer

2 Ablauf Agenda Einleitung Seminarüberblick Ziele des Seminars Ablauf des Seminars Mining Twitter Warum Twitter? Mögliche Fragestellungen Grundlagen Twitter API Tools Einteilung der Gruppen

3 MediaQ Social Media Internetbasierte Applikationen, die auf dem Web 2.0 aufbauen und die Erzeugung sowie den Austausch nutzergenerierter Inhalte ermöglichen

4 Twitter Microblogging-Plattform Kommunikation erfolgt über Tweets Kurze Textnachrichten mit bis zu 140 Zeichen Hashtags zur Kategorisierung Möglichkeit der Einbindung von Bildern und Videos Zusätzliche Anreichung mit Geoinformationen möglich Literaturempfehlung: Kwak, Lee, Park, Moon: “What is Twitter, a Social Network or a News Media?“ (2010).

5 Ziele Entwicklung neuer Analysemethodiken für Microblogging-Plattformen wie Twitter und Instagram Einarbeitung in Fragestellungen des Themengebiets „Data Science“ mit Konzentration auf Social Media Mining Kreative Auseinandersetzung mit den gegebenen Daten Neue Fragestellungen zur Analyse von Social Media Daten entwickeln Ansprechende Visualisierung der Idee Umsetzung der Ideen Implementierung Präsentation

6 Ablauf des Seminars 1. Termin (Heute) Vorstellung der Thematik Einteilung der Gruppen 2. Termin (9. Mai 2016) Meilenstein: theoretische Auseinandersetzung abgeschlossen Paper-Präsentation (Theoretischer Teil) Vorstellung der Projektideen (Praktischer Teil) 3. Termin (9. Juni) Meilenstein: praktische Einarbeitung beendet Zwischenpräsentation des Projektes Diskussion der Zwischenergebnisse 4. Termin (8. Juli 2016) Meilenstein: Projekt abgeschlossen Abschlusspräsentation des Projektes

7 Ablauf: Theoretischer Teil Einarbeitung in ein festgelegtes Themengebiet anhand eines vorgegebenen Papers Entwicklung von eigenen Applikationsideen anhand der Publikation anhand eigener Ideen Präsentation der Ergebnisse im Seminar 15 Minuten Paper 5 Minuten eigene Projektideen 5 Minuten Diskussion

8 Ablauf: Praktischer Teil (Einarbeitung) Einarbeitung in die Twitter- oder Instagram-API und Crawling der benötigten Daten über die API Detaillierte Auseinandersetzung mit den Daten inklusiver erster Experimente - Realdaten sind schwierig: Vorverarbeitung ist kritisch! Vertraulichkeit: Twitter Terms of Service beachten Crawler wird bereit gestellt (Java) Weiterentwicklung der Ideen Skizzierung einer detaillierten Analysepipeline Präsentation der Ergebnisse (~10 Minuten) und Diskussion mit den Betreuern (~5 Minuten)

9 Ablauf: Praktischer Teil (Umsetzung) Implementierung des entwickelten Analyseverfahrens Dokumentation der Applikation, sowie Beschreibung der Softwarearchitektur und Algorithmen in einem Webdokument Präsentation des Verfahrens und der Umsetzung im Seminar (~15 Minuten)

10 Ziele Benotungskriterien 1.Einarbeitung in ein Themengebiet anhand eines vorgegebenen Papers und Vortrag zu diesem Themengebiet 2.Entwicklung und Implementierung eines Analyseverfahrens Nicht trivial (z.B. Heatmap über Tweetpositionen) Keine Kleinen Datenmengen (z.B. Analyse von 3 Wörtern / 10.000 Tweets) wenn es sich anbietet Streamfähigkeit 3.Dokumentation und Veröffentlichung des Verfahrens in Form eines Webauftritts 4.Präsentation der Ergebnisse im Seminar Es wird in Gruppen von 3 Personen gearbeitet.

11 Warum Twitter? Text Bilder Links Follower Retweets Hashtags Geokoordinaten API

12 Data Mining und Machine Learning Techniken Clustering Outlier Detection (bzw. Trend Detection) Regression Klassifikation Frequent Pattern Mining Prediction Graph Pattern Mining Query Processing …

13 Ziele Mögliche Fragestellungen Retweet Prediction: Wie groß ist für einen gegebenen Tweet die Wahrscheinlichkeit eines Retweets? Trend Analysis: Welche Begriffe sind aktuell im Trend? Hashtag Prediction: Welche Hashtags bieten sich für einen Tweet an? Vergleich der Daten (Text, Geodaten, Bilder, Hashtags, …) von Twitter und Instagram Identifikation interessanter Orte (POIs) Weitere innovative Ideen sind Willkommen! ? #

14 MediaQ Twitter API Nach einer Registrierung ermöglicht Twitter den Datenzugriff über eine API Streaming API ermöglicht Empfang eines Samples Spezielle Anfragen an die Twitter-API (Begrenzt bzgl. Anzahl an Queries) Implementierungen für eine Vielzahl von Programmiersprachen Crawler wird bereit gestellt (Java) Links: API http://dev.twitter.com/ http://dev.twitter.com/ Libraries: http://dev.twitter.com/overview/api/twitter-libraries http://dev.twitter.com/overview/api/twitter-libraries

15 Hardware Hard- und Software (Auszug) hekto.cip.ifi.lmu.de – 136 GB Arbeitsspeicher, 24 Kerne deka.cip.ifi.lmu.de – 144 GB Arbeitsspeicher, 24 Kerne cerboli.dbs.ifi.lmu.de – 32 GB Arbeitsspeicher, 12 Kerne, Tesla M2090 GPU Nach Anmeldung! https://wiki.cip.ifi.lmu.de/tiki-index.php?page=tiki-sge – Sun Grid Engine des CIP-Pools

16 Texte Arbeiten mit Texten Tokenization: Splitten von einem Text String in einzelne Worte/Tokens Stopword Removal und Term Weighting: Entfernung irrelevanter Worte (der, die das, …) Gewichtung von Worten nach Informationsgehalt (TF/IDF) Frameworks NLTK (Python) – Stemming, Stopwortlisten, Klassifikatoren, Sentiment Analysis http://www.nltk.org/ Lucene (Java) – Textsuchmaschine http://lucene.apache.org OpenNLP (Java) – Natural Language Processing mit Java https://opennlp.apache.org/

17 Bilder Arbeiten mit Bildern Mit Caffe ( http://caffe.berkeleyvisio n.org/ ) können State-of-the-Art Features aus Bildern extrahiert werden, die dann wie beliebige Vektordaten verarbeitet werden können OpenCV ermöglicht die Extraktion weiterer Features theano, numpy und sklearn eignen sich gut für Frage- stellungen aus dem Bereich Machine Learning (nicht nur für Bilder)

18 Social Graphs Arbeiten mit sozialen Netzwerken FlockDB (Graphdatenbank von Twitter) https://github.com/twitter/flockdb Neo4j (Graphdatenbank) http://neo4j.com Redis (NoSQL) http://redis.io/

19 Geodaten Arbeiten mit Geodaten Lucene (Textsuchmaschine mit Spatial Tools) http://lucene.apache.org PostGIS (Geodatenbank) http://postgis.net/ Weka (Data-Mining Framework) http://www.cs.waikato.ac.nz/ml/weka/ Elki (Data-Mining Framework) http://elki.dbs.ifi.lmu.de/

20 Ziele Gruppeneinteilung

21 Austausch Die-Informatiker Forum Unter Hauptstudium -> DBS -> Hauptseminar „Data Science“ 2015

22 Gruppeneinteilung Vortragsthemen (1) 1.Georgiou, Agrawal, Abbadi GeoScope.Online Detection of Geo-Correlated Information Trends in Social Networks.. Topic: Trend Detection. 2.Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their composi-tionality. Tropic: Word Embeddings. 3.Laurens van der Maaten, Geoffrey Hinton. Visualizing Data using t-SNE. Topic: Visualization. 4.Gao Cong, Christian S. Jensen, Dingming Wu. Efficient retrieval of the top-k most relevant spatial web objects.Topic: Indexing. 5.Yun Chi, Haixun Wang, Philip S. Yu, Richard R. Muntz. Moment: Maintaining Closed Frequent Itemsets over a Stream Sliding Window.Topic: Frequent Itemset Mining. 6.Chen, Feng, Chang-Tien Lu, and Arnold P. Boedihardjo. Gls-sod: a generalized local statistical approach for spatial outlier detection. Topic: Spatial Outlier Detection. 7.Mihael Ankerst, Markus M. Breunig, Hans-Peter Kriegel, Jörg Sander. OPTICS: Ordering Points To Identify the Clustering Structure. Topic: Clustering. 8.Liangjie Hong and Brian D. Davison. Empirical Study of Topic Modeling in Twitter.Topic: Topic Modeling.

23 Hausaufgaben bis zum nächsten Mal… Vertraut machen mit den Daten und Plattform API-Richtlinien lesen Twitter Entwickler-Konto anlegen Einfache Applikation zum Zugriff auf die Streaming-API entwickeln Präsentation Erstellen (Präsentationslänge ~20 Minuten) Inhalt des Papers (ca. 15 Minuten) Kreativer Teil (ca. 5 Minuten) Auswahl einer der zuvor erwähnten Analysen oder Entwicklung einer neuen Fragestellung auf den Daten von Twitter oder Instagram Anwendung und ggfs. Anpassung der Techniken des Papers auf die ausgewählte Fragestellung Optional: Weitere Anwendungsideen unabhängig vom Paper