dawn (direction anticipation in web-navigation)

sebastian stober - direction anticipation in web-navigation2 Motivation Suchmaschinen & Verzeichnisse bieten einem User einen guten Einstiegspunkt bei der Suche nach Informationen Suchmaschinen & Verzeichnisse bieten einem User einen guten Einstiegspunkt bei der Suche nach Informationen Im weiteren Verlauf der Suche ist der Nutzer aber immer noch auf sich allein gestellt Im weiteren Verlauf der Suche ist der Nutzer aber immer noch auf sich allein gestellt Idee: User beim Browsen nach Information unterstützen Idee: User beim Browsen nach Information unterstützen

sebastian stober - direction anticipation in web-navigation3 Verwandte Arbeiten Recommender-Systeme Recommender-Systeme Schlagen Objekten vor (Produkte, Webseiten) Schlagen Objekten vor (Produkte, Webseiten) Bauen gewöhnlich ausführliche Nutzerprofile auf Bauen gewöhnlich ausführliche Nutzerprofile auf Oft begrenzte Menge von (gut strukturierten) Daten (Produkte eines Online-Shops, Unterseiten einer Webseite) Oft begrenzte Menge von (gut strukturierten) Daten (Produkte eines Online-Shops, Unterseiten einer Webseite) Content Based Recommender Systems: Content Based Recommender Systems: Vergleich der tatsächlichen Inhalte von Dokumenten mit dem Profil des Users -> Relevanz Vergleich der tatsächlichen Inhalte von Dokumenten mit dem Profil des Users -> Relevanz Collaborative Based Recommender Systems: Collaborative Based Recommender Systems: User mit ähnlichen Profilen erkennen und Dokumente, die durch einen User gefunden wurden, anderen zugänglich machen User mit ähnlichen Profilen erkennen und Dokumente, die durch einen User gefunden wurden, anderen zugänglich machen Spezielle Anwendung: Tour-Generatoren Spezielle Anwendung: Tour-Generatoren

sebastian stober - direction anticipation in web-navigation4 Verwandte Arbeiten Webwatcher [Joachims, Freitag, Mitchell, Mladenic] Webwatcher [Joachims, Freitag, Mitchell, Mladenic] a tour guide agent for the world wide weba tour guide agent for the world wide web server-seitig (offline berechnet), collaborative server-seitig (offline berechnet), collaborative Fragt User, wonach er sucht und schlägt Touren von Usern vor, die ähnliches gesucht haben. Fragt User, wonach er sucht und schlägt Touren von Usern vor, die ähnliches gesucht haben. Letizia [Lieberman] Letizia [Lieberman] an agent that assists web browsingan agent that assists web browsing client-seitig, Just-In-Time-IR, content-based client-seitig, Just-In-Time-IR, content-based Lookahead-browsing, User-Profile modelliert aktuellen Information-Need. Lookahead-browsing, User-Profile modelliert aktuellen Information-Need.

sebastian stober - direction anticipation in web-navigation5 Verwandte Arbeiten Web-Usage Mining (allgemein) Web-Usage Mining (allgemein) Versucht, das Surfverhalten von Besuchern einer Webseite zu modellieren Versucht, das Surfverhalten von Besuchern einer Webseite zu modellieren Identifizierung von User-Typen Identifizierung von User-Typen server-seitig, offline server-seitig, offline seitengebunden seitengebunden Idee: Idee: Seitengebundene Ansätze des Web-Usage Minings verallgemeinern und auf Recommender-Systeme (speziell Just-In-Time-IR) übertragen Seitengebundene Ansätze des Web-Usage Minings verallgemeinern und auf Recommender-Systeme (speziell Just-In-Time-IR) übertragen

sebastian stober - direction anticipation in web-navigation6 Markov-Modelle Werden im Web-Usage-Mining verwendet Werden im Web-Usage-Mining verwendet Basieren auf Markov-Ketten: Basieren auf Markov-Ketten: Spezielle stochastische Prozesse mit folgender Eigenschaft: Spezielle stochastische Prozesse mit folgender Eigenschaft: Kennt man erst einmal die Gegenwart des Prozesses, lassen sich Prognosen über die Zukunft des Prozesses nicht durch zusätzliche Kenntnisse seiner Vergangenheit verbessern. Kennt man erst einmal die Gegenwart des Prozesses, lassen sich Prognosen über die Zukunft des Prozesses nicht durch zusätzliche Kenntnisse seiner Vergangenheit verbessern. Bei einem Markov-Modell k-ter Ordnung werden die letzten k Schritte zur Vorhersage des nächsten Schrittes herangezogen. (D.h. alle Schritte davor haben keinen Einfluß auf die Vorhersage.) Bei einem Markov-Modell k-ter Ordnung werden die letzten k Schritte zur Vorhersage des nächsten Schrittes herangezogen. (D.h. alle Schritte davor haben keinen Einfluß auf die Vorhersage.)

sebastian stober - direction anticipation in web-navigation7 Markov-Modelle S P1P1 P3P3 P2P2 P7P7 P6P6 P5P5 P4P4 E 0,25 0,75 0,81 0,19 0,55 0,45 1,00 0,70 1,00 0,17 0,30 0,83

sebastian stober - direction anticipation in web-navigation8 Modell - Konzept Clustern von Webseiten (Inhalt, Keywords, Meta-Daten) Clustern von Webseiten (Inhalt, Keywords, Meta-Daten) Allgemeines Markov-Modell aufbauen: Allgemeines Markov-Modell aufbauen: Jedes Cluster entspricht dann einem Knoten im Markov-Modell erster Ordnung Jedes Cluster entspricht dann einem Knoten im Markov-Modell erster Ordnung Der aktuelle Zustand (momentan angezeigte Seite(n)) wird durch Ähnlichkeit zu den Clustern bestimmt. Der aktuelle Zustand (momentan angezeigte Seite(n)) wird durch Ähnlichkeit zu den Clustern bestimmt. Dabei kann ein Zustand mehreren Clustern zugeordnet werden (Fuzzy-Zugehörigkeit). Dabei kann ein Zustand mehreren Clustern zugeordnet werden (Fuzzy-Zugehörigkeit). Die Vorhersage ergibt sich aus der (gewichteten) Überlagerung der Vorhersagen des Markov-Modells für die einzelnen Cluster. Die Vorhersage ergibt sich aus der (gewichteten) Überlagerung der Vorhersagen des Markov-Modells für die einzelnen Cluster. Erweiterung auf k-te Ordnung… Erweiterung auf k-te Ordnung… Kandidaten für Vorschläge werden durch Lookahead- Crawling gesammt Kandidaten für Vorschläge werden durch Lookahead- Crawling gesammt

sebastian stober - direction anticipation in web-navigation9 Trainingsdaten Server-Logs Server-Logs nur auf eine Website beschränkt nur auf eine Website beschränkt nicht öffentlich verfügbar nicht öffentlich verfügbar Proxy-Logs Proxy-Logs enthalten zwar Zugriffe auf verschiedene Websites aber nicht deren Inhalt enthalten zwar Zugriffe auf verschiedene Websites aber nicht deren Inhalt nicht öffentlich verfügbar nicht öffentlich verfügbar Benchmark-Datensätze Benchmark-Datensätze keine passenden vorhanden keine passenden vorhanden Trainingsdaten müssen selbst gesammelt werden Trainingsdaten müssen selbst gesammelt werden Können auch für andere Arbeiten verwendet werden Können auch für andere Arbeiten verwendet werden

sebastian stober - direction anticipation in web-navigation10 System-Architektur Proxy-Ansatz Proxy-Ansatz User hat von verschiedenen Systemen Zugriff User hat von verschiedenen Systemen Zugriff User kann weiterhin seinen Browser verwenden User kann weiterhin seinen Browser verwenden Minimaler Installationsaufwand für User Minimaler Installationsaufwand für User Proxy-Setup sehr einfach Proxy-Setup sehr einfach Systemunabhängig (nur Browseranhängig) Systemunabhängig (nur Browseranhängig) Rechen- und bandbreitenintensive Prozesse laufen auf dem Proxy Rechen- und bandbreitenintensive Prozesse laufen auf dem Proxy Zentrale Speicherung der Daten Zentrale Speicherung der Daten Nachteil: Angreifbar durch feste Adresse Nachteil: Angreifbar durch feste Adresse Nur der Proxy muß installiert und gewartet werden Nur der Proxy muß installiert und gewartet werden

sebastian stober - direction anticipation in web-navigation11 System-Architektur Internet Datenbank (MySQL) Web-Browser Web-Frontend (Tomcat) -Konfiguration & Steuerung -User-Verwaltung -Event-Logging (Click, Enter, Leave) HTTP-Proxy (RabbIT2) -Logging der HTTP-Requests -User Authentifizierung -Sessionerkennung -Link-Extraktion -Modifikation der HTML-Seiten -Schnittstellen für Recommender HTTP JDBC

sebastian stober - direction anticipation in web-navigation12 Annahmen Der User hat immer nur ein Browser-Fenster offen (keine überlappenden Sessions) Der User hat immer nur ein Browser-Fenster offen (keine überlappenden Sessions)