Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen Sebastian Stober 21. Dezember 2005 Verteidigung der Diplomarbeit.

Ähnliche Präsentationen


Präsentation zum Thema: "Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen Sebastian Stober 21. Dezember 2005 Verteidigung der Diplomarbeit."—  Präsentation transkript:

1 Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen Sebastian Stober 21. Dezember 2005 Verteidigung der Diplomarbeit

2 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen2 Gliederung Einführung Einführung Motivation Motivation Kontext Kontext Markov-Modelle Markov-Modelle Umsetzung Umsetzung Ergebnisse Ergebnisse Zusammenfassung Zusammenfassung Demonstration Demonstration

3 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen3 Motivation Suchmaschinen & Verzeichnisse bieten einem Nutzer einen guten Einstiegspunkt bei der Suche nach Informationen Suchmaschinen & Verzeichnisse bieten einem Nutzer einen guten Einstiegspunkt bei der Suche nach Informationen Beim Browsen im weiteren Verlauf der Suche ist der Nutzer aber immer noch auf sich allein gestellt Beim Browsen im weiteren Verlauf der Suche ist der Nutzer aber immer noch auf sich allein gestellt Idee: Durch Vorhersage, welchem Link ein Nutzer wahrscheinlich folgen wird, kann der Nutzer bei der Navigation im Web unterstützt werden. Idee: Durch Vorhersage, welchem Link ein Nutzer wahrscheinlich folgen wird, kann der Nutzer bei der Navigation im Web unterstützt werden.

4 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen4 Kontext Kontext: Browser Browser Browserfenster Browserfenster Inhalt des Dokuments Inhalt des Dokuments Titel des Dokuments Titel des Dokuments Absatz Absatz Wortfenster Wortfenster Ankertexte Ankertexte Ankertext Ankertext - Optionen TF/iDF-Dokumentvektor - Repräsentation

5 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen5 History Kontext t Kontext t-1 Kontext t-n+1 … aktueller Kontext History der letzten n Kontexte Kandidaten History der letzten 2 Kontexte

6 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen6 Markov-Modelle Beschreiben stochastische Prozesse mit der Markov-Eigenschaft: Beschreiben stochastische Prozesse mit der Markov-Eigenschaft: Die Wahrscheinlichkeitsverteilung des Folgezustands hängt zu jedem Zeitpunkt t nur von den n letzten Zuständen ab: Die Wahrscheinlichkeitsverteilung des Folgezustands hängt zu jedem Zeitpunkt t nur von den n letzten Zuständen ab: P(s t+1 |s t, …,s t-n+1,s t-n, …,s 0 )=P(s t+1 |s t, …,s t-n+1 ) Problem bei Modellen höherer Ordnung: Problem bei Modellen höherer Ordnung: exponentielle Speicherkomplexität O(k (n+1) ) für die Übergangswahrscheinlichkeiten ( k – Anzahl der Zustände, n – Ordnung des Modells) exponentielle Speicherkomplexität O(k (n+1) ) für die Übergangswahrscheinlichkeiten ( k – Anzahl der Zustände, n – Ordnung des Modells) Sparsity-Problem bei Betrachtung des gesamten World Wide Web Sparsity-Problem bei Betrachtung des gesamten World Wide Web

7 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen7 Schlußfolgerungen Betrachtung der History der letzten n Kontexte Markov Modell n-ter Ordnung Betrachtung der History der letzten n Kontexte Markov Modell n-ter Ordnung Reduktion der Modellgröße notwendig Reduktion der Modellgröße notwendig Eineindeutige Abbildung von Kontexten auf Zustände des Modells ist nicht praktikabel Eineindeutige Abbildung von Kontexten auf Zustände des Modells ist nicht praktikabel

8 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen8 Gliederung Einführung Einführung Umsetzung Umsetzung Systemüberblick Systemüberblick Lernen des Modells Lernen des Modells Vorhersage Vorhersage Ergebnisse Ergebnisse Zusammenfassung Zusammenfassung Demonstration Demonstration

9 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen9Systemüberblick

10 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen10Systemüberblick

11 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen11Recommender-Modul

12 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen12 Lernen des Modells: Clustern C1C1 C3C3 C2C2 Zusammenfassen ähnlicher Kontexte (Clustern) Zusammenfassen ähnlicher Kontexte (Clustern) Reduktion der Größe des Zustandsraumes Reduktion der Größe des Zustandsraumes Sparsity-Problem Sparsity-Problem K 1 K 3 K 5 K 1 K 2 K 4 K 5 C 1 C 2 C 3 C 1 C 1 C 2 C 3 K1K1 K2K2 K3K3 K4K4 K5K5

13 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen13Recommender-Modul

14 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen14 Induktion des Modells 1. Ordnung S F A C B Folge# A,B,C3 A,B,D2 E,B,C1 E,B,D1 G,B,C2 G,B,D1 A,B,D,H1 E,B,D,H3 G,B,D,H Übergangshäufigkeit künstlicher Start- und Endzustand Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005.

15 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen15 Induktion des Modells 1. Ordnung Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, S F A C B D Folge# A,B,C3 A,B,D2 E,B,C1 E,B,D1 G,B,C2 G,B,D1 A,B,D,H1 E,B,D,H3 G,B,D,H2

16 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen16 Induktion des Modells 1. Ordnung Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, S F A C B D Folge# A,B,C3 A,B,D2 E,B,C1 E,B,D1 G,B,C2 G,B,D1 A,B,D,H1 E,B,D,H3 G,B,D,H2 E 1 1

17 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen17 Induktion des Modells 1. Ordnung Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, S F A C B D Folge# A,B,C3 A,B,D2 E,B,C1 E,B,D1 G,B,C2 G,B,D1 A,B,D,H1 E,B,D,H3 G,B,D,H2 E 2 2

18 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen18 Modell 1. Ordnung Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, S F A C B D 6 (0,38) 6 (1) 6 (0,38) 6 (1) 10 (0,62) 4 (0,40) Folge# A,B,C3 A,B,D2 E,B,C1 E,B,D1 G,B,C2 G,B,D1 A,B,D,H1 E,B,D,H3 G,B,D,H2 H E G 5 (1) 5 (0,31) 6 (0,60) 6 (1) Übergangswahrscheinlichkeit P(C|B)

19 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen19 Induktion des Modells 2. Ordnung Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, S F A C B D 6 (0,38) 6 (1) 6 (0,38) 6 (1) 10 (0,62) 4 (0,40) Folge# A,B,C3 A,B,D2 E,B,C1 E,B,D1 G,B,C2 G,B,D1 A,B,D,H1 E,B,D,H3 G,B,D,H2 H E G 5 (1) 5 (0,31) 6 (0,60) 6 (1)CDA,B E,B G,B Überprüfung der induzierten Übergangswahrscheinlichkeiten aller Eingangspfade eines Zustands B muß geklont werden! ähnlich!

20 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen20 Modell 2. Ordnung Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, Folge# A,B,C3 A,B,D2 E,B,C1 E,B,D1 G,B,C2 G,B,D1 A,B,D,H1 E,B,D,H3 G,B,D,H2 S F A C D 6 (0,38) 6 (1) 5 (0,45) 6 (0,55) 1 (0,2) 4 (0,8) B B 6 (1) 4 (0,40) H E G 5 (1) 5 (0,31) 6 (0,60) 6 (1) Einfügen des Klons B von B und Anpassen der eingehenden und ausgehenden Kanten

21 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen21Recommender-Modul

22 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen22 Recommendation Bei jeder Änderung der History: Bei jeder Änderung der History: Abbilden der History auf das Modell Abbilden der History auf das Modell Finden ähnlicher Pfade Finden ähnlicher Pfade Berechnung von Pfadgewichten (Minimum der Zustandsähnlichkeiten) Berechnung von Pfadgewichten (Minimum der Zustandsähnlichkeiten) Bestimmung der Wahrscheinlichkeitsverteilung für den Folgezustand bei gegebener History Bestimmung der Wahrscheinlichkeitsverteilung für den Folgezustand bei gegebener History Für jeden Kandidaten: Für jeden Kandidaten: Abbilden auf das Modell (Finden ähnlicher Zustände) Abbilden auf das Modell (Finden ähnlicher Zustände) Vorschlagen, wenn die Wahrscheinlichkeit für einen der ähnlichen Zustände mindestens θ ist Vorschlagen, wenn die Wahrscheinlichkeit für einen der ähnlichen Zustände mindestens θ ist

23 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen23 Recommendation-Beispiel Finde ähnliche Zustände für K t-1 Finde ähnliche Zustände für K t-1 A,C,C A,C,C Finde Nachfolger von A, C und C, die K t ähneln Finde Nachfolger von A, C und C, die K t ähneln B,E B,E Bestimme Pfadgewichte Bestimme Pfadgewichte w A,B = min(0,7, 0,9) = 0,7 w A,B = min(0,7, 0,9) = 0,7 w C,B = min(0,9, 0,9) = 0,9 w C,B = min(0,9, 0,9) = 0,9 w C,E = min(0,9, 0,8) = 0,8 w C,E = min(0,9, 0,8) = 0,8 w B = 0,9 w B = 0,9 w E = 0,8 w E = 0,8 C F A DB C 6 4 H E G 5 (0,5) 2 (0,4) 1 5 (0,5) 4 3 (0,6) 0,8 0,9 0,7 Abbilden der History (K t-1,K t ) auf das Modell (mit Schwellwert λ=0,7 ): Abbilden der History (K t-1,K t ) auf das Modell (mit Schwellwert λ=0,7 ):

24 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen24 Recommendation-Beispiel Berechnung der Wahrscheinlichkeitsverteilung für den Folgezustand Berechnung der Wahrscheinlichkeitsverteilung für den Folgezustand Gewichtete Überlagerung der Wahrscheinlichkeitsverteilungen, die durch die verschiedenen Pfade induziert werden: Gewichtete Überlagerung der Wahrscheinlichkeitsverteilungen, die durch die verschiedenen Pfade induziert werden: Behandlung eines Kandidaten Y : Behandlung eines Kandidaten Y : Finde ähnliche Zustände für Y (mit Schwellwert λ=0,7 ) Finde ähnliche Zustände für Y (mit Schwellwert λ=0,7 ) D Wenn P(D|K t-1,K t ) θ wird Y vorgeschlagen Wenn P(D|K t-1,K t ) θ wird Y vorgeschlagen

25 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen25 Recommendation-Beispiel Berechnung der Wahrscheinlichkeitsverteilung für den Folgezustand: Berechnung der Wahrscheinlichkeitsverteilung für den Folgezustand: Behandlung eines Kandidaten Y : Behandlung eines Kandidaten Y : Finde ähnliche Zustände für Y (mit Schwellwert λ=0,7 ) Finde ähnliche Zustände für Y (mit Schwellwert λ=0,7 ) D Wenn P(D|K t-1,K t ) θ wird Y vorgeschlagen Wenn P(D|K t-1,K t ) θ wird Y vorgeschlagen

26 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen26 Gliederung Konzept Konzept Umsetzung Umsetzung Ergebnisse Ergebnisse Datensammlung Datensammlung Modellgröße Modellgröße Vorschlagquote Vorschlagquote Zusammenfassung Zusammenfassung Demonstration Demonstration

27 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen27 Datensammlung Nutzung des Frameworks Nutzung des Frameworks 18. Oktober bis 6. Dezember Oktober bis 6. Dezember Nutzer 8 Nutzer 632 Webseiten (106 Hosts) 632 Webseiten (106 Hosts) 216 Klicks (24 Hosts) 216 Klicks (24 Hosts) 75% der Klick-Sequenzen haben höchstens die Länge 3 75% der Klick-Sequenzen haben höchstens die Länge 3 15% der Klick-Sequenzen haben mindestens die Länge 8 15% der Klick-Sequenzen haben mindestens die Länge 8 Datensammlung zu klein für eine Evaluierung der Vorhersagegüte Datensammlung zu klein für eine Evaluierung der Vorhersagegüte Modelle mit Ordnung größer als 3 nicht sinnvoll Modelle mit Ordnung größer als 3 nicht sinnvoll

28 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen28 Modellgröße

29 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen29 Vorschlagquote Modell 3. Ordnung mit μ=0,5 und γ=0,0

30 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen30 Zusammenfassung Verwendung eines Markov Modells höherer Ordnung zur Vorhersage, ob Link ein von einem Benutzer in einem bestimmten Kontext weiterverfolgt wird oder nicht Verwendung eines Markov Modells höherer Ordnung zur Vorhersage, ob Link ein von einem Benutzer in einem bestimmten Kontext weiterverfolgt wird oder nicht Reduktion der Modellgröße durch Clustern von Kontexten Reduktion der Modellgröße durch Clustern von Kontexten Erweiterung eines existierenden Verfahrens zur Induktion von Modellen mit möglichst geringer Größe Erweiterung eines existierenden Verfahrens zur Induktion von Modellen mit möglichst geringer Größe Parametrisiertes Verfahren zum Vorschlagen von Kandidaten Parametrisiertes Verfahren zum Vorschlagen von Kandidaten Evaluierung mangels genügend großer Datensammlung nicht möglich Evaluierung mangels genügend großer Datensammlung nicht möglich Implementierung eines Frameworks zum clientseitigen Loggen von Benutzeraktionen beim Browsen (verwendbar für weitere Arbeiten) Implementierung eines Frameworks zum clientseitigen Loggen von Benutzeraktionen beim Browsen (verwendbar für weitere Arbeiten) Aufbau einer kleinen Datensammlung Aufbau einer kleinen Datensammlung

31 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen31 Ausblick Aufbau einer größeren Datensammlung Aufbau einer größeren Datensammlung zur Evaluierung zur Evaluierung für andere Arbeiten verwendbar für andere Arbeiten verwendbar Benutzerstudie mit Feedback Benutzerstudie mit Feedback Erweiterung des Frameworks durch weitere Module Erweiterung des Frameworks durch weitere Module Recommendation mit globalem Wissen über die Daten Recommendation mit globalem Wissen über die Daten Graphentheoretisch Analyse des gelernten Modells Graphentheoretisch Analyse des gelernten Modells

32 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen32 Demonstration

33 Vielen Dank für Ihre Aufmerksamkeit


Herunterladen ppt "Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen Sebastian Stober 21. Dezember 2005 Verteidigung der Diplomarbeit."

Ähnliche Präsentationen


Google-Anzeigen