Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen

Slides:



Advertisements
Ähnliche Präsentationen
Randomisierte Algorithmen Präfix Suche und Konsistentes Hashing
Advertisements

Kohonennetze für Information Retrieval mit User Feedback
Prüfungspläne Bachelor-Thesis
Pop Jazz C B A Jazz C A Lehrstuhl für Künstliche Intelligenz
Eine dynamische Menge, die diese Operationen unterstützt,
Statistische Aspekte der PSG
Christian Schindelhauer
Seminar Textmining WS 06/07 Themen Übung 11 unsupervised vs. supervised Symbolfolgen, Kunstsprachen Page Rank.
5. Sortier-Algorithmen Vorbemerkungen:
Genetische Algorithmen für die Variogrammanpassung
Simulated Annealing Marco Block & Miguel Domingo Seminar : Maschinelles Lernen und Markov KettenSommersemester 2002.
Christian A. Kopf Institut für Informatik FU Berlin Episode Recognizer Framework - Rahmenwerk zur Episodenerkennung.
HEINZ NIXDORF INSTITUT Universität Paderborn Fachbereich Mathematik/Informatik 1 Algorithm. Grundlagen des Internets 24. Juni 2002 Christian Schindelhauer.
Spielbäume Richard Göbel.
Vorlesung Informatik 2 Algorithmen und Datenstrukturen (19 - Analyse natürlicher Bäume) Prof. Th. Ottmann.
Vorlesung Informatik 2 Algorithmen und Datenstrukturen (27 – Kürzeste Wege) Prof. Th. Ottmann.
1 Vorlesung Informatik 2 Algorithmen und Datenstrukturen (21 – Kürzeste Wege) T. Lauer.
Geometrisches Divide and Conquer
Seminar parallele Programmierung SS 2003
Rechneraufbau & Rechnerstrukturen, Folie 14.1 © W. Oberschelp, G. Vossen W. Oberschelp G. Vossen Kapitel 14.
Gottfried Vossen 5. Auflage 2008 Datenmodelle, Datenbanksprachen und Datenbankmanagementsysteme Kapitel 16: Grundlagen des Data Mining.
Anwendungen. © Prof. T. Kudraß, HTWK Leipzig Historie des WWW Grundlage Internet – Entwickelt Ende der 60er Jahre vom US-Militär (ARPA-Net) – Technische.
Technik Gestaltung Navigation Daten. Übersicht Client Webbrowser InternetServer.
– Team 2 Aktueller Projektleiter: Christian Krapp
PG 520 Intelligence Service – gezielte Informationen aus dem Internet
Projekt A4: Alignment of Situation Models Gert Rickheit Sven Wachsmuth Constanze Vorwerg Agnes Swadzba SFB-Kolloqium,
AWI externer WWW-Server interner WWW-Server Ausgangssituation www.
Intelligentes Crawling im WWW mit Hilfe intuitiver Suchbedingungen
Kapitel III: Stochastische Modelle im Januar haben wir behandelt: 12/3
Dieter Bergmann, Lichtenfels
1 Nutzen Sie diese Powerpoint-Präsentation beim Selbstlernen oder in Veranstaltungen zur Einführung in das jeweilige Thema. Einführung Lernmodul Nutzungsbedingungen:
Hidden Markov Modelle (HMM) (Rabiner Tutorial)
Maschinelles Lernen und automatische Textklassifikation
Betrügern auf der Spur WIN-Treffen 2010 Falko Meyer 04 BW.
Vier Jahre nach München Michael Christoffel und Bethina Schmitt Universität Karlsruhe V3D2-Symposium in Braunschweig UniC a ts.
Datenverteilung in Ad-hoc Netzen 1/24 Adaptive Datenverteilung in mobilen Ad-hoc Netzen unter Verwendung des Area Graph basierten Bewegungsmodells S. Bittner,
Christian Schulz, Marc Thielbeer, Sebastian Boldt
Dawn (direction anticipation in web-navigation) sebastian stober - direction anticipation in web-navigation2 Motivation Suchmaschinen & Verzeichnisse.
Cedric Heid, Lukas Burkhardt
1 Nutzen Sie diese Powerpoint-Präsentation beim Selbstlernen oder in Veranstaltungen zur Einführung in das jeweilige Thema. Einführung Lernmodul Nutzungsbedingungen:
Effiziente Algorithmen Hartmut Klauck Universität Frankfurt SS
Effiziente Algorithmen Hartmut Klauck Universität Frankfurt SS
Effiziente Algorithmen
Quantum Computing Hartmut Klauck Universität Frankfurt WS 05/
Black Box Algorithmen Hartmut Klauck Universität Frankfurt SS
Quantum Computing Hartmut Klauck Universität Frankfurt WS 04/
Quantum Computing Hartmut Klauck Universität Frankfurt WS 04/
Effiziente Algorithmen Hartmut Klauck Universität Frankfurt SS
STATISIK LV Nr.: 1375 SS März 2005.
WWW – The World Wide Web Wie man im Internet nach Informationen sucht...
EXPONENTIALVERTEILUNG
Resultate Umfrage Partizipation Arbeitsgruppe DeLL Befragt wurden im Dezember 2010 alle 3., 4. und 5. Klassen Es wurde differenziert nach Ebenen: Schule,
Suchmaschinenoptimierung 15. Juni 2010, Uhr.
1 Nutzen Sie diese Powerpoint-Präsentation beim Selbstlernen oder in Veranstaltungen zur Einführung in das jeweilige Thema. Einführung Lernmodul Nutzungsbedingungen:
Vorlesung Mai 2000 Konstruktion des Voronoi-Diagramms II
Formale Sprachen Reguläre Sprachen Rudolf FREUND, Marian KOGLER.
CSS – Cascading Style Sheets
Mathematik 1. Studienjahr Modul M1: Elemente der Mathematik
Brüche-Quartett Klasse 6-8 Spieler 4-6. Brüche-Quartett A1 Brüche-Quartett A2 Brüche-Quartett A3 Brüche-Quartett A4 Brüche-Quartett B1 Brüche-Quartett.
Eike Schallehn, Martin Endig
Thema Name des Vortragenden Ort, Datum
Tabellen in Word for Windowscomputeria, Urdorf Tabellen in Word for Windows computeria Urdorf / Dieter Eckstein.
5. April 2006Autor: Walter Leuenberger Computeria Urdorf Treff vom 5. April 2006 Surf-Tipps & -Tricks für den Internet Explorer und Firefox.
Topic Maps: Personal Brain
1 Zahlreiche Transformationen - Achtung Hochspannung Meike Klettke.
Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze Vorwerg Agnes Swadzba SFB-Kolloqium,
Studentisches Seminar Rhetorik des Schreibens Teil 1.
Managementzyklus – auch in der Gesundheitsförderung
Spärliche Kodierung von Videos natürlicher Szenen Vortragender: Christian Fischer.
Prognose von Zeitreihen Hans Nübel Hans Nübel Prognose von Zeitreihen Aufbau 1.Motivation 2.Holt-Winters-Verfahren 3.Prognose.
 Präsentation transkript:

Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen Verteidigung der Diplomarbeit Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen August bis Dezember 2005 Sebastian Stober 21. Dezember 2005

Gliederung Einführung Umsetzung Ergebnisse Zusammenfassung Motivation Kontext Markov-Modelle Umsetzung Ergebnisse Zusammenfassung Demonstration Mein Vortrag ist folgendermaßen gegliedert: Beginnen werde ich mit einer Einführung, In der ich zunächst die Arbeit motivieren möchte und anschließend die für die Arbeit zentralen Begriffe Kontext und Markov-Modell näher erläutern werde. Der Hauptteil des Vortrages beschäftigt sich dann mit einigen zentralen Aspekten der Umsetzung. Im Anschluß daran werde ich einige Testergebnisse präsentieren. Abschließend möchte ich meine Arbeit zusammenfassen und anhand einer kleinen Software-Demonstration veranschaulichen. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Motivation Suchmaschinen & Verzeichnisse bieten einem Nutzer einen guten Einstiegspunkt bei der Suche nach Informationen Beim Browsen im weiteren Verlauf der Suche ist der Nutzer aber immer noch auf sich allein gestellt Idee: Durch Vorhersage, welchem Link ein Nutzer wahrscheinlich folgen wird, kann der Nutzer bei der Navigation im Web unterstützt werden. Jeder kennt das Problem: Man sucht eine bestimmte Information im Internet. Über die Ergebnisliste einer Suchmaschine gelangt man auf eine Website, die vielleicht auf einer Unterseite, die gesuchte Information enthält nur ist nicht sofort klar, wie man dahin gelangt. Die Hilfe der Suchm. hört hier auf. Und diese Arbeit soll gerade da ansetzen. Die Idee ist, daß versucht wird vorherzusagen, welchem Link ein Nutzer wahrscheinlich folgen wird. Ein solcher Link kann dann besonders hervorgehoben werden, was einem Nutzer u.U. die Navigation erleichtert. Es gibt bereits verschiedene Ansätze hierzu. In meiner Diplomarbeit habe ich ein Verfahren entwickelt, das zur Vorhersage von Links ein sogenanntes Markov Modell verwendet. Was man unter einem Markov Modell versteht, werde ich im folgend erläutern. Aber zuerst einmal soll geklärt werden, was im Rahmen dieser Arbeit unter einem Kontext verstanden wird. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Kontext Kontext: -Optionen -Repräsentation Browser Browserfenster Inhalt des Dokuments Titel des Dokuments Absatz Wortfenster Ankertexte Ankertext TF/iDF- Dokumentvektor Kontext: Im Rahmen dieser Arbeit ist ein Kontext der Zusammenhang oder das Umfeld, in dem ein Nutzer einen bestimmten Link anklickt. Dabei liegt es auf der Hand, das Dokument, welches den Link enthält als dessen Kontext zu betrachten. Der Kontext kann aber auch stärker eingegrenzt werden. Bspw. Auf den Titel des Doks. oder auf den Beschreibungstext des Links, also den Ankertext. Genausogut kann der Kontext aber auch erweitert werden. Jede dieser Möglichkeiten entspricht einer KO, die beim implementierten System eingestellt werden kann. Unabhängig davon, welche Option gewählt wurde, wird ein Kontext als DV mit TF/iDF-Gewichten repräsentiert. -> für das System völlig transparent -Optionen -Repräsentation 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

History … Kontextt-n+1 Kontextt-1 Kontextt Kandidaten Betrachtet man nun den aktuellen Kontext eines Nutzers, So hat der Nutzer an diesem Punkt eine Reihe von Möglichkeiten zur Navigation. Jede Möglichkeit ist ein Kandidat, der weiterverfolgt werden kann. Zur Vorhersage wird sich jedoch nicht nur der aktuellen Kontext einbezogen, da auch vorhergehende Kontexte Einfluß auf die Wahl des Links haben können. Die Folge der letzten n Kontexte wird im folgenden als History (der Länge n) bezeichnet. Es wird die Annahme gemacht, daß die Wahrscheinlichkeit der Kandidaten nur von der Folge der letzten n Kontexte abhängt. Dadurch kann der Browsing Prozeß mit einem Markov-Modell beschrieben werden. ---- -> Markov Eigenschaft (Bei Ankertext o.ä. werden die Kanten (Übergänge) betrachtet anstatt der Zustände -> also nur Perspektivenveränderung) aktueller Kontext History der letzten 2 Kontexte History der letzten n Kontexte 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

P(st+1|st, … ,st-n+1,st-n, … ,s0)=P(st+1|st, … ,st-n+1) Markov-Modelle Beschreiben stochastische Prozesse mit der Markov-Eigenschaft: Die Wahrscheinlichkeitsverteilung des Folgezustands hängt zu jedem Zeitpunkt t nur von den n letzten Zuständen ab: P(st+1|st, … ,st-n+1,st-n, … ,s0)=P(st+1|st, … ,st-n+1) Problem bei Modellen höherer Ordnung: exponentielle Speicherkomplexität O(k(n+1)) für die Übergangswahrscheinlichkeiten (k – Anzahl der Zustände, n – Ordnung des Modells) Sparsity-Problem bei Betrachtung des gesamten World Wide Web Markov Modell sind Ein Prozeß hat die Markov Eigenschaft, wenn… Die Markov-Eigenschaft entspricht gerade der Annahme, die eben gemacht wurde. Ein von einem Markov Modell beschriebenes System befindet sich zu jedem Zeitpunkt in ein bestimmten Zustand aus einem Zustandsraum. Bei einem Modell n-ter Ordnung ist für jede mögliche Folge von n Zuständen (aus dem Zustandsraum) eine Wahrscheinlichkeitsverteilung für den Folgezustand definiert. Ein Problem dabei ist, daß im schlimmsten Fall, wenn alle Folgen der Länge n möglich sind, exponentiell viele Wahrscheinlichkeiten abgespeichert werden müssen, Wodurch Modelle höherer Ordnung kaum mehr handhabbar sind, wenn keine Maßnahmen zur Reduktion der Modellgröße getroffen werden. Die Übergangswahrscheinlichkeiten werden durch die relativen Häufigkeiten der Zustandsübergänge in einer Trainingsdatenmenge geschätzt. Dabei tritt das sogenannte Sparsity-Problem auf, wenn der Zustandsraum sehr groß ist. Dann reicht selbst ein riesige Datenmenge nicht zum Schätzen der Wahrscheinlichkeiten aus. Kontexte können daher nicht eineindeutig auf Zustände abgebildet werden. Wenn jedem Kontext ein Zustand entsprechen würde, wird der Zustandsraum so groß, daß selbst riesige Datenmengen nicht zum Schätzen der Wahrscheinlichkeiten ausreichen würden. ___ Alle Zustände, die weiter zurückliegen haben keinen Einfluß auf die Wahrscheinlichkeitsverteilung des Folgezustands. Sparsity: die Anzahl der Folgen von Kontexten in den Trainingsdaten im Verhältnis zur potentiell möglichen Anzahl von Folgen so klein, daß sich damit keine verläßlichen Vorhersagen mehr machen lassen. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Schlußfolgerungen Betrachtung der History der letzten n Kontexte  Markov Modell n-ter Ordnung Reduktion der Modellgröße notwendig Eineindeutige Abbildung von Kontexten auf Zustände des Modells ist nicht praktikabel Bevor ich zum zweiten Teil übergehe, möchte ich das bisher gesagte kurz zusammenfassen. Wenn man annimmt, daß die Wahl des nächsten Links nur von den letzten n Kontexten abhängt, Kann der Browsing-Prozeß mit einem MM beschrieben werden. Um Modelle höherer Ordnung verwenden zu können, müssen Verfahren zur Reduktion der Modellgröße eingesetzt werden … Es müssen also Kontexte zusammengefaßt werden. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Gliederung Einführung Umsetzung Ergebnisse Zusammenfassung Systemüberblick Lernen des Modells Vorhersage Ergebnisse Zusammenfassung Demonstration Der zweite Teil des Vortrag beginnt mit einem kurzen Überblick über das implementierte Gesamtsystem. Anschließend möchte ich auf die Verfahren zum Lernen des Modells und zur Vorhersage genauer eingehen. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Systemüberblick Was hier wie der Plan der Londoner U-Bahn aussieht, stellt das gesamte System im Überblick dar. Alles, was nicht orange eingefärbt ist, gehört zu einem eigenständiges Framework zum clientseitigen Loggen von Benutzeraktionen beim Browsen. Dieses Framework ist erweiterbar und kann für andere Arbeiten verwendet werden, Soll aber in diesem Vortrag nicht weiter besprochen werden. Alles, was orange darstellt ist, gehört zum sogenannten Recommender-Modul. Rec. ist engl. und heißt vorschlagen. Hier werden Kandidaten, also Links vorgeschlagen. Diese Modul im folgenden näher beleuchtet werden… 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Systemüberblick 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Recommender-Modul Das Recommender-Modul hat zwei Hauptbestandteile: Den Modell-Lerner und den Recommender. Der ML lernt aus den Session-Logs der Datenbank ein Modell. Dieses wird vom Recommender benutzt, um zur aktuellen History die Kandidaten zu bewerten. Zum Lernen des Modells werden zunächst die Folgen von Kontexten aus den Logs extrahiert. Ähnliche Kontexte werden dann durch ein Clusterverfahren zusammengefaßt. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Lernen des Modells: Clustern Zusammenfassen ähnlicher Kontexte (Clustern) C1 C3 C2 K1 K2 K3 K4 K5 K1  K3  K5 K1  K2  K4  K5 C1  C2  C3 C1  C1  C2  C3 Dieser Vorgang ist hier einmal veranschaulicht. Zur Vereinfachung sind die Kontexte als Punkte in einem 2-dim. Raum dargestellt mit euklid. Abstand als Ähnlichkeit. Jedem Cluster entspricht ein Zustand des im Anschluß gelernten Markov Modells. Aus den Kontextfolgen werden so Folgen von Zuständen. Dabei wird die Größe des Zustandsraumes reduziert und Gleichzeit werden verschiedene Kontextübergänge auf den gleichen Zustandsübergang abgebildet, Hier z.B. … Dadurch erhöhen sich die Übergangshäufigkeiten und dem Sparsity-Problem wird entgegengewirkt. Reduktion der Größe des Zustandsraumes Sparsity-Problem 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Recommender-Modul Nachdem die Kontexte geclustert wurden, kann das Markov Modell gelernt werden. Wie dies geschieht, möchte ich anhand eines Beispiels erklären. Der Algorithmus, der dazu verwendet wird, und das Beispiel stammen von Jose Borges und Mark Levene. Am Algorithmus wurden verschiedene kleine Modifikationen vorgenommen. Die generelle Arbeitsweise ist jedoch identisch geblieben. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Induktion des Modells 1. Ordnung Folge # A,B,C 3 A,B,D 2 E,B,C 1 E,B,D G,B,C G,B,D A,B,D,H E,B,D,H G,B,D,H Übergangshäufigkeit A C 3 3 3 3 F B S Zunächst wird ein Modell 1. Ord induziert. Ein Modell wird dabei als gerichteter Graph dargestellt. Wobei die Knoten den Zuständen und die Kantengewichte den Übergangshäufigkeiten entsprechen. Kanten mit Gewicht 0 werden nicht gespeichert, wodurch der Speicheraufwand reduziert wird (jedoch nicht im Worst-Case) Zusätzlich werden 2 künstliche Knoten eingefügt, die den Anfang und das Ende einer Zustandsfolge markieren. Zur Konstruktion werden die in den Daten enthaltenen Zustandsfolgen der Reihe nach betrachtet und Entsprechend Kanten in den Graphen eingefügt bzw. die Kantengewichte erhöht. künstlicher Start- und Endzustand Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Induktion des Modells 1. Ordnung Folge # A,B,C 3 A,B,D 2 E,B,C 1 E,B,D G,B,C G,B,D A,B,D,H E,B,D,H G,B,D,H A C 5 3 5 3 F B S 2 2 D Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Induktion des Modells 1. Ordnung Folge # A,B,C 3 A,B,D 2 E,B,C 1 E,B,D G,B,C G,B,D A,B,D,H E,B,D,H G,B,D,H A C 5 4 5 4 F 1 B S 1 E 2 2 D Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Induktion des Modells 1. Ordnung Folge # A,B,C 3 A,B,D 2 E,B,C 1 E,B,D G,B,C G,B,D A,B,D,H E,B,D,H G,B,D,H A C 5 4 5 4 F 2 B S 2 E 3 3 D Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Modell 1. Ordnung Übergangswahrscheinlichkeit P(C|B) A C F B S E G D H Folge # A,B,C 3 A,B,D 2 E,B,C 1 E,B,D G,B,C G,B,D A,B,D,H E,B,D,H G,B,D,H Übergangswahrscheinlichkeit P(C|B) A C 6 (1) 6 (1) 6 (0,38) 6 (0,38) F 5 (1) B S 5 (0,31) Hier sehen wir das endgültige Modell 1. Ord. Die Werte in Klammern entsprechen den Übergangswahrscheinlichkeiten 1. Ord. Summe Ausgangswahrscheinlichkeiten jedes Zustands ist 1.0 E 4 (0,40) 6 (1) 5 (1) 5 (0,31) 10 (0,62) G D 6 (0,60) H Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Induktion des Modells 2. Ordnung Überprüfung der induzierten Übergangswahrscheinlichkeiten aller Eingangspfade eines Zustands C D A,B 0.5 E,B 0.2 0.8 G,B 0.4 0.6 Folge # A,B,C 3 A,B,D 2 E,B,C 1 E,B,D G,B,C G,B,D A,B,D,H E,B,D,H G,B,D,H  B muß geklont werden! ähnlich! A C 6 (1) 6 (1) 6 (0,38) 6 (0,38) F 5 (1) B S 5 (0,31) Zur Induktion des Modells 2. Ord. Aus dem eben gelernten Modell, … Zustand B hat 3 Eingangspfade und 2 Folgezustände. Hier sehen wir die Übergangswahrscheinlichkeiten, die aus den Daten abgeleitet werden können. Es ist eine starke Abweichung für den Eingangspfad EB erkennbar. Für diesen Eingangspfad muß ein Klon von B erzeugt werden. Da die anderen beiden Eingangspfade ähnliche Übergangswahrscheinlichkeiten induzieren, müssen sie nicht getrennt werden. (Die max. zulässige Abweichung läßt sich über einen Parameter Gamma angeben) E 4 (0,40) 6 (1) 5 (1) 5 (0,31) 10 (0,62) G D 6 (0,60) H Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Modell 2. Ordnung Einfügen des Klons B‘ von B und Anpassen der eingehenden und ausgehenden Kanten Folge # A,B,C 3 A,B,D 2 E,B,C 1 E,B,D G,B,C G,B,D A,B,D,H E,B,D,H G,B,D,H A C 6 (1) 5 (0,45) 6 (0,55) 1 (0,2) 4 (0,8) 6 (1) 6 (0,38) B F S 5 (0,31) Nachdem der Klon B‘ eingefügt wurde … Alle anderen Zustände müssen nicht geklont werden. Damit ist dies das Modell zweiter Ordnung. Die Induktion Modelle höherer Ordnung geschieht analog. Dabei kann es jedoch zusätzlich vorkommen, daß Zustände in den Eingangspfaden geklont werden müssen. Darauf soll hier aber nicht weiter eingegangen werden. E 4 (0,40) 5 (1) 6 (1) 5 (0,31) G 5 (1) B’ D 6 (0,60) H Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Recommender-Modul Kommen wir nun zum Recommender-Algorithmus. Dieser erwartet als Eingabe die aktuelle History, eine Menge von Kandidaten und natürlich ein Vorhersagemodell. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Recommendation Bei jeder Änderung der History: Für jeden Kandidaten: Abbilden der History auf das Modell Finden ähnlicher Pfade Berechnung von Pfadgewichten (Minimum der Zustandsähnlichkeiten) Bestimmung der Wahrscheinlichkeitsverteilung für den Folgezustand bei gegebener History Für jeden Kandidaten: Abbilden auf das Modell (Finden ähnlicher Zustände) Vorschlagen, wenn die Wahrscheinlichkeit für einen der ähnlichen Zustände mindestens θ ist Die History wird auf das Modell abgebildet, indem ähnliche Pfade im Modell identifiziert werden. Für jeden Pfad wird ein Gewicht bestimmt, das ausdrückt, wie ähnlich der Pfad zur History ist. Ausgehend von den Wahrscheinlichkeitsverteilungen, die durch die Pfade induziert werden, wird die Wahrscheinlichkeitsverteilung für den Folgezustand bei gegebener History bestimmt. Jeder Kandidat wird ebenfalls auf das Modell abgebildet Wenn die Wahrscheinlichkeit für einen der ähnlichen Zustände einen Schwellwert übersteigt, wird der Kandidat vorgeschlagen 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Recommendation-Beispiel Abbilden der History (Kt-1,Kt) auf das Modell (mit Schwellwert λ=0,7): Finde ähnliche Zustände für Kt-1 A,C,C‘ Finde Nachfolger von A, C und C‘, die Kt ähneln B,E Bestimme Pfadgewichte wA,B = min(0,7 , 0,9) = 0,7 wC,B = min(0,9 , 0,9) = 0,9 wC‘,E = min(0,9 , 0,8) = 0,8 wB = 0,9 wE = 0,8 0,7 A 0,9 5 (0,5) 6 B D 5 (0,5) 4 C 0,9 F 2 (0,4) C’ Die Arbeitsweise soll nun an einem Beispiel veranschaulicht werden… 1 0,9 E H 3 (0,6) 4 G 0,8 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Recommendation-Beispiel Berechnung der Wahrscheinlichkeitsverteilung für den Folgezustand Gewichtete Überlagerung der Wahrscheinlichkeitsverteilungen, die durch die verschiedenen Pfade induziert werden: Behandlung eines Kandidaten Y: Finde ähnliche Zustände für Y (mit Schwellwert λ=0,7) D Wenn P(D|Kt-1,Kt) ≥ θ wird Y vorgeschlagen 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Recommendation-Beispiel Berechnung der Wahrscheinlichkeitsverteilung für den Folgezustand: Behandlung eines Kandidaten Y: Finde ähnliche Zustände für Y (mit Schwellwert λ=0,7) D Wenn P(D|Kt-1,Kt) ≥ θ wird Y vorgeschlagen 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Gliederung Konzept Umsetzung Ergebnisse Zusammenfassung Demonstration Datensammlung Modellgröße Vorschlagquote Zusammenfassung Demonstration Im nun folgenden 3. Teil des Vortrags werde ich zunächst ein paar Worte zur verwendeten Datensammlung sagen und dann die Testergebnisse vorstellen. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Datensammlung Nutzung des Frameworks 18. Oktober bis 6. Dezember 2005 8 Nutzer 632 Webseiten (106 Hosts) 216 Klicks (24 Hosts) 75% der Klick-Sequenzen haben höchstens die Länge 3 15% der Klick-Sequenzen haben mindestens die Länge 8 Datensammlung zu klein für eine Evaluierung der Vorhersagegüte Modelle mit Ordnung größer als 3 nicht sinnvoll Die verwendete Datensammlung wurde mit Hilfe des Frameworks erstellt. Angemeldet Angefordert Registriert Die Testergebnisse können nur einen Eindruck von der Funktionsweise des Systems vermitteln. Ordnung 3 -> Folgen der Länge 4 betrachten 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Modellgröße Dieses Diagramm stellt die Modellgröße, also die Anzahl der Zustände des Modells, in Abhängigkeit von der Ordnung des Modells dar. Dabei werden auch verschiedene Parameterwerte betrachtet. M = Param f. Clustern minimale Ähnlichkeit zweier Kontexte in einem Cluster (müssen die Ä. haben, wenn sie im gleichen Cluster sind) G = Param f. Modellinduktion – maximal erlaubte Abweichung zweier Wahrscheinlichkeiten, ansonsten Klonen -> wenig Einfluß, liegt an den Daten (zu geringe absolute Häufigkeiten der Folgen) 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Vorschlagquote Modell 3. Ordnung mit μ=0,5 und γ=0,0 Dieses Diagramm zeigt den Einfluß der Parameter des Recommender-Algorithmus‘ auf die Vorhersagequote. Die Vorhersagequote gibt an, wie häufig das Recommender-Modul den nächsten Zustand einer Testfolge vorgeschlagen hat. Die Datensammlung wurde dazu in 10 etwa gleich große Teile zerlegt. Davon wurden jeweils 9 Teile zum Lernen eines Modells und der 10. zum Testen verwendet, was einer 10fachen Kreuzvalidierung entspricht. Im Diagramm ist der Durchschnitt von allen 10 Testmodellen dargestellt. L = gibt an, wie ähnlich ein Pfad im Modell mindestens zur History sein muß, um betrachtet zu werden -> je kleiner, desto mehr Pfade werden zur Berechnung der Wahrscheinlichkeitsverteilung herangezogen. -> bei zu kleinen Werten wird die Wahrscheinlichkeitsverteilung geglättet, d.h. hohe Einzelwahrscheinlichkeiten kommen kaum vor -> bei zu großem Wert (ab 0,5) werden keine Ähnlichen Pfade mehr im Modell gefunden und somit ist die Wahrscheinlichkeitsverteilung unbestimmt. T = Schwellwert für das Vorschlagen eines Kandidaten Bei T=0,5 muß die Wahrscheinlichkeit für einen der ähnlichen Zustände mindestens 0,5 sein, damit der Kandidat vorgeschlagen wird. 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Zusammenfassung Verwendung eines Markov Modells höherer Ordnung zur Vorhersage, ob Link ein von einem Benutzer in einem bestimmten Kontext weiterverfolgt wird oder nicht Reduktion der Modellgröße durch Clustern von Kontexten Erweiterung eines existierenden Verfahrens zur Induktion von Modellen mit möglichst geringer Größe Parametrisiertes Verfahren zum Vorschlagen von Kandidaten Evaluierung mangels genügend großer Datensammlung nicht möglich Implementierung eines Frameworks zum clientseitigen Loggen von Benutzeraktionen beim Browsen (verwendbar für weitere Arbeiten) Aufbau einer kleinen Datensammlung 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Ausblick Aufbau einer größeren Datensammlung zur Evaluierung für andere Arbeiten verwendbar Benutzerstudie mit Feedback Erweiterung des Frameworks durch weitere Module Recommendation mit globalem Wissen über die Daten Graphentheoretisch Analyse des gelernten Modells Eine Reihe von Möglichkeiten zur Weiterführung dieser Arbeit ist denkbar. u.a. … 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Demonstration 21.12.2005 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

Vielen Dank für Ihre Aufmerksamkeit