HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 1 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vorlesung Sommersemester 2003 Algorithmische Grundlagen des Internets IX Christian Schindelhauer HEINZ NIXDORF INSTITUT Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik Institut für Informatik AG Theoretische Informatik Algorithmen, Komplexitätstheorie, Paralleles Rechnen

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 2 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Überblick Suchmaschinen (Stand Dez. 2002) oGespeicherte Dokumentmenge: Search Engine Showdown Estimate (millions) Claim (millions) Google3,0333,083 AlltheWeb2,1062,116 AltaVista1,6891,000 WiseNut1,4531,500 Hotbot1,1473,000 MSN Search1,0183,000 Teoma1, NLResearch Gigablast275150

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 3 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Webseitensuche oModerne Websuchalgorithmen verlassen sich nicht nur auf textuelle Suche: Problem des Überflusses an Trefferseiten Wörter decken 95% jedes Texts ab (Paretoverteilung) Mehr Web-Seiten als Wörter Gesucht: wichtige Seiten, d.h. Seiten mit Autorität Wichtige Seiten enthalten nicht den Suchbegriff weder Sportwagen oder Auto Aircraft noch Airjet Search engine noch Suchmaschine Bestimmte Seiten besitzen fast alle Schlüsselwörter Web-Verzeichnisse, Z.B enthalten viele Begriffe, aber keine Autoritäten für ein Gebiet Namensgebung der URL irreführend: ist Webverzeichnis Bestimmte Suchbegriffe fast überall z.B. WWW, Web, windows, java

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 4 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Webseitensuche oPageRank [Brin&Page 98] Vergibt jeder Web-Seite einen absoluten Rang (rank)/Autorität Rang berücksichtigt Eingrad und Autorität des Eingrads Idee Seiten sind wichtig, wenn wichtige Seite auf sie zeigen oHITS (HyperText Induces Topic Search) [Kleinberg 98] Ausgehend von einem Seitenstamm aus einer textuellen Suche Betracht Hubs (Hinweisseiten) und Autoritäten, Idee: Gute Hubs zeigen gute Autoritäten an Gute Autoritäten werden von guten Hubs adressiert

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 5 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vereinfachter PageRank-Algorithmus oVereinfachter PageRank-Algorithmus Rank einer Web-Seite R(u) [0,1] Wichtige Seiten vererben ihr Gewicht (gleichmäßig unter ihren Nachfolgern) c ist Normalisierungsfaktor, so dass ||R(u)|| 1 =1 Vorgängermenge B u Nachfolgermenge F u

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 6 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vereinfachter PageRank Beispiel

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 7 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Matrixdarstellung R c M R, wobei R Vektor (R(1),R(2),… R(n)) und M folgende n n – Matrix ist:

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 8 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vereinfachter PageRank-Algorithmus oKonvergiert der vereinfachte PageRank-Algorithmus? oWieviele Lösungen gibt es? oWie sinnvoll sind diese?

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 9 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Eigenvektor als Fixpunkt der Rekursion Stochastische Matrix oFür Vektor x, n n-Matrix und Zahl λ: Wenn M x = λ x, ist x Eigenvektor und λ Eigenwert oJede n n-Matrix M hat höchstens n Eigenwerte oBeobachtung: Stochastische Matrizen beschreiben Markov- Prozesse über den Zustandsraum {1,..,n} Prob[i j] = M ij

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 10 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Eigenvektor als Fixpunkt der Rekursion Stochastische Matrix oDie L1-Norm eines Vektors ist gegeben als Eigenwerte von M | i | 1

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 11 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Periodizität Beispiel 1

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 12 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Periodizität Beispiel 2

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 13 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Notwendige Bedingung für Periodizität

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 14 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Hinreichende Bedingung für Konvergenz

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 15 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Hinreichende Bedingung für Konvergenz

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 16 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Nachteile des vereinfachten PageRank- Algorithmus oWeb-Graph hat Senken, d.h. Seiten ohne Links M ist keine stochastische Matrix oWeb-Graph ist periodisch Konvergenz unmöglich oWeb-Graph ist nicht stark zusammenhängend Verschiedene Konvergenzvektoren möglich oRang-Senken: Sarke Zusammenhangskompenenten ohne ausgehenden Kangen saugen Gewicht der Vorgänger auf

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 17 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Lösung durch PageRank oProzess startet mit zufälliger Seite oJede Senke erhält Links auf jede Seite in V oNur mit Wahrscheinlichkeit q < 1 wird vereinfachter PageRank durchgeführt Ansonsten starte mit zufälliger Startseite oM ist stochastisch!

HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 18 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer PageRank-Algorithmus oGraph der Matrix besteht aus einer starken Zus.- komponente oRundwege der Länge 1 existieren PageRank konvergiert gegen den eindeutigen Eigenvektor mit Eigenwert 1