HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 1 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vorlesung.

Präsentation zum Thema: "HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 1 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vorlesung."—  Präsentation transkript:

1 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 1 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vorlesung Sommersemester 2003 Algorithmische Grundlagen des Internets IX Christian Schindelhauer schindel@upb.de HEINZ NIXDORF INSTITUT Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik Institut für Informatik AG Theoretische Informatik Algorithmen, Komplexitätstheorie, Paralleles Rechnen

2 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 2 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Überblick Suchmaschinen http://www.searchengineshowdown.com/ (Stand Dez. 2002) oGespeicherte Dokumentmenge: Search Engine Showdown Estimate (millions) Claim (millions) Google3,0333,083 AlltheWeb2,1062,116 AltaVista1,6891,000 WiseNut1,4531,500 Hotbot1,1473,000 MSN Search1,0183,000 Teoma1,015500 NLResearch733125 Gigablast275150

3 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 3 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Webseitensuche oModerne Websuchalgorithmen verlassen sich nicht nur auf textuelle Suche: Problem des Überflusses an Trefferseiten 10.000 Wörter decken 95% jedes Texts ab (Paretoverteilung) Mehr Web-Seiten als Wörter Gesucht: wichtige Seiten, d.h. Seiten mit Autorität Wichtige Seiten enthalten nicht den Suchbegriff http://www.porsche.com: weder Sportwagen oder Auto http://www.airbus.com:weder Aircraft noch Airjet http://www.google.de/weder Search engine noch Suchmaschine Bestimmte Seiten besitzen fast alle Schlüsselwörter http://wortschatz.uni-leipzig.de/top10000en.txt Web-Verzeichnisse, Z.B. www.yahoo.com, www.web.de, www.netscape.com enthalten viele Begriffe, aber keine Autoritäten für ein Gebiet Namensgebung der URL irreführend: http://www.haus.com/ ist Webverzeichnis Bestimmte Suchbegriffe fast überall z.B. WWW, Web, windows, java

4 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 4 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Webseitensuche oPageRank [Brin&Page 98] Vergibt jeder Web-Seite einen absoluten Rang (rank)/Autorität Rang berücksichtigt Eingrad und Autorität des Eingrads Idee Seiten sind wichtig, wenn wichtige Seite auf sie zeigen oHITS (HyperText Induces Topic Search) [Kleinberg 98] Ausgehend von einem Seitenstamm aus einer textuellen Suche Betracht Hubs (Hinweisseiten) und Autoritäten, Idee: Gute Hubs zeigen gute Autoritäten an Gute Autoritäten werden von guten Hubs adressiert

5 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 5 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vereinfachter PageRank-Algorithmus oVereinfachter PageRank-Algorithmus Rank einer Web-Seite R(u) [0,1] Wichtige Seiten vererben ihr Gewicht (gleichmäßig unter ihren Nachfolgern) c ist Normalisierungsfaktor, so dass ||R(u)|| 1 =1 Vorgängermenge B u Nachfolgermenge F u

6 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 6 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vereinfachter PageRank Beispiel

7 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 7 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Matrixdarstellung R c M R, wobei R Vektor (R(1),R(2),… R(n)) und M folgende n n – Matrix ist:

8 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 8 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Vereinfachter PageRank-Algorithmus oKonvergiert der vereinfachte PageRank-Algorithmus? oWieviele Lösungen gibt es? oWie sinnvoll sind diese?

9 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 9 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Eigenvektor als Fixpunkt der Rekursion Stochastische Matrix oFür Vektor x, n n-Matrix und Zahl λ: Wenn M x = λ x, ist x Eigenvektor und λ Eigenwert oJede n n-Matrix M hat höchstens n Eigenwerte oBeobachtung: Stochastische Matrizen beschreiben Markov- Prozesse über den Zustandsraum {1,..,n} Prob[i j] = M ij

10 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 10 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Eigenvektor als Fixpunkt der Rekursion Stochastische Matrix oDie L1-Norm eines Vektors ist gegeben als Eigenwerte von M | i | 1

11 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 11 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Periodizität Beispiel 1

12 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 12 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Periodizität Beispiel 2

13 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 13 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Notwendige Bedingung für Periodizität

14 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 14 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Hinreichende Bedingung für Konvergenz

15 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 15 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Hinreichende Bedingung für Konvergenz

16 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 16 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Nachteile des vereinfachten PageRank- Algorithmus oWeb-Graph hat Senken, d.h. Seiten ohne Links M ist keine stochastische Matrix oWeb-Graph ist periodisch Konvergenz unmöglich oWeb-Graph ist nicht stark zusammenhängend Verschiedene Konvergenzvektoren möglich oRang-Senken: Sarke Zusammenhangskompenenten ohne ausgehenden Kangen saugen Gewicht der Vorgänger auf

17 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 17 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer Lösung durch PageRank oProzess startet mit zufälliger Seite oJede Senke erhält Links auf jede Seite in V oNur mit Wahrscheinlichkeit q < 1 wird vereinfachter PageRank durchgeführt Ansonsten starte mit zufälliger Startseite oM ist stochastisch!

18 HEINZ NIXDORF INSTITUT Universität Paderborn EIM Institut für Informatik 18 Algorithm. Grundlagen des Internets 30. Juni 2003 Christian Schindelhauer PageRank-Algorithmus oGraph der Matrix besteht aus einer starken Zus.- komponente oRundwege der Länge 1 existieren PageRank konvergiert gegen den eindeutigen Eigenvektor mit Eigenwert 1