Klaus Kopperschmidt 22. Januar 2001

Präsentation zum Thema: "Klaus Kopperschmidt 22. Januar 2001"—  Präsentation transkript:

1 Klaus Kopperschmidt 22. Januar 2001
Meta-Suchmaschinen Klaus Kopperschmidt 22. Januar 2001

2 Vorstellen, Einleitung und Motivation Klassifikation von Suchdiensten
Inhalt des Vortrags Vorstellen, Einleitung und Motivation Klassifikation von Suchdiensten Suchmaschinen Überlegungen zur Konzeptionierung Beispiele von Meta-Suchmaschinen Fazit und Ausblick 22. Januar 2001 Meta-Suchmaschinen

3 Anforderungen an eine Recherche im WWW
Die Recherche sollte so vollständig, wie möglich sein. Das Ergebnis sollte eine hohe Qualität haben. Das Ergebnis sollte schnell verfügbar sein. 22. Januar 2001 Meta-Suchmaschinen

4 Internet Suchdienste Klassifizierung und Beispiele
Katalog, Directory Yahoo, Lycos usw. Suchmaschine, Crawler, Spider, Robot Hotbot, Yahoo, Lycos, Google, Altavista, Webcrawler usw. All-in-one-form Meta-Suchmaschine Metacrawler, Highway 61, DogPile 22. Januar 2001 Meta-Suchmaschinen

5 ca. 27% Abdeckung bei Altavista, May 1999
WWW und Suchmaschinen ca. 27% Abdeckung bei Altavista, May 1999 Quelle: Google Webseiten indiziert und bekannt, Nov. 2000 Domain-Namen im Juli 2000 Quelle: Internet Software Consortium mehr als Seiten im „Deep Web“ Quelle: Test 8/2000 22. Januar 2001 Meta-Suchmaschinen

6 Suchmaschinen - Wachstum seit 1995 und aktuelle Größe
Quelle: Stand: 08. November 2000 22. Januar 2001 Meta-Suchmaschinen

7 Probleme bei Suchmaschinen
Vollständige Netzabdeckung Erreichbarkeit 404-Webseite und Aktualität Bedienung (Syntax) Ungenaue Anfragen Search-Engine-Spamming 22. Januar 2001 Meta-Suchmaschinen

8 Klassisches Konzept einer Meta-Suchmaschine
Die Benutzer stellen Anfragen. Die Benutzer bekommen das Ergebnis präsentiert Die Meta-Suchmaschine formuliert die Anfragen für die verschiedenen Suchmaschinen Excite Google ... Yahoo Die Meta-Suchmaschine verarbeitet die Ergebnisse 22. Januar 2001 Meta-Suchmaschinen

9 Überlegungen zur Ergebnisbehandlung
Direkte Übernahme des Ergebnisses komplett ausschnittsweise Bearbeiten der Ergebnisse entfernen von „dead links“ verschmelzen der Ergebnisse (Ranking-Problem) filtern von identischen Webseiten (Eine Seite wird durch genau einen Link repräsentiert.) 22. Januar 2001 Meta-Suchmaschinen

10 Identische Webseiten erkennen
Bsp.: Identische Domain, unterschiedlicher Pfad Überprüfung, ob es sich um ein Standard-Alias handelt. Überprüfung, ob der Titel der Web-Seiten gleich ist. Kompletter Text-Vergleich 22. Januar 2001 Meta-Suchmaschinen

11 Skalen, Bsp.: Metacrawler 0-100%, Lycos 0-1, OpenText 0-
Ranking - Problem Skalen, Bsp.: Metacrawler 0-100%, Lycos 0-1, OpenText 0- Unterschiedl. Bots -> unterschiedl. Indizierung bzw. Gewichtungsalgorith. -> unterschiedl. Ranking Rankings abhängig von Anzahl des vorkommenden Suchbegriffs, Wortabstand, Anzahl der Referenzen Search-Engine-Spamming Quelle: Inquirus 22. Januar 2001 Meta-Suchmaschinen

12 Weitergehende Überlegungen zur Architektur
client-based oder server-based online vs. last-mile-Problem Anfrage-Syntax und update-Problem 22. Januar 2001 Meta-Suchmaschinen

13 Personal Search Assistants MetaSeek
Meta-Suchmaschinen MetaCrawler, MetaGer PrologCrawler Inquirus Personal Search Assistants MetaSeek 22. Januar 2001 Meta-Suchmaschinen

14 University of Washington in Seattle (Diplomarbeit)
MetaCrawler (I) University of Washington in Seattle (Diplomarbeit) Betrieben von Go2net, Inc. (jetzt InfoSpace) C++, Linux und Apache Webserver 10x 2*400 Mhz PentiumII mit 512MB RAM 22. Januar 2001 Meta-Suchmaschinen

15 MetaCrawler (II) Quelle: „The MetaCrawler Architecture Resource Aggregation on the Web“ by Selberg und Etzioni 22. Januar 2001 Meta-Suchmaschinen

16 Pentium 200 mit Red Hat Linux 5.0 und Apache Webserver
PrologCrawler (I) Pentium 200 mit Red Hat Linux 5.0 und Apache Webserver Sicstus Prolog PiLLoW-Library weniger als 500 LOC run(simple(Query,Nres,Ord), ResultsPage) :- s_search(Query,Nres,Results), s_process(Nres,Results,FilteredResults), sort(FilteredResults,Ord,SortedResults), build_html(SortedResults,ResultsPage). 22. Januar 2001 Meta-Suchmaschinen

17 PrologCrawler (II) Quelle:
„A Prolog Meta-Search Engine for the World Wide Web“ von E. Bolognesi und A. Brogi 22. Januar 2001 Meta-Suchmaschinen

18 Http://www.inquirus.com nur für akademische Testzwecke Perl
Inquirus (I) nur für akademische Testzwecke Perl Pentium Pro 200 Holt Links von Suchmaschinen und untersucht eigenständig die zurückgelieferten Webseiten auf Relevanz und bewertet sie. 22. Januar 2001 Meta-Suchmaschinen

19 Inquirus (II) Quelle: „Inquirus, the NECI meta search engine“ von S. Lawrence und C.L. Giles 22. Januar 2001 Meta-Suchmaschinen

20 Personal Search Assistant (I)
Gibt es jede Menge z.Bsp.: PSA, WebFerret, WebShades, Unified Financial Assistant usw. Benutzer-Profile Lokal im Hintergrund Meist Browserunabhängig 22. Januar 2001 Meta-Suchmaschinen

21 Personal Search Assistant (II)
Quelle: „Personal Search Assistant: A Configurable Personal Meta Search Engine“ von P.R. Kaushik und K.N. Murthy 22. Januar 2001 Meta-Suchmaschinen

22 Abschliessender Vergleich
22. Januar 2001 Meta-Suchmaschinen

23 Neue Jobs: Information-Broker usw.
Fazit Webseiten Weiteres exponentielles Wachstum bei geringerem Wachstum der Suchmaschinen-Indices Meta-Suchmaschinen sind kein Allheilmittel, da sie auf Suchmaschinen bauen. Neue Jobs: Information-Broker usw. 22. Januar 2001 Meta-Suchmaschinen