Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Meta-Suchmaschinen Klaus Kopperschmidt 22. Januar 2001.

Ähnliche Präsentationen


Präsentation zum Thema: "Meta-Suchmaschinen Klaus Kopperschmidt 22. Januar 2001."—  Präsentation transkript:

1 Meta-Suchmaschinen Klaus Kopperschmidt 22. Januar 2001

2 Meta-Suchmaschinen 2 Inhalt des Vortrags Vorstellen, Einleitung und Motivation Klassifikation von Suchdiensten Suchmaschinen Überlegungen zur Konzeptionierung Beispiele von Meta-Suchmaschinen Fazit und Ausblick

3 22. Januar 2001 Meta-Suchmaschinen 3 Anforderungen an eine Recherche im WWW Die Recherche sollte so vollständig, wie möglich sein. Das Ergebnis sollte eine hohe Qualität haben. Das Ergebnis sollte schnell verfügbar sein.

4 22. Januar 2001 Meta-Suchmaschinen 4 Internet Suchdienste Klassifizierung und Beispiele Katalog, Directory –Yahoo, Lycos usw. Suchmaschine, Crawler, Spider, Robot –Hotbot, Yahoo, Lycos, Google, Altavista, Webcrawler usw. All-in-one-form Meta-Suchmaschine –Metacrawler, Highway 61, DogPile

5 22. Januar 2001 Meta-Suchmaschinen 5 WWW und Suchmaschinen ca. 27% Abdeckung bei Altavista, May 1999 –Quelle: www.searchenginewatch.com Google 600.000.000 Webseiten indiziert und 1.200.000.000 bekannt, Nov. 2000 –Quelle: www.searchenginewatch.com 93.047.785 Domain-Namen im Juli 2000 –Quelle: Internet Software Consortium http://www.isc.org/ds/WWW-200007/index.html mehr als 550.000.000.000 Seiten im Deep Web –Quelle: Test 8/2000

6 22. Januar 2001 Meta-Suchmaschinen 6 Suchmaschinen - Wachstum seit 1995 und aktuelle Größe Quelle: www.searchenginewatch.com Stand: 08. November 2000

7 22. Januar 2001 Meta-Suchmaschinen 7 Probleme bei Suchmaschinen Vollständige Netzabdeckung Erreichbarkeit 404-Webseite und Aktualität Bedienung (Syntax) Ungenaue Anfragen Search-Engine-Spamming

8 22. Januar 2001 Meta-Suchmaschinen 8 Klassisches Konzept einer Meta-Suchmaschine Die Benutzer stellen Anfragen. Die Meta- Suchmaschine formuliert die Anfragen für die verschiedenen Suchmaschinen Excite Google... Yahoo Die Meta-Suchmaschine verarbeitet die Ergebnisse Die Benutzer bekommen das Ergebnis präsentiert

9 22. Januar 2001 Meta-Suchmaschinen 9 Überlegungen zur Ergebnisbehandlung Direkte Übernahme des Ergebnisses –komplett –ausschnittsweise Bearbeiten der Ergebnisse –entfernen von dead links –verschmelzen der Ergebnisse (Ranking-Problem) –filtern von identischen Webseiten (Eine Seite wird durch genau einen Link repräsentiert.)

10 22. Januar 2001 Meta-Suchmaschinen 10 Identische Webseiten erkennen Bsp.: http://www.cs.washington.edu/homes/speed/home.html http://www.cs.washington.edu/homes/selberg Identische Domain, unterschiedlicher Pfad –Überprüfung, ob es sich um ein Standard-Alias handelt. –Überprüfung, ob der Titel der Web-Seiten gleich ist. –Kompletter Text-Vergleich

11 22. Januar 2001 Meta-Suchmaschinen 11 Skalen, Bsp.: Metacrawler 0-100%, Lycos 0-1, OpenText 0- Unterschiedl. Bots -> unterschiedl. Indizierung bzw. Gewichtungsalgorith. -> unterschiedl. Ranking Rankings abhängig von Anzahl des vorkommenden Suchbegriffs, Wortabstand, Anzahl der Referenzen Search-Engine-Spamming Ranking - Problem Quelle: Inquirus

12 22. Januar 2001 Meta-Suchmaschinen 12 Weitergehende Überlegungen zur Architektur client-based oder server-based online vs. last-mile-Problem Anfrage-Syntax und update-Problem

13 22. Januar 2001 Meta-Suchmaschinen 13 Meta-Suchmaschinen MetaCrawler, MetaGer PrologCrawler Inquirus Personal Search Assistants MetaSeek

14 22. Januar 2001 Meta-Suchmaschinen 14 MetaCrawler (I) Http://www.metacrawler.com University of Washington in Seattle (Diplomarbeit) Betrieben von Go2net, Inc. (jetzt InfoSpace) C++, Linux und Apache Webserver 10x 2*400 Mhz PentiumII mit 512MB RAM

15 22. Januar 2001 Meta-Suchmaschinen 15 MetaCrawler (II) Quelle: The MetaCrawler Architecture Resource Aggregation on the Web by Selberg und Etzioni

16 22. Januar 2001 Meta-Suchmaschinen 16 PrologCrawler (I) Pentium 200 mit Red Hat Linux 5.0 und Apache Webserver Sicstus Prolog 3.7.1 + PiLLoW-Library weniger als 500 LOC run(simple(Query,Nres,Ord), ResultsPage) :- s_search(Query,Nres,Results), s_process(Nres,Results,FilteredResults), sort(FilteredResults,Ord,SortedResults), build_html(SortedResults,ResultsPage).

17 22. Januar 2001 Meta-Suchmaschinen 17 PrologCrawler (II) Quelle: A Prolog Meta-Search Engine for the World Wide Web von E. Bolognesi und A. Brogi

18 22. Januar 2001 Meta-Suchmaschinen 18 Inquirus (I) Http://www.inquirus.com nur für akademische Testzwecke Perl Pentium Pro 200 Holt Links von Suchmaschinen und untersucht eigenständig die zurückgelieferten Webseiten auf Relevanz und bewertet sie.

19 22. Januar 2001 Meta-Suchmaschinen 19 Inquirus (II) Quelle: Inquirus, the NECI meta search engine von S. Lawrence und C.L. Giles

20 22. Januar 2001 Meta-Suchmaschinen 20 Personal Search Assistant (I) Gibt es jede Menge z.Bsp.: PSA, WebFerret, WebShades, Unified Financial Assistant usw. Benutzer-Profile Lokal im Hintergrund Meist Browserunabhängig

21 22. Januar 2001 Meta-Suchmaschinen 21 Personal Search Assistant (II) Quelle: Personal Search Assistant: A Configurable Personal Meta Search Engine von P.R. Kaushik und K.N. Murthy

22 22. Januar 2001 Meta-Suchmaschinen 22 Abschliessender Vergleich

23 22. Januar 2001 Meta-Suchmaschinen 23 Fazit 550.000.000.000 Webseiten Weiteres exponentielles Wachstum bei geringerem Wachstum der Suchmaschinen-Indices Meta-Suchmaschinen sind kein Allheilmittel, da sie auf Suchmaschinen bauen. Neue Jobs: Information-Broker usw.


Herunterladen ppt "Meta-Suchmaschinen Klaus Kopperschmidt 22. Januar 2001."

Ähnliche Präsentationen


Google-Anzeigen